NII「LLM-jp-4」公開まとめ — 12兆トークンで学習した国産オープンソースLLM

NII「LLM-jp-4」公開まとめ — 12兆トークンで学習した国産オープンソースLLM

作成日:
更新日:
LLM-jpNII国産LLMAIオープンソース日本語LLM

2026年4月3日、国立情報学研究所（NII）が国産の大規模言語モデル 「LLM-jp-4」 をオープンソースライセンスで公開しました。

これまでも LLM-jp シリーズはオープンに開発・公開されてきましたが、約12兆トークンの大規模コーパス で学習された今回の世代は、ベンチマーク次第ではグローバル勢のモデルに匹敵する数字を出しており、国産LLMの新しい基準点になり得る存在です。

リリース概要

項目内容
公開日2026年4月3日
公開元国立情報学研究所（NII）
ライセンスオープンソースライセンス（モデルカード参照）
モデルLLM-jp-4 8B / LLM-jp-4 32B-A3B
学習データ約12兆トークンの高品質コーパス
コンテキスト最大約65,000トークンの入出力

8B はフルパラメータ密モデル、32B-A3B は MoE 構成で 総パラメータ32B / アクティブ約3B の構成です。

性能ハイライト

NII の発表によれば、一部ベンチマークでは GPT-4o や Qwen3-8B を上回る 結果が報告されています。特に日本語タスクでの評価が強く、国内ユースケースに最適化された使い方が想定されます。

ポイントを整理します。

  • 日本語の自然さ・正確性 に強み（学習コーパス比率の影響）
  • 8B クラス で GPT-4o 級のベンチマーク数値を出すケースあり
  • 32B-A3B（MoE） はアクティブパラメータが小さく、推論コストを抑えやすい
  • 65,000 トークン の長コンテキスト対応

なぜ「国産LLM」がいま重要なのか

技術的な性能だけでなく、運用面でも国産LLMに対する関心が高まっています。

  • データ主権：海外API経由でのデータ送信を避けたいニーズ（医療・自治体・教育・法務）
  • EU AI Act / 日本のAI事業者ガイドライン v1.2 など、ガバナンス対応で「来歴の透明性」が重要に
  • 学術用途・研究用途：再現性確保のためにオープンモデルが望ましい
  • オンプレ / プライベートクラウド での運用ニーズ

LLM-jp-4 は学習コーパス・モデル重み・評価結果の透明性が高いため、上記ニーズに刺さりやすい立ち位置です。

ローカルで動かしてみる

Hugging Face 経由で配布されているため、Transformers から普通に呼び出せます。

LLM-jp-4 8B を Transformers で呼び出す（例）
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
 
model_id = "llm-jp/llm-jp-4-8b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
 
messages = [
    {"role": "system", "content": "あなたは丁寧な日本語アシスタントです。"},
    {"role": "user", "content": "Pythonで10進数を2進数に変換する関数を書いて。"},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512, do_sample=False)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

軽く触るなら Ollama や llama.cpp 経由のGGUF変換版を待つのが手軽です。サーバー運用なら vLLM での高速推論が選択肢になります。

8B と 32B-A3B の使い分け

ケースおすすめ
ノートPC / 1〜2GPUでの開発8B
サーバー側のメインモデル32B-A3B（MoE）
エッジ・ローカルアプリ8B（量子化版）
高品質な要約・長文タスク32B-A3B

LLM-jp チームは2026年度中に より大規模なパラメータのモデル の公開を予定しており、シリーズとしての発展性も期待できます。

どのような用途で使うか

国産LLMが最もフィットするのは、「データを国内に閉じたまま運用したいエンタープライズ用途」 です。

  • 自治体・教育委員会向けの問い合わせ補助
  • 医療カルテ要約・服薬指導の補助
  • 社内ナレッジ検索（オンプレRAG）
  • 法務・契約書レビュー
  • 教育用チャットボット（学校現場）

クローズドAPIで懸念される データ越境・継続課金・APIサービス停止リスク を、自前運用で吸収できる点が大きな利点です。

まとめ

  • 2026年4月3日、NII が LLM-jp-4 をオープンソースで公開
  • 8B と 32B-A3B（MoE） の2モデル構成
  • 学習データ 12兆トークン、コンテキスト 約65,000トークン
  • 一部ベンチマークでは GPT-4o / Qwen3-8B を上回る 報告
  • データ主権・ガバナンス対応・オンプレ運用に強み

「日本語が強くて、自前で動かせて、ガバナンス対応もしやすい」という条件は意外と狭く、LLM-jp-4 はそこに正面から答えるモデルです。

参考リンク