国産LLM、33Bを公開

国産LLM、33Bを公開

日本語を得意とするAIを、国内の研究機関が自ら育てています。国立情報学研究所の大規模言語モデル研究開発センター(LLMC)は2026年8月18日、約332億パラメータの大規模言語モデル「LLM-jp-4 33B」を公開しました。同センターがこれまでに出したモデルの中で最大規模で、性能を測る4つの試験すべてで自社の従来モデルを上回りました。誰でもHugging Faceから入手できます。

【出典元】約332億パラメータのDense型LLM「LLM-jp-4 33B」モデルを公開(LLM-jp)

2種類のモデルを用意

今回公開されたのは、役割の違う2つのモデルです。用途に応じて選べます。

モデル名内容
llm-jp-4-33b-base事前学習と中間学習まで済ませた土台のモデル
llm-jp-4-33b-thinkingさらに事後学習を加え、じっくり考えて答えるモデル

base版は、自社の用途に合わせて追加で学習させたい開発者向けの素材です。一方のthinking版は、SFT(教師ありの微調整)とDPO(人の好みに沿わせる最適化)という2段階の調整を経ており、そのまま対話に使えます。

4つの試験すべてで自己最高

性能面では、はっきりした前進が示されました。LLMCの評価の仕組み「llm-jp-judge」を使った測定で、4つのベンチマークすべてで、これまで公開した全てのLLM-jp-4 Thinkingモデルを上回るスコアを記録しています。

使われた試験は次の4つです。

  • 日本語MT-Bench:日本語での対話能力を測る
  • 英語MT-Bench:英語での対話能力を測る
  • AnswerCarefully:慎重に答えるべき問いへの対応を測る
  • llm-jp-instructions:指示にどれだけ正確に従えるかを測る

会話の質だけでなく、危うい質問に慎重に答えられるかまで含めて改善している点が特徴です。

Dense型で最大規模に

LLMCは2026年4月にも、Dense型の「LLM-jp-4 8B」と、MoE型(必要な部分だけ動かす方式)の「LLM-jp-4 32B-A3B」を公開していました。今回の33Bは、その系列で最大規模のDense型にあたります。

Dense型は、質問のたびにモデル全体を働かせる方式です。動かすには相応の計算資源が必要ですが、構造が素直で扱いやすく、研究や追加学習の土台に向いています。国内に選べる規模の幅ができたことで、目的に応じた使い分けがしやすくなりました。

学習用データまで公開

今回は、モデルだけの公開ではありません。thinking版の調整に使ったDPO学習用のデータセットも一般に公開されました。

これは開発者にとって価値の大きい判断です。どんなデータで、どう好みを学ばせたのかを追えるため、他の研究者が同じ手法を検証したり、自分のモデルに応用したりできます。結果だけでなく作り方まで開く姿勢が、国内のAI研究全体の底上げにつながります。

まとめ

LLM-jp-4 33Bは、国内の研究機関が日本語を軸に育ててきたモデルの最新かつ最大版です。4つのベンチマークすべてで従来を超え、そのまま使えるthinking版と、改造の土台になるbase版が選べます。学習データまで公開されているため、国内で日本語AIを開発したい企業や研究者にとって、有力な出発点になります。海外の巨大モデルに頼らない選択肢が育っている点は、心強い動きです。

関連記事