2026年現在の最新OSS LLMの日本語性能を検証してみた

業務タスク（信号データ解析による日本語文章生成）において、複数のOSS LLM（gemma-4-E4B、Qwen3.5、llm-jp-4など）の日本語性能を比較検証した結果を報告しています。ルール遵守率や推論速度などの独自の評価軸に基づく検証結果をまとめています。

OSSのLLMについて業務利用の機会があり、日本語性能を比較検証してみました。

開発環境のGPUメモリがハイスペックではない点をご容赦ください。
また、業務タスクが信号データ解析による日本語文章生成のため、今回チャットでの会話形式での利用ではない点もご容赦ください。

前提条件・検証内容

〇動作環境

OS:Ubuntu 24.04
GPU NVIDIA RTX A6000（NVIDIA Ampere アーキテクチャ GPU メモリ 48GB）
Python 3.10.19
CUDA 12.1
PyTorch 2.4
Transformers v5.5.x (<6.0) ※Qwen3.5とgemma-4-E4Bの両方をカバーするため必要

〇検証に使用したモデル一覧

モデル	パラメータサイズ	MT-Bench(JA)	MMLU-Pro	発表時期
google/gemma-4-E4B	8B	-	69.4	26/04
Qwen/Qwen3.5	9B	-	82.5	26/02
llm-jp-4-8b-thinking (reasoning_effort = medium)	8B	7.54	-	26/04
Qwen/Qwen3	8B	7.14	77.3	25/04
gpt-4o-2024-08-06	-	7.29	72.6	24/05

出典：

〇モデル選定理由

タスク目的に沿う日本語性能を相見積もりして利用したい一方でLLM Leaderboardにて8～10B相当の最新LLMでは、日本語ベンチマークで比較結果が断片的なため、各ベンチマークの高性能モデルを選定しました。

特に2026年4月時点で話題性の高かったgemma-4-E4BやQwen3.5（3.6で中小規模モデルは展開されていませんでした…）を選定しました。
検証前のモデル調査時に、ローカルLLMでGPT-4oと同等の日本語性能で推論できる点に嬉しさを感じていました。

〇モデルのハイパーパラメータのconfig

max_new_tokens 512 # 生成する最大トークン数
temperature 0.3 # 0に近いほど決定論的（安定）1に近いほどランダム
top_p 0.9 # 累積確率が90％に達するトークンのみから選択
top_k 50 # 最も高い上位50トークンのみから選択
repetition_penalty 1.1 # 既出トークン生成確率を除算する値同じ言葉の繰り返しを抑制

各モデルで最大トークン数や温度パラメータを同一設定し検証しました。

〇プロンプト

※日本語で記載

ロール
時系列信号データ分析の専門家
コンテキスト
信号の定義や意味を記載
制約

3～5文の自然な日本語記述
具体的な数値は説明に含めず定性的表現（高/低, 大/小, 増/減）を使用

その他業務使用にあたり必要不可欠な情報をコンテキストとして加えています。

〇生成文の評価軸

項目	説明	重み
ルール遵守率	プロンプトの遵守率	45％
文数準拠率	出力文の数の準拠率	25％
推論速度	1件当たりの処理時間	15％
VRAM使用量	ピークVRAM消費	15％

4項目合計100点とした総合スコアで比較しました。

結果

4つのモデルでの比較結果です。
gemma-4-E4B-it が私が定めた評価軸のもとで最も性能が良かったです。

モデル	ルール遵守率	文数準拠率	推論速度	VRAM使用量	総合スコア
gemma-4-E4B-it	97.0％	100％	8.75秒	14.79GB	86.0/100
gemma-4-E4B	69.0％	38.9％	6.26秒	14.79GB	75.0/100
llm-jp-4	88.0％	96.3％	3.95秒	16GB	84.0/100
Qwen3.5	70.0％	90.7％	14.06秒	17.53GB	59.0/100

gemma-4-E4B-itのルール遵守率、文数準拠率が最も高かったです。
gemma-4-E4Bと比較しても生成文の品質、推論速度共に勝っていました。
llm-jp-4の推論速度が最も速かったです。
gemma-4-E4B-itほど指示遵守率は高くなかったです。
しかし、申し分ない日本語性能であることは確かです。
ルール遵守率が低い要因は、制約にある「数値を含めた表現」が守れていない点でした。
Qwen3.5はgemma-4-E4B-itと比較すると見劣りする印象でした。
推論速度とVRAM使用量が定めた評価軸の中ではマッチしない結果となりました。