MoE の記事一覧 | プランタン - printemps tokyoブログ

Kimi K3 とは - 2.8兆パラメータのオープンMoEを読み解く（アーキテクチャ・ベンチ・ウェイト公開）

2026年7月18日約14分

Moonshot AI が2026年7月16日に発表した Kimi K3 は、総パラメータ2.8兆・896エキスパート中16活性化のスパースMoEで、100万トークンの文脈長を持つオープンウェイト大規模LLMです。Kimi Delta Attention・Attention Residuals・Gated MLA というアーキテクチャ、API料金、Artificial Analysis や Arena のベンチ、7月27日までに予定されるウェイト公開まで、公式ブログを一次ソースに誇張せず整理します。

LLM AI オープンウェイト Moonshot AI MoE

Google Gemma 4 リリースまとめ — 31B Dense / 26B MoE / E4B / E2B のオープンソース4モデル徹底解説

2026年4月27日約7分

2026年4月2日、Googleがオープンソースモデル群「Gemma 4」を発表。31B Denseフラッグシップ、26B MoE、エッジ向けのE4B/E2Bという4モデル構成、AIME 2026で89.2％、LiveCodeBench v6で80.0％という性能、思考モード/関数呼び出し/140言語対応などの特徴を整理します。