Kimi K3解説：2.8兆パラメータ、100万トークンの文脈、オープンウェイトの新境地

2026年7月、Moonshot AIは次世代フラッグシップモデル Kimi K3 を公開しました。総パラメータ2.8兆、アクティブパラメータ1,040億、ネイティブ画像入力、最大1,048,576トークンのコンテキストを備えます。注目点は単に巨大化したことではありません。長時間のソフトウェア開発、知識作業、マルチモーダル理解、Agentタスクを同時に扱う設計です。

この記事では次を説明します。

• Kimi K3のアーキテクチャが解決しようとする問題
• 公式ベンチマークが示すことと示さないこと
• 100万トークンの文脈がモデル設定ではなく運用課題になる理由
• GPU、ストレージ、マルチノード基盤の計画方法

以下の仕様は、Kimi K3技術レポート と Moonshot公式repository を一次情報としています。

Kimi K3の主要仕様

Kimi K3はMixture-of-Experts（MoE）アーキテクチャです。896個のルーティング専門家から各トークンで16個を選び、共有専門家も使います。1トークンあたりの計算量は総パラメータ数より小さくできますが、全専門家の重みはサービスクラスタに保存して利用可能にする必要があります。

2.8Tはロード・保存する完全な重みの規模で、104Bは1回のforward計算に近い値です。 MoEはトークン単位の計算量を減らしますが、Kimi K3を通常の100Bモデルのようにデプロイできるという意味ではありません。

Kimi K3を支える3つの設計

長文脈のためのKimi Delta Attention

標準Transformerでは系列が長くなるほどKVキャッシュ、prefill、GPU間通信が増えます。Kimi K3は Kimi Delta Attention（KDA） を導入し、固定サイズのrecurrent stateで長い系列を処理しながら、Gated MLAレイヤーを周期的に挿入してグローバルな情報交換を保ちます。

93レイヤーの内訳はKDAが69、Gated MLAが24です。完全にfull attentionを捨てるのではなく、長系列の効率と全体的な相互作用を組み合わせています。100万トークンの文脈は、モデル構造、cache管理、GPU並列化をまとめて設計した結果です。

注意： 100万トークンに対応していても、すべてのデプロイで100万トークンを低コストに処理できるわけではありません。GPUメモリ、同時実行数、KVキャッシュ設定、prefill時間、サービングエンジンが実用上限を決めます。

Attention Residualsによる選択的な再利用

通常のTransformerは主に隣接レイヤー間で情報を渡します。Attention Residuals（AttnRes） は、現在のレイヤーがembedding層や過去の複数ブロックから有用な表現を選択的に取得できる仕組みです。深い層を通る間に重要な情報が薄まることを抑える狙いがあります。

AttnResはKDA、Gated MLA、Stable LatentMoE、訓練レシピとともにKimi K3の主幹を構成します。単一の機能ではなく、長時間の処理と疎な実行を前提に全体を組み立てている点が重要です。

Stable LatentMoEで高い疎性を扱う

896のルーティング専門家から16個だけを選ぶことで、毎回2.8Tパラメータを計算せずに大きな総容量を持たせられます。一方で、専門家の一部にトラフィックが集中する負荷不均衡も起こり得ます。MoonshotはStable LatentMoEとバランシング戦略でこれを扱います。

MoonshotはKimi K2比で 全体のscaling efficiencyが約2.5倍向上 したと報告しています。これは公式の集約評価であり、すべてのタスクが2.5倍高速、または2.5倍安価になるという意味ではありません。独立した同条件のベンチマークが出るまでは、モデル開発上の主張として扱ってください。方法と結果は公式repositoryで確認できます。

Kimi K3の実力

Moonshotの評価は推論、コーディング、ツール利用、ウェブ調査、マルチモーダル理解、デスクトップ操作を対象にしています。

これらは単発のチャットではなく、観察、実行、確認、修正を繰り返すループを想定した数字です。Moonshotが公表した結果であり、一部は自社評価です。Agentベンチマークはツール、prompt、フレームワーク、モデル設定にも左右されます。技術レポートも、すべての評価で最上位のクローズドモデルを上回るわけではないと説明しています。

長時間のソフトウェア開発

Kimi K3は大規模repositoryの調査、ターミナルツールの呼び出し、コードの作成とテストを行い、少ない介入で作業を続けるよう訓練されています。公式ケースではGPU kernelを分析・書き換え、AttnRes kernelのレイテンシを283.6 msから114.4 msに短縮しました。これはMoonshotのケース結果であり、別のハードウェア、compiler、kernel版で再現する保証ではありません。

エンドツーエンドの知識作業

検索、文書読解、コード実行、データ分析、可視化を一つのワークフローにまとめられます。技術レポートのケースでは、87本の四半期報告、99本の原PDF、11,000ページ超のAIチップ産業資料を処理し、大量のウェブ検索とターミナル操作を行いました。チャットボットというより研究アナリストに近い処理です。

ビジョンとツールの協調

ネイティブ画像入力により、画面、チャート、レンダリング結果、文書、エラー画面を確認して次のツール操作を選べます。Agentにとってのビジョンは、コマンドとその結果の状態を閉ループにする機能です。

オープンウェイトでもデプロイの壁は残る

MoonshotはKimi K3のサービングにvLLM、SGLang、TokenSpeedを推奨し、公式チャネルでOpenAI互換APIも提供しています。完全なモデルを自前で動かすには分散デプロイが必要です。

公開されている参考トポロジーは次の通りです。

• H100：4ノード、各8 GPU
• H200：2ノード、各8 GPU
• B200：2ノード、各8 GPU
• B300：1ノード、8 GPU
• GB300：2ノード、各4 GPU

vLLM Recipesは少なくとも8枚のGB300を推奨し、本番トラフィックでは通常マルチノードが必要です。これは出発点であり、容量保証ではありません。プロビジョニング前にmodel revision、runtime、トポロジー、GPU在庫を確認してください。

個人開発者や小規模チームにとって現実的な道は次の3つです。

1. 公式Kimi APIを使う。
2. 小さなGPUを借り、RAG、データ処理、評価、Agentサンドボックスを構築してKimi K3 APIに接続する。
3. プライバシー、制御、継続的な利用量がクラスタを正当化してからマルチノードで自ホストする。

Kimi K3は「何の制約もないオープンソース」ではなく、より正確にはオープンウェイトモデルです。利用、変更、デプロイ、ファインチューニング、再配布、派生物の作成は許可されていますが、商用条件があります。Model-as-a-Service事業で12か月の総収益が2,000万米ドルを超える場合はMoonshot AIとの追加契約が必要です。大規模な商用製品にはインターフェース表示条件が適用される場合もあります。商用利用前に完全なライセンスを確認してください。

基盤は段階的に計画する

必要なのはGPU枚数だけではありません。高速インターコネクト、Tensor／Pipeline／Expert Parallel設定、ノード間の重み配布、100万トークンのKVキャッシュとKDA state、障害復旧、負荷に応じたGPUの追加・解放も設計対象です。

まず検証用GPUから始める

L40SやRTX PRO 6000は完全なKimi K3を収容できませんが、API統合、RAGとベクトルDB、Embedding／Reranker、OCR、Agentツールとサンドボックス、小規模モデル、バッチデータ処理、評価には使えます。コード、データ、ワークフローを固めてから大規模クラスタを借りましょう。

H100、H200、B200へ移る

高同時実行推論、大規模データ処理、ファインチューニング、マルチノード検証に進んだら高メモリGPUを使います。GPUが適切なインターコネクトで接続され、互換性のあるリージョンに揃って初めて一つのサービングクラスタになります。別々の拠点にあるカードを一つのクラスタとして数えないでください。

Glows.aiではB200、H200、H100、RTX PRO 6000、A100、L40Sなどをオンデマンドで選べます。実際の型番、リージョン、料金、在庫はインスタンス作成画面で確認してください。

重みと環境を永続化する

数TBの重みと依存関係を起動のたびに取得するのは現実的ではありません。Datadriveにモデル、データ、コードを保存し、Snapshotで構成済み環境を残します。vLLM、SGLang、CUDA kernel、マルチノード設定を反復するチームほど効果があります。複数マシンのDeepSeek-R1 SGLangチュートリアルは分散ワークフローを、Kimi K3のハードウェア・コスト・可用性ガイドは別のサイジング判断を説明しています。

Kimi K3に注目すべき人

AI Agentチーム：ツール利用、ウェブ調査、長時間実行、デスクトップ操作を使って自律的なワークフローを検証したいチーム。

大規模コードベースのチーム：100万トークン文脈でモジュール横断のリファクタリング、デバッグ、repository理解を試すチーム。

研究・コンサルティングチーム：文書、検索、分析、レポート作成を連続した処理にしたいチーム。

プライベート推論を検討する企業：クラスタコスト、runtimeの成熟度、ライセンス、セキュリティ、データガバナンスを同時に評価できる企業。

推論基盤の研究者：KDA、疎なMoE、MXFP4、長文脈state、ノード間Expert Parallelを研究する人。

よくある質問

Kimi K3は単に大きいチャットモデルですか？

いいえ。長時間のコーディング、知識作業、マルチモーダル入力、Agentループを想定した設計と評価です。チャットは一つのインターフェースに過ぎません。

アクティブ104Bなら104BクラスのGPUに入りますか？

入りません。2.8Tの完全な重みを保存して分散する必要があります。アクティブパラメータはトークンごとの計算量であり、checkpointの総メモリではありません。

100万トークンを高い同時実行数で使えますか？

自動的にはできません。文脈長、KVキャッシュまたはKDA state、prefill時間、batch size、ネットワークトポロジーを実ワークロードで測定してください。

小規模チームはKimi K3を自ホストすべきですか？

まずAPI、または重みと実測構成が公開済みの小さなモデルから始めるのが通常です。プライバシー、revision管理、継続的な利用量がマルチノード運用を正当化し、復旧計画もある場合に自ホストを検討します。

関連ガイド

• Kimi K3を動かす方法：ハードウェア、コスト、提供状況
• オープンモデル向けGPUと量子化の選び方
• Glows.aiでOpenAI互換vLLM APIをデプロイする方法

まとめ

Kimi K3の意味は2.8Tという数字だけではありません。ネイティブビジョン、100万トークンのワークフロー、ツールとターミナル操作、複数GPU・複数ノードでの効率的な実行を、オープンウェイトの領域で一つのシステムとして扱う段階に入ったことです。

多くの読者にとって、評価の入口は公式APIです。プライベートAgent、企業ナレッジシステム、高同時実行推論を構築するチームには、GPUクラスタ、永続ストレージ、デプロイツールが実際の課題になります。Glows.aiのようなオンデマンドGPUプラットフォームなら、小さなインスタンスでデータパイプラインとAgentワークフローを検証し、必要になった時点でH100、H200、B200へ拡張できます。