モデル蒸留（Knowledge Distillation）徹底解説｜Teacher-StudentでLLMを小型化する技術と2026年の代表モデル

モデル蒸留（Knowledge Distillation）とは——3行でつかむ本質

• 大きなTeacher（教師）モデルの出力分布やふるまいを、小さなStudent（生徒）モデルに学習させて再現する技術。
• DistilBERT（BERT比で大幅に小型・高速化）、Gemma 2（27B→9Bへの大規模な蒸留でユーザ満足度を広く保持）、DeepSeek R1 Distill など、2025〜2026年に蒸留モデルが急速に普及。
• LLM APIコストを大幅に抑えつつ性能を近い水準で維持できるケースがあるため、コスト・レイテンシ・ローカル実行のすべてを改善する中核技術。

本記事では、AIエンジニア・PM・社内AI推進担当向けに、モデル蒸留の基礎概念・主要手法・2026年時点の代表モデル・実務活用方法・法的リスクまでを整理します。LLMの軽量化技術全体を俯瞰するなら、AIモデル量子化の解説とMoEの解説もあわせてご参照ください。

なぜ蒸留が必要か：LLM運用の「巨大モデル依存」からの脱却

フロンティアクラスのLLM（GPT-4o・Claude 3.5 Sonnet・Gemini 1.5 Pro・DeepSeek-V3・Llama 3.1 405B等）は、API推論コスト・レイテンシ・インターネット依存という3つの壁を持ちます。一方、実務では「コストを1/10にしたい」「端末側で動かしたい」「業界特化した小型モデルを育てたい」といったニーズが日々発生します。

モデル蒸留は、これらのニーズに対する明快な答えです。大モデルの知識を小モデルに圧縮することで：

• 推論コストを数十分の一に
• レイテンシを短縮し、リアルタイム応答可能に
• スマートフォン・エッジデバイス・オンプレミスで実行可能に
• 業界特化のSmall Language Model（SLM）を実現

蒸留の内部構造：Teacher-Student設計

Teacher（教師モデル）

GPT-4、Claude、Gemini、DeepSeek-V3、Llama 3.1 405Bなどの大規模・高性能モデル。学習時に入力に対する出力確率分布（soft targets）や中間表現（hidden states、attention）をStudentに提供します。

Student（生徒モデル）

パラメータ数がTeacherの数分の一〜数十分の一の小さなモデル。Teacherの出力を模倣するように学習することで、同じサイズをゼロから学習した場合より高品質な性能を獲得できます。

典型的な学習ロス

Studentの学習では以下の2つを組み合わせたロスが使われるのが定番です。

• Soft Targets Loss：TeacherとStudentの出力確率分布のKLダイバージェンス
• Hard Targets Loss：正解ラベルとの通常のクロスエントロピー

Soft Targetsが重要な理由は、「正解ラベルは1つ」でも、Teacherが示す「他の単語も近い確率だった」という情報が、Studentの汎化性能を大きく高めるから。この「ラベル平滑化の教師版」こそ蒸留の核心です。

蒸留の主要な種類

1. Response-based Distillation（出力ベース蒸留）

Teacherの最終出力（ロジット or 確率分布）のみを使う最も基本的な手法。実装が簡単で、APIでしかアクセスできないクローズドTeacher（GPT-4等）でも実施可能。

2. Feature-based Distillation（中間表現蒸留）

Teacherの中間層の特徴量（hidden states、attention map）もStudentに学習させる手法。より深い知識移転ができるが、TeacherとStudentの内部アーキテクチャを近づける必要がある。Preferred Networksが日本語LLMで独自の「中間表現を用いた言語モデルの知識蒸留」を研究発表しているのが代表例。

3. Relation-based Distillation（関係性蒸留）

サンプル間やレイヤー間の関係性を学習させる手法。Transformer内部の自己注意パターンを模倣するなど、より高次の構造を学習できる。

4. Online Distillation（オンライン蒸留）

Studentがリアルタイムに生成したサンプルに対してTeacherが評価を返す動的学習。Google Gemma 2で活用された手法で、固定データセットではなくStudentの弱点を突くように学習が進む。

5. Self-Distillation（自己蒸留）

同じアーキテクチャの別インスタンスや、同じモデルの異なる層を互いに教え合う手法。別の大規模モデルを必要としない点で効率的。

2026年の代表的な蒸留モデル

DistilBERT（Hugging Face、2019）

BERTを蒸留した最初期の代表モデル。BERT比でモデルサイズと推論時間を大幅に削減しつつ、多くの言語理解タスクで高い性能を保持した、「蒸留で実用的な小型モデルが作れる」ことを証明した歴史的マイルストーン。

Gemma 2（Google、2024）

Google DeepMindがオープンソースLLMで蒸留のインパクトを示した実装例。Gemma 2 27Bを教師にGemma 2 9Bを学習し、ユーザ満足度を大きく維持したと報告。オンライン蒸留の実用化を牽引。

Microsoft Phi シリーズ（2024〜2026）

「Textbooks Are All You Need」論文で注目されたPhi系列。教師モデルによる合成データ生成＋蒸留的な学習で、小型なのに高品質な推論を実現。ローカル実行向けの定番選択肢。

DeepSeek R1 Distill（2025）

DeepSeek R1（671B MoE）の推論能力を、Qwen・Llamaベースの1.5B〜70BのDense Studentに蒸留。個人PCでも高品質な推論ができる水準まで圧縮し、オープンソースコミュニティで爆発的に普及。

ABEJA Qwen2.5-7B（ABEJA × NVIDIA、2025）

ABEJAが日本語LLM「ABEJA-Qwen2.5-7B」学習でNVIDIA NeMoの蒸留パイプライン並列化を活用。日本のエンタープライズ向け蒸留活用の実例として、ABEJA転職ガイドでも触れているビジネス基盤になっています。

Sakana AI TAID（Temporally Adaptive Interpolated Distillation、2025）

Sakana AIが発表した、TeacherとStudentの能力差が大きい場合に中間Teacherを動的に補間配置する新手法。大モデルの知識移転効率を改善。詳細はSakana AI採用ガイドでも紹介している企業の研究アウトプット。

蒸留のメリット

1. 推論コスト削減：APIコスト換算で大幅な削減事例が報告されている
2. レイテンシ改善：小型Studentは応答速度が数倍〜数十倍速い
3. エッジ・ローカル実行：スマホ・MacBook・企業サーバーで動かせる
4. データプライバシー：外部APIに業務データを送らずに済む
5. ドメイン特化：業界固有のTeacherを使えば業界特化SLMが作れる
6. 環境負荷低減：推論電力が桁違いに下がる

蒸留のデメリット・注意点

1. 性能の完全再現は不可能：Teacher比で精度は一般に低下し、維持率はタスクとモデルで異なる
2. Teacherへのアクセス負荷：ログ取得・合成データ生成に大量のAPIコスト
3. ドメイン外性能の低下：Studentは学習に使われたドメイン以外で弱くなりがち
4. 法的リスク：他社の商用LLMを許可なくTeacherに使うと利用規約違反
5. セキュリティ：Teacherの偏見・脆弱性がStudentに継承される可能性

商用APIを使った蒸留の法的リスク

2026年時点で、他社の商用LLM APIを無断でTeacherに使う蒸留は重大な法的リスクを伴います。2026年2月にAnthropicが開示した事例でも、無断蒸留が利用規約違反・知的財産権侵害の論点になり、業界全体のコンプライアンス意識が高まりました。

実務で蒸留を行う際は以下を必ず確認してください。

• 使用するTeacherモデルの利用規約・ライセンス（例：OpenAI・Anthropic・Googleは競合モデル学習目的の利用を禁止）
• オープンソースTeacher（Llama 3.1、Qwen、DeepSeek、Gemma等）のライセンス条項
• 社内データを使う場合のプライバシー・個人情報保護法対応
• 合成データ生成に伴う著作権・パブリシティ権
• Teacherが生成したコンテンツを再配布する場合の扱い

AIガバナンスの観点は、社内AI推進担当のキャリアガイドでも整理している通り、法務・情シス・事業部の三者で事前確認するプロセスが必須です。

蒸留の実装ステップ（OSS Teacherを使う場合）

1. Teacher選定：Llama 3.1 70B、Qwen 2.5 72B、DeepSeek-V3などからタスクに合うモデルを選ぶ
2. Student選定：Gemma 2 2B、Llama 3.1 8B、Qwen 2.5 7Bなど
3. ドメインデータ準備：業界特化したい場合は独自データを用意
4. 蒸留用データ生成：Teacherに大量のプロンプトを流して出力を収集
5. 学習パイプライン構築：Hugging Face transformers + trl/accelerate/NeMo等で実装
6. 評価：業務ベンチマーク・ユーザ満足度・A/Bテストで精度検証
7. 量子化と併用：AIモデル量子化で更に軽量化し、スマホ・エッジ展開へ

蒸留×量子化×MoE：LLM軽量化の三位一体

2026年のLLM軽量化は、蒸留・量子化・MoEの組み合わせで極限まで効率化します。

• MoEモデルを蒸留してDense Studentを作る（MoEの恩恵を小さく残す）
• 蒸留済みStudentを4bit量子化（AWQ / GGUF）し、エッジ展開
• QLoRAで業務データにファインチューニングし、精度と特化性を両立

この組み合わせで、「GPT-4並みの応答をRTX 4090 1枚 or MacBook Pro M4 1台で」動かせる時代になりました。

業務での活用シナリオ

シナリオ1：コストインフラとしての蒸留

チャットボット・要約・メール自動生成など高頻度ユースケースでは、Teacher API直接利用からStudent自前運用に切り替えるだけで推論コストが1/10以下に。数千万円単位のコスト削減事例も。

シナリオ2：業界特化の独自SLM構築

医療・法律・金融・製造など、業界ドメインに特化したSLMを作る。公開大規模モデル→業界データで蒸留＋ファインチューニングで、精度と規制対応力の両方を確保。医療AI企業ガイドでも、ドメイン特化蒸留の事例は主要プレイヤーの戦略軸です。

シナリオ3：オンデバイスAI

スマホ・自動車・家電に組み込むAIでは、蒸留されたSLMが必須。Apple Intelligence、Samsung Galaxy AI、Google Pixel AIなど、各社のオンデバイスAIは蒸留技術に支えられています。

シナリオ4：機密データのオンプレミス推論

金融・医療・防衛など外部API利用が難しい業界では、蒸留＋量子化で社内サーバーに収まるSLMを作り、データを外部に出さずに推論。中国AIエンジニア転職記事で触れたPIPL等の国別規制対応とも強く結びついています。

学ぶためのリソース

• Hugging Face公式ブログ「Knowledge Distillation」
• NVIDIA NeMoドキュメント（パイプライン並列蒸留のベストプラクティス）
• Preferred Networks「中間表現を用いた言語モデルの知識蒸留」
• Sakana AI「TAID: Temporally Adaptive Interpolated Distillation」論文
• Google Gemma 2論文（arXiv 2408.00118）
• Microsoft Phi-3 / Phi-4 テクニカルレポート

実装で手を動かすなら、Hugging Faceのtrlライブラリ（KnowledgeDistillationTrainer）かNeMo Frameworkから始めるのが近道。事前学習済みモデルで十分に試せます。学習計画の整理は生成AIスキル習得ロードマップと機械学習 独学 完全ロードマップもご覧ください。

蒸留エンジニア／研究者に求められるスキル

• Python・PyTorch・Hugging Face transformers / trl / accelerate
• NVIDIA NeMo / DeepSpeed / FSDP等の分散学習フレームワーク
• KLダイバージェンス等のロス設計
• 評価設計（MMLU、HumanEval、GSM8K、業務固有タスク）
• 量子化ライブラリ（bitsandbytes、AWQ、GPTQ、llama.cpp）
• ライセンス・利用規約の読解力

キャリアパスとしては、AIエンジニア（AIエンジニア キャリア設計 完全版）・AIアーキテクト・NLPエンジニアのいずれからも蒸留専門性を積み上げるルートがあります。

まとめ：蒸留は「LLM実用化の決定版技術」

モデル蒸留（Knowledge Distillation）は、大規模LLMの知識を小型Studentモデルに圧縮することで、コスト・レイテンシ・プライバシーの3壁を打ち破る中核技術です。DistilBERTに始まり、Gemma 2・Phi・DeepSeek R1 Distill・ABEJA Qwen2.5・Sakana AI TAIDといった2025〜2026年のブレイクスルーが、LLM実用化の加速を牽引しています。

エンジニアなら実装・評価スキル、PM・コンサルなら法的リスク理解と導入設計、研究者なら新規手法開発——それぞれの立場で蒸留リテラシーはLLM時代に欠かせません。実務で始めるなら、オープンソースTeacher（Llama 3.1、Qwen、Gemma）を選び、Hugging Faceやnvidia/nemoの公式パイプラインから小さく試すのが王道。AIモデル量子化やMoEと組み合わせれば、自社・自身の環境に最適なLLM運用が実現できます。

あわせて読みたい

• テスト
• WebエンジニアからMLエンジニアへの転職方法｜活かせるスキル・学習ロードマップ・注意点
• AIエンジニアの転職面接対策｜2026年に頻出の質問・技術トピック・準備ステップ

2026年の蒸留モデル実用化動向——DeepSeek-R1-Distill・Phi-4・Gemma 3・Llama 3.2

本章では、2026年時点で実運用候補となる主要な蒸留モデル群と、On-policy蒸留などの新しい技術動向、そしてエンタープライズでの蒸留採用の実務論点を整理します。Teacher-Student型の知識蒸留は「賢いモデルを小さくする」汎用技術から、顧客接点の低レイテンシ要件・オンデバイス推論・エンタープライズのtokenomics管理の鍵となる実装戦略へと役割が拡大している議論があります。

主要蒸留モデル群——2026年の代表プレイヤー

2026年時点でエンタープライズ・開発者コミュニティから注目されている代表的な蒸留モデル・小型モデル（SLM）を整理します（LM Studio「deepseek-r1」、Ollama「deepseek-r1」、Hugging Face「unsloth/DeepSeek-R1-Distill-Llama-8B」、Unsloth「Model Catalog」、DeepInfra「DeepSeek-R1-Distill-Llama-70B」、Emergent Mind「DeepSeek-R1-Distilled: Open LLM Reasoning」、Simon Willison「DeepSeek-R1 and exploring DeepSeek-R1-Distill-Llama-8B」、Onyx AI「Best Self-Hosted LLM Leaderboard 2026」、Vellum「LLM Leaderboard 2026」、Ian Paterson「I Tested 15 LLMs on 38 Real Coding Tasks」）。

• DeepSeek-R1-Distill シリーズ：DeepSeek-R1 の推論パターンを Qwen2.5 / Llama3 バックボーンへ蒸留した 1.5B〜70B のバリエーション。数学・論理推論・コーディングで議論される論点。「R1-Distill-Llama-8B」「R1-Distill-Llama-70B」が代表的で、Teacher の reasoning パターンを Student に移植する形式が強力な成果を出す論点。
• Microsoft Phi-4 / Phi-3：「データ品質がスケールに勝つ」の実証として議論される論点。合成テキスト・フィルタデータ・蒸留を組み合わせた訓練で、大規模モデルと遜色ない性能を小サイズで実現する議論（Local AI Master「Best Small AI Models to Run with Ollama 2026: Phi-4, Gemma 3, Qwen 3, GGUF」、Meta Intelligence「Small Language Models: Phi-4 vs Gemma 3 vs Llama 3.3 — Enterprise Edge AI」）。
• Google Gemma 3：Gemini アーキテクチャから蒸留されたオープンモデル系列。マルチモーダル対応（画像入力）を4B以上のバージョンで搭載する議論。
• Meta Llama 3.2（1B / 3B）：モバイル・組込み向けのエッジ特化。スマートフォン・IoT デバイスでの動作を想定した設計の論点（Intuz「Top 10 Small Language Models [SLMs] in 2026」、DataCamp「Top 15 Small Language Models for 2026」、BentoML「Best Open-Source Small Language Models」）。
• Claude Haiku 4.5：Anthropic の軽量モデル。分類・意図検出・コンテンツモデレーション・シンプル抽出で議論される論点（本稿 Claude API 章も参照）。
• Qwen 2.5 / Qwen 3：Alibaba のオープン系列。多言語対応と長文コンテキストで議論される論点。
• Mistral 7B 系列：欧州発のオープンモデル。ファインチューニング前提のベースモデルとして議論される論点。
• Gemini Flash / Flash-Lite / GPT-oss-20b / Gemma 2 9B：クラウド向けの軽量モデル。バッチ・分類・ヘルスチェックで使われる議論がある論点（Iterathon「Small Language Models 2026 Cost Efficiency Guide」）。

On-policy蒸留——2026年の新しい蒸留パラダイム

2026年に注目が高まっているのがOn-policy蒸留（オン・ポリシー蒸留）です。従来のOff-policy蒸留（教師モデルの出力を固定データセットとして学習する方式）に対し、On-policy蒸留は学生モデルが生成したサンプルに対して教師モデルが教示する設計で、強化学習と比較しても効率的な議論があります（Yage AI「蒸留」到底帮了中国AI公司什么忙」、CSDN「大模型（LLM）蒸馏技术解析」、Alibaba PAI「DistilQwen2蒸馏小模型の训练・評価・圧縮・デプロイ」、CSDN「LLM 剪枝+蒸留：NVIDIA 最佳实践」、Alibaba PAI「模型蒸馏优化深度推理大语言模型」、腾讯云「一文读懂模型蒸馏技術」、CSDN「LLM知识蒸馏代码講解」）。

• Off-policy vs On-policy：Qwen3の技術報告では AIME'24 で On-policy 蒸留が Off-policy より大幅に高いスコアを示し、計算コストも強化学習の数分の一という議論が共有されている論点。
• Step-by-Step Distillation（Google）：教師モデルの思考連鎖（Chain-of-Thought）を学生モデルに抽出する設計で、小サイズでも複雑な推論タスクを解ける議論（iThome「Google 開發逐步蒸餾技術、小資料小模型也能打敗LLM」）。
• DeepSeek の Teacher-Student パターン：大規模な教師モデルの推論パターンを蒸留することで、小型モデルが直接強化学習で得る推論パターンを上回るケースがある議論。
• Synthetic Data によるキュレーション：大規模教師モデルで合成データ（「教科書品質」のサンプル）を生成し、蒸留データセットにするアプローチ。Phi 系列のコアアイデアとして議論される論点。
• 蒸留＋剪枝（Pruning）＋量子化の組合せ：NVIDIAの実践では、蒸留だけでなく剪枝と量子化を組み合わせて、モデルサイズ・推論速度・精度の3軸で最適化する議論がある論点（NVIDIA 最佳实践）。
• Speculative Decoding × エッジ推論：小型モデルで先読みし、大型モデルで検証するSpeculative Decodingを、エッジ分散推論に適用するEdgeSpecのような研究も進む論点（CSDN「speculative decoding on edge」、DAMO開発者矩陣「2026国産模型密集発布」）。

エッジ・オンデバイス推論の実装戦略

蒸留モデルはクラウドでの推論コスト削減だけでなく、エッジ・オンデバイス推論のデファクト基盤として議論が広がっています（Edge AI Engineering「Small Language Models (SLM)」、V-Chandra「On-Device LLMs: State of the Union, 2026」、Medium (Dr. Eva-Marie Muller-Stuler)「The Evolution of Modern LLM Architectures: From Edge to Trillion-Scale」、DEV Community「How to Train a Small Language Model: The Complete Guide for 2026」、Murf AI）。

• スマートフォン・タブレット：Llama 3.2 1B/3B、Phi-3 Mini、Gemma 3 4B などがモバイルGPU/NPU で動作し、プライバシーを保ちつつ AI 機能をローカルで実行する議論。
• IoT・組込み機器：定型タスクの自動化・音声コマンド認識で、ネットワーク切断時でも動作する設計の論点。
• Ollama / LM Studio / llama.cpp / GGUF：個人・企業のローカル実行環境の標準化が進む論点。モデル量子化（GPTQ / AWQ / GGUF）でメモリを削減する議論。
• 推論高速化：Flash Attention、PagedAttention、vLLM、TensorRT-LLM 等の最適化ライブラリとの組合せで、蒸留モデルが実プロダクション水準の応答速度を達成する論点。
• エネルギー効率：エッジ推論はクラウド推論よりデータセンター電力・通信コストを削減する議論がある領域。サステナビリティ観点でも議論される論点。

エンタープライズでの蒸留採用——コスト・レイテンシ・規制対応

エンタープライズのAI導入では、蒸留は「モデル技術の選択肢」を超えて経営管理の中核として議論されるようになっています。金融業界（Capital One等）の例では、顧客接点のレイテンシとコストを最重要要件とし、蒸留・最適化をプロダクション要件として位置付けている論点が共有されており、大規模組織の生成AI運用では「モデルの賢さ」以上に「顧客体験要件を満たす推論性能の作り込み」が問われる議論が広がっています。

• Tokenomics の管理：推論・長時間エージェント・reasoning の普及で、コストが非線形に増える局面がある議論。蒸留による軽量モデル活用で、価値指標（CS・時間短縮・収益）と費用（トークン/GPU）を結ぶ管理が不可欠な論点。
• モデルカスケード設計：軽量モデル（Haiku / Flash / Phi / Gemma）でまず応答し、複雑な場合だけ Frontier モデル（Opus / GPT-5 / Gemini Pro）にエスカレーションする設計の論点。
• 蒸留の「どこから蒸留するか」の論点：自社のプロダクションLLMコール履歴をTeacherデータとして、専用SLMに蒸留する「自社特化蒸留」が議論される領域。ドメイン特化で精度を上げる論点。
• 規制業界での適用：金融・医療・公共では、蒸留モデルのオンプレ運用・VPC内推論で、データ主権・コンプライアンス要件を満たす設計が議論される論点。
• Evaluation Harness：蒸留は性能劣化のリスクがあるため、評価フレーム（LLM-as-a-Judge / Golden Set / 定期ベンチマーク）を組み込む議論が必須の論点。
• Custom Distillation Services：AWS Bedrock / Google Vertex AI / Anthropic / OpenAI が顧客データでのカスタム蒸留サービスを提供する動きもある論点。

蒸留の限界・注意点

• Teacherモデルの限界を引き継ぐ：Teacherが間違える領域は Student も間違えやすい議論。バイアス・ハルシネーションが転移する論点。
• 特殊ドメインの知識の損失：Teacher の知識が Student にフル転移しないため、特定ドメインで性能低下が議論される論点。ファインチューニングでの補強が検討される領域。
• 長文処理・マルチモーダルの制約：蒸留モデルは Teacher よりコンテキストウィンドウが狭い / マルチモーダル対応が制限されるケースがある議論。
• 評価のバラつき：同じ蒸留モデルでもタスクによって性能差が大きく、ユースケース別ベンチマークが必須の論点。
• モデルのライセンス条件：Teacherモデルのライセンス（オープン / 商用制限）が、蒸留モデルの配布・商用利用に引き継がれる論点。Llama系 / Qwen系 / DeepSeek系のライセンスをケース別に確認する議論。
• 著作権・訓練データの出自：合成データ・キュレーションデータの生成元の著作権・訓練データの出自・開発プロセスの透明性は、エンタープライズ契約の論点として議論される領域。

ユースケース別の蒸留モデル使い分け

• 高頻度分類・意図検出：Haiku / Flash-Lite / GPT Mini / Phi-3 Mini / Llama 3.2 1B が候補の議論。レイテンシとコストの両立が論点。
• チャットボット基盤：Sonnet / GPT-5 Mid / Gemini Pro で開始し、高頻度質問パターンを自社特化SLMに蒸留する設計の論点。
• コード生成（簡単なスニペット）：DeepSeek-R1-Distill-Llama-8B / Qwen 2.5 Coder 7B / Gemma Code などの軽量コーダーの議論。複雑な設計は Frontier 系に回す論点。
• モバイル・エッジアプリ：Llama 3.2 1B/3B / Phi-3 Mini / Gemma 3 4B / Apple Foundation Models でオンデバイス実行の論点。
• RAG の生成部分：回答要約・整形を軽量モデル、複雑な推論だけ Frontier にエスカレーションするハイブリッド設計の議論。
• 要約・翻訳（バッチ）：Gemini Flash / Claude Haiku / DeepSeek V3 で大量バッチ処理の論点。Batch API との組合せで論点化。
• 特定業界ドメイン（医療・金融）：ベースSLMに業界コーパスでのファインチューニング＋蒸留を重ねる設計の議論がある領域。

蒸留モデル採用のチェックポイント

• ユースケースの要件（精度・レイテンシ・コスト・プライバシー）を定量化したか。
• Frontier帯 / SLM / 蒸留モデル / オンデバイスのどの層で解くかを設計したか。
• モデルカスケード（軽量 → Frontier エスカレーション）で実効コストを最小化する設計を取ったか。
• 蒸留モデルの評価フレーム（Golden Set / LLM-as-a-Judge / 業界特化メトリクス）を準備したか。
• Teacherモデル・Studentモデルのライセンス条件と商用利用可否を確認したか。
• オンプレ・VPC運用でのインフラ要件（GPU・量子化・vLLM 等）を試算したか。
• 自社特化蒸留の可能性（自社プロダクションログを教師データ化）を評価したか。
• Evaluation Harness を CI/CD に組み込み、蒸留モデルアップデート時の性能回帰を自動検出する仕組みを用意したか。

本章の情報は2026年時点の一般的な研究・産業動向の解説であり、個別の蒸留モデル採用・本番デプロイ判断は、ご自身のユースケース・レイテンシ要件・規制要件・ライセンス条件に応じて、各モデルの公式ドキュメント・論文・ベンチマーク・本番PoCを通じて検討する領域です。モデルの性能・ライセンス・利用条件は随時更新されるため、本番運用前に最新情報を確認する運用が無難な論点です。