distillation

蒸留（モデル蒸留）

大きなモデルの知識を、小さなモデルに移し替える技術。

更新 2026-06-01 ・分野: AI

高性能な大モデル（教師）の振る舞いを、小さなモデル（生徒）に学ばせて、軽くて速いのに賢いモデルを作る技術です。安価な運用や端末上での実行に役立ちます。

ファインチューニングや量子化と組み合わせて使われます。

出典

Hinton et al., “Distilling the Knowledge in a Neural Network”（2015）— arXiv:1503.02531

定義には出典をつけ、随時見直しています。編集部が責任を持って管理し、誰でも編集できる方式ではありません。だから信頼と鮮度を保てます。