mixture of experts

Mixture of Experts（MoE）

巨大モデルを小さな専門家に分け、必要な部分だけ動かす仕組み。

更新 2026-06-01 ・分野: AI

大きなモデルを多数の「専門家（experts）」に分割し、入力ごとに一部の専門家だけを起動する設計です。総パラメータは巨大でも、実際に動く部分は小さいので、賢さと効率を両立できます。

近年の高性能モデルの多くが採用。量子化と並ぶ効率化の柱です。

出典

Shazeer et al., “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer”（2017）— arXiv:1701.06538

定義には出典をつけ、随時見直しています。編集部が責任を持って管理し、誰でも編集できる方式ではありません。だから信頼と鮮度を保てます。