← Yohaku の都市
/
タグ
#速度
応答速度・スループット。
判定エンジン
推論API/ルーティング 判定
用語
蒸留（モデル蒸留）
大きなモデルの知識を、小さなモデルに移し替える技術。
レイテンシ
リクエストを送ってから、応答が返り始めるまでの待ち時間。
Mixture of Experts（MoE）
巨大モデルを小さな専門家に分け、必要な部分だけ動かす仕組み。
量子化
AIモデルの数値の精度を落として、軽く・速く・安く動かす技術。
スループット
単位時間あたりに処理できる量。
タグは、用語・記事・判定をテーマでつなぐ目印です。編集部が責任を持って管理しています（誰でも編集できる方式ではありません）。