G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第27問: モデルの軽量化に関する説明として、最も適切なものはどれか。

正解: 1. 蒸留は、大きなモデル（教師）が出力するクラスの確率を目標に小さなモデル（生徒）を学習させ、その知識を移す手法である。

肢1が正解です。蒸留の論文（Hinton ほか）は、大きなモデルやアンサンブルが出力するクラスの確率（ソフトターゲット）を目標に小さなモデルを学習させ、その知識を移す方法を示しました。肢2は誤りで、重みなどを整数で表して整数の演算で推論し、計算とメモリを減らすのは量子化です（Jacob ほか）。プルーニングは重要度の低い結合を取り除く手法です（Han ほか）。肢3は誤りで、宝くじ仮説（Frankle・Carbin）は、大きなネットワークの中に、元の初期値のまま単独で学習すると元と同程度の精度に届く部分ネットワーク（当たりくじ）があるとする仮説です。当たりくじが元を上回ることもありますが、無作為に選んだ部分ネットワークは疎になるほど精度が下がり、当たりくじも初期値を選び直すと大きく劣ると論文は報告しています。肢4は誤りで、エッジAIは端末などデータの発生源に近い所で推論する考え方です。

関連キーワード: 蒸留・プルーニング・量子化・宝くじ仮説・エッジAI