G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第65問: 蒸留（Hinton ほか, arXiv 2015年）では、教師モデルのソフトマックス関数に温度Tを入れ、T＞1として柔らかい目標を作る。2クラスの教師モデルのロ

「3/4」が適切です。蒸留の論文（Hinton ほか）は、温度Tつきのソフトマックス関数をq_i＝exp(z_i／T)／Σ_j exp(z_j／T)と定め、Tを高くすると確率の分布が柔らかくなると述べています。

z_1／T＝2 ln 3÷2＝ln 3、z_2／T＝0なので、q_1＝exp(ln 3)／(exp(ln 3)＋exp(0))＝3／(3＋1)＝3/4です。「9/10」は温度で割り忘れてT＝1で計算した値で、exp(2 ln 3)＝9から9／(9＋1)になります。

「81/82」はロジットにTを掛けた値で、分布が鋭くなる向きの誤りです。「1/2」は温度を上げると確率が均等になると考えた値ですが、有限のTではロジットの差が残ります。

蒸留では教師と生徒の両方に同じ高い温度を使い、学習後の生徒はT＝1で使う点も押さえましょう。