G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第41問: Glorotらが2011年に報告した、隠れ層にReLU関数（rectifier）を使った深いネットワークの実験結果の説明として、最も適切なものはどれか。

「ちょうど0の値を多く含む疎な表現を作った」とする記述が適切です。Glorot・Bordes・Bengioの論文（AISTATS 2011）は、ReLU関数は0で微分できない硬い非線形でありながら、ハイパボリックタンジェント関数（tanh関数）のネットワークと同等以上の性能を示し、真の0を含む疎な表現を作ると報告しています。

「0がほとんど現れない密な表現」は逆で、同論文は重みを一様分布で初期化した直後でも隠れユニットの出力の約50％がちょうど0になると述べています。「教師なしの事前学習が欠かせない」も逆で、大きなラベル付きデータの教師あり学習では事前学習なしで最高の性能に達したとしています。

「性能は大きく劣る」は、同等以上という比較と食い違います。負の入力で出力が0になる性質が、疎な表現という利点にもつながる点を押さえましょう。