G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第14問: LSTM (Long Short-Term Memory) に関する説明として、最も不適切なものはどれか。

正解: 3. ゲートは入力の内容と関係なく一定の間隔で開閉するよう設計者が決めておき、学習では変えない。

肢3が不適切です。LSTM を提案した論文 (Hochreiter と Schmidhuber, 1997) では、乗算型のゲートのユニットが、記憶セルの中の誤差の流れ (constant error carrousel, CEC) への出入りを開けたり閉じたりすることを学習します。開閉のしかたは設計者が決めるのではなく、学習で身につけます。肢1は適切で、同じ論文は、従来の方法では逆伝播する誤差が長い時間差で減衰し、学習に非常に時間がかかることを出発点にしています。肢2は適切で、CEC は誤差を一定に保って流す仕組みです。肢4は適切です。長期の依存を保つのは CEC、情報の出し入れを調整するのが学習するゲートという役割分担で覚えます。

関連キーワード: LSTM・回帰結合層・CEC・ゲート機構