G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第36問: LSTM の層が、入力8次元・隠れ状態16次元で構成されている。入力ゲート・忘却ゲート・出力ゲートと、記憶セルに加える候補を計算する入力ノードの4つは、それぞれ
LSTM の層が、入力8次元・隠れ状態16次元で構成されている。入力ゲート・忘却ゲート・出力ゲートと、記憶セルに加える候補を計算する入力ノードの4つは、それぞれ入力に掛ける重み行列、1つ前の時刻の隠れ状態に掛ける重み行列、バイアスのベクトルを1つずつ持つ。この LSTM の層が学習するパラメータの数として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 1. 1,600
肢1が正解です。教科書 Dive into Deep Learning (Zhang ら) の10.1節の式では、3つのゲートと入力ノードのそれぞれが、入力 d 次元に掛ける d × h の重み、隠れ状態 h 次元に掛ける h × h の重み、h 個のバイアスを持ちます。
1組あたり: 8 × 16 + 16 × 16 + 16 = 128 + 256 + 16 = 400
4組分: 400 × 4 = 1,600
肢2の400は1組分の値、肢3の1,536はバイアス (16 × 4 = 64個) を数え忘れた値、肢4の1,200は3つのゲートを数えて入力ノードを落とした値です。なお PyTorch の nn.LSTM のように、入力側と隠れ状態側で別々のバイアスを持つ実装では64個多い1,664になるので、バイアスの持ち方は設問の条件で確かめます。
関連キーワード: LSTM・パラメータ数・ゲート機構・回帰結合層
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内（145問程度・100分）にそろえた145問・100分（1つあたり約41秒）で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック