ディープラーニングの要素技術

解説: 肢1が正解です。全結合層は、入力のすべての値と出力の各ユニットを重みで結び、重み付きの和にバイアスを加える変換です。教科書 Dive into Deep Learning (Zhang ら) は、各出力がすべての入力に依存する層を全結合層と呼び、O = XW + b の形で表して…

関連キーワード: 全結合層・重み・線形関数・バイアス・活性化関数

解説: 肢2が正解です。全結合層のパラメータ数は「入力の数 × 出力の数 (重み) + 出力の数 (バイアス)」です。Dive into Deep Learning (Zhang ら) も、隠れ層の重みを 入力の次元 × 隠れユニット数 の行列、バイアスを隠れユニット数の分として表してい…

関連キーワード: 全結合層・パラメータ数・バイアス・多層パーセプトロン

解説: 肢1が正解です。畳み込み層では、フィルタ (カーネル) を入力の上で少しずつずらし、各位置で入力の小領域との積和にバイアスを加えます。1枚のフィルタから1枚の特徴マップができるので、出力のチャネル数はフィルタの枚数に等しくなります (スタンフォード大学の講義資料 CS231n の…

関連キーワード: 畳み込み層・畳み込み操作・フィルタ・特徴マップ・カーネル

解説: 肢3が正解です。出力の大きさは (W − F + 2P) ÷ S + 1 で求めます (W: 入力の大きさ、F: フィルタの大きさ、P: パディングの幅、S: ストライド。CS231n の式)。 (33 − 5 + 2 × 2) ÷ 2 + 1 = 32 ÷ 2 + 1 = 17…

関連キーワード: 畳み込み層・ストライド・パディング・特徴マップ

解説: 肢4が正解です。畳み込み層のフィルタは入力のすべてのチャネルにまたがるので、1枚あたりの重みは 縦 × 横 × 入力チャネル数 です (CS231n)。 1枚あたり: 5 × 5 × 3 = 75 (重み) + 1 (バイアス) = 76 8枚分: 76 × 8 = 608 入力…

関連キーワード: 畳み込み層・パラメータ数・フィルタ・重みの共有

解説: 肢1が不適切です。畳み込み層の重みの数は「フィルタの縦 × 横 × 入力チャネル数 × フィルタの枚数」(とバイアス) で決まり、ストライドにもパディングにも依存しません (CS231n)。ストライドはフィルタをずらす間隔です。肢2は適切で、たとえば縦横29の入力に3×3のフィル…

関連キーワード: ストライド・パディング・畳み込み層・パラメータ数

解説: 肢4が正解です。MobileNets を提案した論文 (Howard ら, 2017) は、通常の畳み込みを、入力のチャネルごとに1枚のフィルタを当てる畳み込み（depthwise convolution）と、その出力を1×1の畳み込みで混ぜる畳み込み（pointwise con…

関連キーワード: Dilated Convolution・Atrous Convolution・Depthwise Separable Convolution・MobileNet・受容野

解説: 肢2が正解です。バッチ正規化を提案した論文 (Ioffe と Szegedy, 2015) は、学習中に前の層のパラメータが変わると各層への入力の分布が変わる現象を内部共変量シフトと呼び、ミニバッチごとに層への入力を正規化してモデルの一部に組み込むことで、大きな学習率を使えるよう…

関連キーワード: バッチ正規化・正規化層・内部共変量シフト・ミニバッチ

解説: 肢4が正解です。グループ正規化を提案した論文 (Wu と He, 2018) は、4つの手法を平均と分散を計算する軸で比べています。Aは適切で、バッチ正規化はチャネルごとに (N, H, W) の軸で計算します。Bは適切で、レイヤー正規化はデータ1件ごとに (C, H, W) の…

関連キーワード: バッチ正規化・レイヤー正規化・インスタンス正規化・グループ正規化・正規化層

解説: 肢3が正解です。プーリング層は、特徴マップの小領域 (たとえば2×2) の値を、最大値や平均値といった決まった計算で1つにまとめ、縦横の大きさを縮めます。CS231n は、プーリング層は入力に対して固定の関数を計算するので学習するパラメータを持たないと説明しています。肢1は誤りで…

関連キーワード: プーリング層・最大値プーリング・平均値プーリング・ダウンサンプリング

解説: 肢4が正解です。プーリングは小領域の値を1つにまとめるので、入力がわずかに平行移動しても、まとめた出力の多くは変わりません。教科書 Deep Learning (Goodfellow ら) の 9.3 節は、プーリングが表現を入力の小さな平行移動に対しておおよそ不変にすると説明し…

関連キーワード: プーリング層・不変性・最大値プーリング・平行移動

解説: 肢2が正解です。ResNet を提案した論文 (He ら, 2015) は、層を深くすると訓練誤差まで悪化する劣化 (degradation) の問題を示し、数層分の変換を入力との差分 (残差関数) として学ばせ、入力をそのまま出力に足すショートカット接続を使いました。入力をその…

関連キーワード: スキップ結合・ResNet・残差学習・ショートカット接続

解説: 肢1が正解です。RNN は、時刻 t の隠れ状態を、時刻 t の入力と時刻 t − 1 の隠れ状態から同じ関数・同じパラメータで計算し、これを時刻ごとに繰り返します。教科書 Deep Learning (Goodfellow ら) の第10章は、この重みの共有によって、系列の長さ…

関連キーワード: 回帰結合層・RNN・隠れ状態・時系列データ

解説: 肢3が不適切です。LSTM を提案した論文 (Hochreiter と Schmidhuber, 1997) では、乗算型のゲートのユニットが、記憶セルの中の誤差の流れ (constant error carrousel, CEC) への出入りを開けたり閉じたりすることを学習しま…

関連キーワード: LSTM・回帰結合層・CEC・ゲート機構

解説: 肢1が正解です。Cho らの論文 (2014) は、RNN エンコーダ・デコーダとともに、リセットゲートと更新ゲートを持つ新しい隠れユニットを提案し、LSTM に着想を得ながら計算も実装もずっと簡単だと述べています。このユニットは後に Chung らの論文 (2014) などで …

関連キーワード: GRU・LSTM・ゲート機構・RNN

解説: 肢3が正解です。教科書 Deep Learning (Goodfellow ら) の第10章は、学習時に1つ前の時刻の正解の出力を次の時刻の入力として与える手順を教師強制 (teacher forcing)、時間方向に展開した計算グラフに誤差逆伝播法を適用する方法を BPTT (…

関連キーワード: 教師強制・BPTT・RNN・誤差逆伝播法

解説: 肢2が正解です。教科書 Deep Learning (Goodfellow ら) の第10章は、双方向 RNN を、系列の先頭から時間の順に進む RNN と、末尾から時間を逆にたどる RNN を組み合わせたものとし、各時刻の出力が過去と未来の両方の入力に依存できると説明しています…

関連キーワード: 双方向RNN・RNN・音声認識・時系列データ

解説: 肢4が正解です。Seq2Seq の論文 (Sutskever ら, 2014) は、LSTM で入力系列を固定次元のベクトルに変換し、別の LSTM でそのベクトルから出力系列を生成しました。Bahdanau らの論文 (2014) は、この固定長のベクトルが性能向上のボトルネッ…

関連キーワード: Seq2Seq・Source-Target Attention・エンコーダ・デコーダ・Attention

解説: 肢2が正解です。この論文は、クエリ・キー・バリューをヘッドごとに異なる学習済みの線形変換で射影し、h 個のヘッドで Attention を並列に計算して結合 (Concat) する Multi-Head Attention を用い、異なる表現の部分空間の情報に同時に注目できるとし…

関連キーワード: Transformer・Multi-Head Attention・Self-Attention・位置エンコーディング・マスク

解説: 肢4が正解です。 d_k = 1024 ÷ 16 = 64 √d_k = √64 = 8 Transformer を提案した論文 (Vaswani ら, 2017) は、d_k が大きいとクエリとキーの内積の値が大きくなり、ソフトマックス関数の勾配が極端に小さい領域に入ってしまう…

関連キーワード: Transformer・Scaled Dot-Product Attention・クエリ・キー