ディープラーニングの概要
全 435 問・解説・間違えた問題の解き直しは登録不要・無料。模試・「今日の復習」などは Premium (月980円)全 435 問に加えて、「今日の復習」・本番形式の模試・記録の全科目の正答率・広告非表示をご利用中です
- 正解済みまだ正解していませんQ1
2つの2値入力 x1、x2 のうち、ちょうど一方が1のときに1を、それ以外のときに0を出力するXOR(排他的論理和)の学習について、最も適切なものはどれか。
正解: 2. 隠れ層を持つ多層パーセプトロンは、入力を線形に分けられる特徴へ変換し、出力層で分けることでXORを表現できる。
解説: 肢2が正解です。Deep Learning(Goodfellowら)の6.1節は、線形モデルではXORを表現できないことを示したうえで、2個の隠れユニットを持つ隠れ層1層のネットワークが、線形モデルで分けられる特徴空間を学ぶことでXORを解く例を挙げています。肢1は不適切で、同書…
関連キーワード: 単純パーセプトロン・多層パーセプトロン・隠れ層・入力層・出力層・XOR
- 正解済みまだ正解していませんQ2
画像を分類する多層のニューラルネットワークにおける層の説明として、最も適切なものはどれか。
正解: 1. 入出力層の間の層は、値がデータとして与えられないため隠れ層と呼ばれ、入力側ほど単純な特徴、出力側ほど抽象的な特徴を表すことがある。
解説: 肢1が正解です。Deep Learning(Goodfellowら)の第1章は、隠れ層の値はデータとして与えられず、どの概念が役立つかをモデル自身が決めるため「隠れ」と呼ぶと説明し、画像の例として、第1隠れ層がエッジ、第2隠れ層が角や輪郭、第3隠れ層が物体の部品を表す図を示してい…
関連キーワード: 隠れ層・入力層・出力層・多層パーセプトロン・ディープラーニング
- 正解済みまだ正解していませんQ3
ディープラーニングの計算に使われるハードウェアの説明として、最も不適切なものはどれか。
正解: 3. GPUはCPUよりクロック周波数が高く、分岐の多い複雑な制御を得意とするため、ニューラルネットワークの計算に向く。
解説: 肢3が不適切です。Deep Learning(Goodfellowら)の12.1.2節は、GPUは並列性とメモリ帯域を高めた代わりに、従来のCPUよりクロック速度が低く分岐を扱う能力も低いと説明しています。GPUがニューラルネットワークに向くのは、学習の計算に分岐や複雑な制御が少…
関連キーワード: CPU・GPU・TPU
- 正解済みまだ正解していませんQ4
シグモイド関数 σ(x) = 1/(1 + exp(−x)) の性質として、最も適切なものはどれか。
正解: 1. 出力は0より大きく1より小さい範囲に収まり、導関数の最大値は x = 0 のときの0.25である。
解説: 肢1が正解です。Deep Learning(Goodfellowら)の3.10節は、シグモイド関数の導関数が σ(x)(1 − σ(x)) になることを示しています。σ(0) = 0.5 なので、x = 0 で 0.5 × 0.5 = 0.25 が最大となり、|x| が大きくなる…
関連キーワード: シグモイド関数・勾配消失問題・活性化関数
- 正解済みまだ正解していませんQ5
隠れ層に使う活性化関数の比較として、最も適切なものはどれか。
正解: 2. ReLU関数は負の入力で勾配が0になるが、Leaky ReLU関数は負の入力にも0.01などの小さな傾きを残す。
解説: 肢2が正解です。Deep Learning(Goodfellowら)の6.3.1節は、ReLUは出力が0になる入力では勾配による学習ができないという欠点を挙げ、負の側に0.01のような小さな傾きを固定するLeaky ReLU(Maasら、2013)を紹介しています。肢1はシグモイ…
関連キーワード: tanh 関数・ReLU 関数・Leaky ReLU 関数・勾配消失問題
- 正解済みまだ正解していませんQ6
次の文の空所( )に入る語として、最も適切なものはどれか。 多クラス分類の出力層では、各クラスに対応する値を指数関数で変換してからその総和で割り、各出力が0より大きく1より小さい値をとり、出力の総和が1になるようにする( )関数がよく使われる。
正解: 3. ソフトマックス
解説: 肢3が正解です。Deep Learning(Goodfellowら)の6.2.2.3節は、ソフトマックス関数を softmax(z)_i = exp(z_i) / Σ_j exp(z_j) と定義し、n個のクラスにわたる確率分布を表すために分類器の出力として最もよく使われると説明…
関連キーワード: ソフトマックス関数・シグモイド関数・活性化関数
- 正解済みまだ正解していませんQ7
3クラス分類の出力層で、ソフトマックス関数に入力 z = (0, ln 2, ln 5) を与えた。3番目のクラスに対する出力の値として、最も適切なものはどれか。ln は自然対数とする。
正解: 4. 5/8
解説: 肢4が正解です。ソフトマックス関数は softmax(z)_i = exp(z_i) / Σ_j exp(z_j) です(Deep Learning(Goodfellowら)6.2.2.3節)。 exp(0) = 1、exp(ln 2) = 2、exp(ln 5) = 5 総和 …
関連キーワード: ソフトマックス関数・活性化関数・自然対数
- 正解済みまだ正解していませんQ8
ニューラルネットワークの出力層と誤差関数の選び方として、最も適切なものはどれか。
正解: 3. 回帰では線形(恒等関数)の出力層と平均二乗誤差関数、多クラス分類ではソフトマックス関数の出力と交差エントロピーを組み合わせることが多い。
解説: 肢3が正解です。Deep Learning(Goodfellowら)の6.2節は、線形の出力層でガウス分布の平均を出す場合、対数尤度の最大化は平均二乗誤差の最小化と同じになること、多クラス分類ではソフトマックス出力と対数尤度(交差エントロピー)の組合せがよく働くことを説明していま…
関連キーワード: 平均二乗誤差関数・交差エントロピー・ソフトマックス関数・誤差関数
- 正解済みまだ正解していませんQ9
確率分布 P と Q に対するカルバック・ライブラー情報量 D_KL(P‖Q) と交差エントロピー H(P, Q) の説明として、最も不適切なものはどれか。
正解: 1. D_KL(P‖Q) は、P と Q が異なる分布のときに負の値をとることがあり、その絶対値の大きさで分布の違いを測る。
解説: 肢1が不適切です。Deep Learning(Goodfellowら)の3.13節は、KL情報量の最も重要な性質として非負であることを挙げ、離散変数では P と Q が同じ分布のとき、かつそのときに限り0になると述べています(肢2)。同節は交差エントロピーを H(P, Q) = …
関連キーワード: カルバック・ライブラー情報量 (KL)・交差エントロピー・誤差関数
- 正解済みまだ正解していませんQ10
距離学習の誤差関数である、Hadsellら(2006)の Contrastive Loss と、顔画像の照合を扱った FaceNet の論文(Schroffら)の Triplet Loss の説明として、最も適切なものはどれか。
正解: 4. Triplet Loss は、アンカーと正例の距離にマージンを加えた値が、アンカーと負例の距離より小さくなるように学習する。
解説: 肢4が正解です。FaceNetの論文(Schroffら)は、同じ人物の画像(正例)とアンカーの距離にマージンαを足しても、別人の画像(負例)とアンカーの距離より小さくなるように、3つ組で学習するTriplet Lossを用いています。Contrastive Loss(Hadsel…
関連キーワード: Triplet Loss・Contrastive Loss・誤差関数・距離学習
- 正解済みまだ正解していませんQ11
L1正則化とL2正則化の説明として、最も適切なものはどれか。
正解: 1. L1正則化は重みの絶対値の和を罰則とし、一部の重みがちょうど0になりやすいので、特徴量の選択にも使われる。
解説: 肢1が正解です。Deep Learning(Goodfellowら)の7.1.2節は、L1正則化(重みの絶対値の和)はL2正則化より疎な解、つまり一部の重みが0になる解を生みやすく、その性質が特徴量の選択に広く使われてきたと説明し、L1の罰則を線形モデルに組み込んだ例としてLAS…
関連キーワード: L1 正則化・L2 正則化・ラッソ回帰・リッジ回帰・正則化
- 正解済みまだ正解していませんQ12
次の文の空所( )に入る語として、最も適切なものはどれか。 ( )は、学習のたびにユニットを無作為に取り除いた多数の部分ネットワークを学習させることで、指数的に多くのネットワークのアンサンブルを少ない計算で近似する正則化の手法と説明される。推論時には、ユニットを取り除かない1つのネットワークを、重みを小さくして使う。
正解: 4. ドロップアウト
解説: 肢4が正解です。ドロップアウトを提案した論文(Srivastavaら、2014)は、学習中にユニットを結合ごと無作為に取り除き、指数的に多くの「間引いた」ネットワークから学習して、推論時には重みを小さくした1つのネットワークでそれらの予測の平均を近似すると説明しています。Deep…
関連キーワード: ドロップアウト・正則化・アンサンブル
- 正解済みまだ正解していませんQ13
誤差逆伝播法の説明として、最も適切なものはどれか。
正解: 2. 誤差関数の値から、連鎖律を使って出力層側から入力層側へ順に各パラメータの勾配を効率よく求める方法である。
解説: 肢2が正解です。Deep Learning(Goodfellowら)の6.5節は、誤差逆伝播法(Rumelhartら、1986)を、コストの情報をネットワークの後ろ向きに流して勾配を計算する方法とし、連鎖律を効率のよい順序で計算するアルゴリズムだと説明しています。肢1は順伝播の説…
関連キーワード: 連鎖律・誤差逆伝播法・勾配消失問題・勾配爆発問題
- 正解済みまだ正解していませんQ14
入力 x = 3 を受け取り、重み w を使って y = wx を出力する1つのユニットがある。正解を t = 4、誤差を L = (y − t)² とするとき、w = 2 における勾配 ∂L/∂w の値として、最も適切なものはどれか。
正解: 4. 12
解説: 肢4が正解です。連鎖律により ∂L/∂w = (∂L/∂y) × (∂y/∂w) と分けて計算します(Deep Learning(Goodfellowら)6.5.2節)。 y = wx = 2 × 3 = 6 ∂L/∂y = 2(y − t) = 2 × (6 − 4) = 4 …
関連キーワード: 連鎖律・誤差逆伝播法・勾配降下法
- 正解済みまだ正解していませんQ15
深いニューラルネットワークの勾配消失問題・勾配爆発問題への対策の説明として、最も不適切なものはどれか。
正解: 3. 重みの初期値を大きくするほどシグモイド関数が飽和しにくくなるので、勾配消失を防ぐには初期値を大きめにとる。
解説: 肢3が不適切です。重みが大きいと活性化関数への入力の絶対値が大きくなり、シグモイド関数は0か1に飽和して勾配がかえって小さくなります(Deep Learning(Goodfellowら)6.3.2節)。Glorotら(2010)は、層の入力側と出力側のユニット数に応じて初期値のば…
関連キーワード: 勾配消失問題・勾配爆発問題・ReLU 関数・スキップ結合
- 正解済みまだ正解していませんQ16
勾配降下法の学習率の説明として、最も適切なものはどれか。
正解: 1. パラメータを1回の更新で動かす幅を決める値で、大きすぎると誤差が振動して増え、小さすぎると学習が遅くなる。
解説: 肢1が正解です。Deep Learning(Goodfellowら)の4.3節は、学習率を更新の大きさを決める正のスカラーとし、パラメータを勾配と逆向きに動かす x′ = x − ε∇f(x) を示しています。同書8.3.1節は、学習率が大きすぎると学習曲線が激しく振動して誤差関…
関連キーワード: 学習率・勾配降下法・ハイパーパラメータ
- 正解済みまだ正解していませんQ17
ミニバッチ学習に関する説明として、最も適切なものはどれか。
正解: 3. 10,000件の訓練データを100件ずつのミニバッチで学習すると、1エポックの間にパラメータは100回更新される。
解説: 肢3が正解です。1エポックは訓練データを1周することで、1回の更新(イテレーション)にミニバッチ1つを使うので、1エポックの更新回数は 10,000 ÷ 100 = 100回です。Deep Learning(Goodfellowら)の8.1.3節は、訓練データ全体を使う方法をバッ…
関連キーワード: ミニバッチ学習・バッチ学習・オンライン学習・エポック・イテレーション
- 正解済みまだ正解していませんQ18
勾配降下法を改良した最適化手法に関するAからDまでの記述のうち、適切なものをすべて挙げた組合せはどれか。 A モーメンタムは、過去の勾配の指数移動平均を速度のように蓄えて更新に使い、勾配の向きがそろう方向への更新を加速し、向きが入れ替わる方向の振動を抑える。 B AdaGradは、過去の勾配の二乗を指数移動平均で蓄えて古い情報を忘れていくため、学習が進んでも実質的な学習率が小さくなりすぎない。 C Adamは、勾配の1次のモーメント(平均)と2次のモーメントを指数移動平均で推定し、初期値を0にしたことによる偏りを補正して、パラメータごとの更新の大きさを決める。 D RMSpropは、パラメータごとに学習率を変えることはせず、全パラメータに共通の1つの学習率を、勾配の二乗の移動平均で調整する手法である。
正解: 2. A、C
解説: Aは適切です。Deep Learning(Goodfellowら)の8.3.2節は、モーメンタムが過去の勾配の指数的に減衰する移動平均を蓄え、その方向へ動き続けると説明し、Hintonの講義資料は、符号が入れ替わる勾配を打ち消して振動を抑え、一貫した勾配の方向で速度を上げると述べ…
関連キーワード: モーメンタム・AdaGrad・RMSprop・Adam
- 正解済みまだ正解していませんQ19
ニューラルネットワークの最適化の難しさに関する説明として、最も不適切なものはどれか。
正解: 4. 高次元の非凸関数では、勾配が0になる点の大半は極小点で、鞍点が現れることはまれだと考えられている。
解説: 肢4が不適切です。Deep Learning(Goodfellowら)の8.2.3節は、多くの高次元の非凸関数では勾配が0になる点のうち極小点はまれで鞍点のほうが多く、鞍点と極小点の数の比は次元とともに指数的に増えると説明しています。鞍点は、ある断面では極小、別の断面では極大にな…
関連キーワード: 鞍点・局所最適解・大域最適解・二重降下現象
- 正解済みまだ正解していませんQ20
早期終了とハイパーパラメータの探索の説明として、最も適切なものはどれか。
正解: 2. 早期終了は、検証データに対する誤差が改善しなくなったら学習を打ち切り、検証誤差が最も小さかったときのパラメータを使う方法である。
解説: 肢2が正解です。Deep Learning(Goodfellowら)の7.8節は、検証誤差が改善するたびにパラメータを保存し、決めた回数のあいだ改善しなければ学習を終えて、保存した最良のパラメータを返す方法を早期終了と呼んでいます。肢1は不適切で、見るのは検証データの誤差です。同…
関連キーワード: 早期終了・グリッドサーチ・ランダムサーチ・ハイパーパラメータ
もっと見る(残り 31 問)
- 正解済みまだ正解していませんQ21
次の文の空所( )に入る語句として、最も適切なものはどれか。 ノーフリーランチの定理は、( )について平均すると、訓練データに含まれない点を分類するときの誤り率がどの分類アルゴリズムでも等しくなることを示している。
正解: 4. 起こり得るあらゆるデータ生成分布
解説: 肢4が正解です。Deep Learning(Goodfellowら)の5.2.1節は、Wolpert(1996)のノーフリーランチの定理を、起こり得るすべてのデータ生成分布について平均すると、どの分類アルゴリズムも未観測の点を分類するときの誤り率が同じになる、と紹介しています。同…
関連キーワード: ノーフリーランチの定理・汎化・データ生成分布
- 正解済みまだ正解していませんQ22
隠れ層の活性化関数に使われる ReLU関数 g(z) = max{0, z} の、z = 0 における微分の扱いに関する説明として、最も適切なものはどれか。
正解: 3. z = 0 では微分できないが、実装では片側の微分を返すのが普通で、勾配法による学習にそのまま使われている。
解説: 肢3が正解です。Deep Learning(Goodfellowら)の6.3節は、ReLU関数 g(z) = max{0, z} は z = 0 で微分できないものの、そこでの左側の微分は0、右側の微分は1と定まっており、学習のソフトウェアはエラーにせず片側の微分を返すのが普通だ…
関連キーワード: ReLU 関数・活性化関数・誤差逆伝播法
- 正解済みまだ正解していませんQ23
1枚の画像に「犬」「猫」「人」のうち当てはまるラベルをいくつでも付ける(1つも当てはまらないこともある)マルチラベル分類のネットワークを作る。出力層と誤差関数の組合せとして、最も適切なものはどれか。
正解: 1. ラベルごとの出力をシグモイド関数に通し、ラベルごとの2値の交差エントロピーを足して誤差とする。
解説: 肢1が正解です。scikit-learnのユーザーガイドは、マルチラベル分類を、互いに排他的でない性質を予測し、クラスごとに2値の出力を割り当てる課題と説明しています。2値の確率はシグモイド関数の出力で表し、2値の交差エントロピー(負の対数尤度)で学習するのが基本で(Deep L…
関連キーワード: シグモイド関数・交差エントロピー・誤差関数・マルチラベル分類
- 正解済みまだ正解していませんQ24
3クラス分類のモデルが、ある画像に対して(クラス1、クラス2、クラス3)=(0.5、0.25、0.25)の確率を出力した。正解はクラス2である。交差エントロピー誤差 E = −Σ_k t_k ln y_k(t は正解のクラスを1、それ以外を0とするワンホットベクトル、y はモデルの出力、ln は自然対数)の値として、最も適切なものはどれか。必要なら ln 2 = 0.693 とする。
正解: 3. 1.386
解説: 肢3が正解です。正解ラベルはワンホットベクトルなので、和のうち残るのは正解のクラス2の項です(Deep Learning(Goodfellowら)6.2.1.1節の負の対数尤度)。 E = −(0 × ln 0.5 + 1 × ln 0.25 + 0 × ln 0.25) = −…
関連キーワード: 交差エントロピー・誤差関数・自然対数
- 正解済みまだ正解していませんQ25
線形モデルの重み w_j に罰則 λΣ_j |w_j|^q を加える正則化のうち、q = 0 に当たるL0正則化に関する説明として、最も不適切なものはどれか。
正解: 2. L0正則化の罰則は重みについてなめらかな凸関数なので、勾配降下法で効率よく最小化できる。
解説: 肢2が不適切です。The Elements of Statistical Learning(Hastieら)の3.4.3節は、罰則 Σ|β_j|^q のうち q = 0 は0でないパラメータの個数を数えるだけなので変数の部分集合選択に当たり(肢1・肢3)、q = 1(ラッソ)は制…
関連キーワード: L0 正則化・L1 正則化・正則化・変数選択
- 正解済みまだ正解していませんQ26
重み w にL2正則化の罰則 (λ/2)w² を加えた誤差関数を、勾配降下法で1回更新する。w = 2.0、罰則を加える前の誤差関数の勾配 ∂J/∂w = 0.5、λ = 0.1、学習率 η = 0.5 のとき、更新後の w の値として、最も適切なものはどれか。
正解: 1. 1.65
解説: 肢1が正解です。罰則 (λ/2)w² を w で微分すると λw なので、更新式は w ← w − η(∂J/∂w + λw) です(Deep Learning(Goodfellowら)7.1.1節の式7.4)。 λw = 0.1 × 2.0 = 0.2 勾配の合計 = 0.5 …
関連キーワード: L2 正則化・重み減衰・勾配降下法・学習率
- 正解済みまだ正解していませんQ27
次の文の空所( )に入る語として、最も適切なものはどれか。 学習する仕組みの成功や失敗が、多くの判断や構成要素の働きの結果として生じたとき、その結果への貢献をそれぞれにどう配分するかという問題を( )という。Schmidhuberの概説は、ニューラルネットワークの学習をこの配分の問題として捉え、行動と結果を結ぶ因果のつながりの連鎖(経路)の深さで、浅い学習と深い学習を区別している。
正解: 2. 信用割当問題
解説: 肢2が正解です。Reinforcement Learning: An Introduction(Sutton・Barto)の1.7節は、Minskyが論じた信用割当問題を、成功をもたらしたかもしれない多くの判断に、その成功の手柄をどう配分するかという問題として紹介しています。Sc…
関連キーワード: 信用割当問題・誤差逆伝播法・ディープラーニング
- 正解済みまだ正解していませんQ28
勾配の L2ノルム ‖g‖ がしきい値 c 以上のときに、g に c/‖g‖ を掛けて向きを保ったまま縮める勾配クリッピング(Pascanuら)を使う。勾配 g = (6, 8)、しきい値 c = 5 のとき、クリッピング後の勾配として、最も適切なものはどれか。
正解: 4. (3, 4)
解説: 肢4が正解です。Pascanuらの論文のアルゴリズム1は、勾配のノルムがしきい値以上なら、勾配に しきい値 ÷ ノルム を掛けて縮めます。 ‖g‖ = √(6² + 8²) = √100 = 10 10 ≥ 5 なので、倍率は 5 ÷ 10 = 0.5 クリッピング後 = 0.5…
関連キーワード: 勾配クリッピング・勾配爆発問題・ノルム
- 正解済みまだ正解していませんQ29
分類モデルの学習で、交差エントロピーを誤差関数にすることと最尤推定の関係に関する説明として、最も適切なものはどれか。
正解: 3. 訓練データの経験分布とモデルの分布との交差エントロピーを最小化することは、訓練データの尤度を最大化することと同じになる。
解説: 肢3が正解です。Deep Learning(Goodfellowら)の5.5節は、最尤推定を、訓練データが定める経験分布とモデルの分布の違いを小さくすることと見なせ、その最小化は両者の交差エントロピーの最小化とちょうど一致すると説明しています。肢1は不適切で、同節のとおり対数をと…
関連キーワード: 交差エントロピー・最尤推定・誤差関数・尤度
- 正解済みまだ正解していませんQ30
Zeilerが提案した最適化手法 AdaDelta の説明として、最も適切なものはどれか。
正解: 2. 勾配の二乗の減衰平均の平方根で割ることに加え、過去の更新量の二乗の減衰平均の平方根を掛けて単位をそろえ、学習率の手動設定を不要にした。
解説: 肢2が正解です。AdaDeltaの論文(Zeiler)は、AdaGradの2つの欠点、すなわち学習の間ずっと学習率が小さくなり続けることと、大域的な学習率を手で選ぶ必要があることを改めるため、①勾配の二乗を初めから足し続ける代わりに指数的に減衰する平均を使い、②更新量の単位がパラ…
関連キーワード: AdaDelta・AdaGrad・学習率・最適化手法
- 正解済みまだ正解していませんQ31
Adamを改良した最適化手法に関するAからDまでの記述のうち、適切なものをすべて挙げた組合せはどれか。 A AMSGradは、2次モーメントの推定値のそれまでの最大値を使って更新の大きさを正規化し、ステップの大きさが学習の途中で増えないようにした。 B AdaBoundとAMSBoundは、それぞれAdamとAMSGradのパラメータごとの学習率に動的な下限と上限を設け、下限は0から、上限は無限大から始めて、学習が進むにつれてどちらも同じ一定の値に近づける。 C AdaBoundは、学習の初めはSGDと同じ一定の学習率で更新し、学習が進むにつれてAdamのようなパラメータごとの学習率へ移っていく。 D AdaBoundを提案した論文は、学習の終盤に極端に大きい学習率に加えて極端に小さい学習率も現れ、それが適応的な手法の性能を悪くし得ると指摘している。
正解: 4. A、B、D
解説: Aは適切です。AMSGradの論文(Reddiら)は、Adamの2次モーメントの推定値 v_t の代わりにその時点までの v_t の最大値で正規化するので、ステップの大きさが増えないと説明しています。Bは適切です。AdaBoundの論文(Luoら)は、AdamとAMSGradの学…
関連キーワード: AMSGrad・AdaBound・AMSBound・Adam・最適化手法
- 正解済みまだ正解していませんQ32
勾配降下法の学習率のスケジューリング(学習の進み具合に応じて学習率を変えること)の説明として、最も適切なものはどれか。
正解: 1. 学習の途中で学習率を下げる減衰に加え、初めは小さい学習率から徐々に上げるウォームアップを組み合わせることがある。
解説: 肢1が正解です。Dive into Deep Learning(Zhangら)の12.11節は、学習の途中で学習率を下げると精度が上がり過学習も減ることがあり、進みが止まったときに学習率を区分的に下げる方法が実際に有効だと説明しています。同節は、学習の初めに大きな学習率を使うと発…
関連キーワード: 学習率・勾配降下法・ハイパーパラメータ
- 正解済みまだ正解していませんQ33
次の文の空所( A )( B )に入る語句の組合せとして、最も適切なものはどれか。 Adamは、勾配の1次モーメントと2次モーメントの推定値を指数移動平均で更新する。推定値の初期値を0にするため、学習の初めの推定値は( A )に偏る。そこで、減衰率を β、時刻を t として、推定値を( B )で割って補正する(β^t は β の t 乗)。
正解: 3. A:0に近い側 B:1 − β^t
解説: 肢3が正解です。Adamの論文(Kingma・Ba)の2節は、1次と2次のモーメントの移動平均を0のベクトルで初期化するため推定値が0の側に偏り、その偏りは特に学習の初めの時刻と、減衰率 β が1に近いときに大きいと説明しています。3節は、2次モーメントの移動平均の期待値が、真の…
関連キーワード: Adam・バイアス補正・指数移動平均・最適化手法
- 正解済みまだ正解していませんQ34
単純パーセプトロンの学習アルゴリズム(誤分類した点を1つずつ使って重みを更新する方法)の性質として、最も不適切なものはどれか。
正解: 1. 2つのクラスが線形分離可能なデータでは、どの初期値から学習を始めても、同じ1つの分離超平面に収束する。
解説: 肢1が不適切です。The Elements of Statistical Learning(Hastieら)の4.5.1節は、Rosenblattのパーセプトロンの学習アルゴリズムを、誤分類した点の決定境界からの距離を確率的勾配降下法で小さくする方法として説明し、クラスが線形分離…
関連キーワード: 単純パーセプトロン・線形分離可能・確率的勾配降下法
- 正解済みまだ正解していませんQ35
万能近似定理とニューラルネットワークの深さの関係に関する説明として、最も適切なものはどれか。
正解: 4. 隠れ層1層でも十分なユニットがあれば広い範囲の関数を近似できるが、ユニットが指数的に多く要ることがあり、深くすると少なく済む場合がある。
解説: 肢4が正解です。Deep Learning(Goodfellowら)の6.4.1節は、万能近似定理を、線形の出力層と少なくとも1つの隠れ層を持つ順伝播型ネットワークが、十分な数の隠れユニットがあれば広い範囲の関数を任意の精度で近似できるという結果として紹介しています。一方で必要な…
関連キーワード: 万能近似定理・多層パーセプトロン・ディープラーニング
- 正解済みまだ正解していませんQ36
次の文の空所( A )( B )に入る語句の組合せとして、最も適切なものはどれか。 学習時に各ユニットを確率 p で残す(確率 1 − p で取り除く)ドロップアウトで学習したネットワークを推論に使うときは、ユニットを取り除かずに使い、各ユニットから出る重みに( A )を掛ける。これは、推論時に次の層のユニットが受け取る入力の( B )を、学習時とそろえるためである。
正解: 2. A:p B:期待値
解説: 肢2が正解です。ドロップアウトを提案した論文(Srivastavaら、2014)は、学習時に確率 p で残したユニットについて、推論時は取り除かずに使い、そのユニットから出る重みに p を掛けると説明しています。こうすると、推論時の出力が、学習時にユニットを無作為に取り除いたとき…
関連キーワード: ドロップアウト・正則化・重みスケーリング推論規則
- 正解済みまだ正解していませんQ37
n 個の入力 z = (z_1, …, z_n) を受け取るソフトマックス関数 softmax(z)_i = exp(z_i) / Σ_j exp(z_j) の性質として、最も不適切なものはどれか。
正解: 1. 各入力を一律に2倍しても、ソフトマックス関数が出す各クラスの値は変わらない。
解説: 肢1が不適切です。たとえば z = (0, ln 2) なら出力は (1/3, 2/3) ですが、2倍した (0, 2 ln 2) では (1/5, 4/5) となり、入力の差が広がって出力の偏りが大きくなります。Deep Learning(Goodfellowら)の6.2.2.…
関連キーワード: ソフトマックス関数・活性化関数・指数関数
- 正解済みまだ正解していませんQ38
早期終了を正則化の手法として見たときの説明として、最も適切なものはどれか。
正解: 4. 二乗誤差の線形モデルを単純な勾配降下法で学習する場合には、早期終了はL2正則化と等価とみなせることが示されている。
解説: 肢4が正解です。Deep Learning(Goodfellowら)の7.8節は、早期終了にはパラメータを初期値の近くの比較的狭い範囲に制限する効果があるという見方を紹介し、二乗誤差の単純な線形モデルを単純な勾配降下法で学習する場合には、早期終了がL2正則化と等価とみなせることを…
関連キーワード: 早期終了・L2 正則化・重み減衰・正則化
- 正解済みまだ正解していませんQ39
ニューラルネットワークの隠れ層に非線形の活性化関数を使う理由に関する説明として、最も適切なものはどれか。
正解: 2. 隠れ層の活性化関数が線形だと、何層重ねても層の変換は1つの線形変換にまとめられ、線形モデルで表せない関係は表せない。
解説: 「何層重ねても層の変換は1つの線形変換にまとめられ」とする記述が適切です。Deep Learning(Goodfellowら)の6.1節は、隠れ層の変換を線形にするとネットワーク全体も入力の線形関数のままで、重みの積を1つの重みにまとめた線形モデルと同じになるため、特徴を表すには…
関連キーワード: 活性化関数・隠れ層・入力層・出力層・多層パーセプトロン
- 正解済みまだ正解していませんQ40
ディープラーニングの計算に使うハードウェアと数値の精度に関する説明として、最も適切なものはどれか。
正解: 3. 8〜16ビット程度の精度でも、誤差逆伝播法による学習や推論ができるとする研究がある。
解説: 「8〜16ビット程度の精度でも」学習や推論ができるとする記述が適切です。Deep Learning(Goodfellowら)の12.1.6節は、CPUやGPUで動くソフトウェアは32か64ビットの浮動小数点数を使うことが多いが、誤差逆伝播法で学習するネットワークを8〜16ビット程…
関連キーワード: CPU・GPU・FPGA・誤差逆伝播法
- 正解済みまだ正解していませんQ41
Glorotらが2011年に報告した、隠れ層にReLU関数(rectifier)を使った深いネットワークの実験結果の説明として、最も適切なものはどれか。
正解: 1. tanh関数のネットワークと同等以上の性能を示し、ちょうど0の値を多く含む疎な表現を作った。
解説: 「ちょうど0の値を多く含む疎な表現を作った」とする記述が適切です。Glorot・Bordes・Bengioの論文(AISTATS 2011)は、ReLU関数は0で微分できない硬い非線形でありながら、ハイパボリックタンジェント関数(tanh関数)のネットワークと同等以上の性能を示し…
関連キーワード: ReLU 関数・tanh 関数・活性化関数・事前学習
- 正解済みまだ正解していませんQ42
2値分類の出力層でシグモイド関数を使うときの、誤差関数と勾配の関係に関する説明として、最も適切なものはどれか。
正解: 1. 2値の交差エントロピーを誤差にすると、モデルが大きく誤っているときには勾配が小さくならず、誤りを直しやすい。
解説: 「モデルが大きく誤っているときには勾配が小さくならず」とする記述が適切です。Deep Learning(Goodfellowら)の6.2.2.2節は、シグモイド出力の負の対数尤度はソフトプラス関数の形に書け、誤差が飽和するのはモデルがすでに正しい答えを出しているときだけで、極端に…
関連キーワード: シグモイド関数・交差エントロピー・平均二乗誤差関数・勾配消失問題
- 正解済みまだ正解していませんQ43
3クラス分類の出力層で、ソフトマックス関数への入力を z =(z_1、z_2、z_3)、出力の確率を p =(p_1、p_2、p_3)とし、誤差には交差エントロピー誤差 L = −Σ_k y_k ln p_k を使う(y は正解のクラスを1、それ以外を0とするワンホットベクトル、ln は自然対数)。ある事例で p =(0.3、0.5、0.2)、正解はクラス2だった。L を z_1、z_2、z_3 でそれぞれ偏微分した勾配(∂L/∂z_1、∂L/∂z_2、∂L/∂z_3)として、最も適切なものはどれか。
正解: 2. (0.3、−0.5、0.2)
解説: (0.3、−0.5、0.2)が適切です。Dive into Deep Learning(Zhangら)の4.1.2節は、ソフトマックス関数と交差エントロピー誤差を組み合わせると、入力 z_j での偏微分が p_j − y_j、つまりモデルが出した確率とワンホットの正解との差になる…
関連キーワード: 交差エントロピー・ソフトマックス関数・誤差逆伝播法・自然対数
- 正解済みまだ正解していませんQ44
パラメータ w を持つ回帰モデルの学習で、平均二乗誤差関数を最小化することと最尤推定との関係に関する説明として、最も適切なものはどれか。
正解: 4. 出力 y が、予測値を平均とし分散が一定の正規分布に従うとみなすと、平均二乗誤差の最小化と最尤推定は同じ w を与える。
解説: 「予測値を平均とし分散が一定の正規分布に従うとみなすと」、平均二乗誤差の最小化と最尤推定が同じ w を与えるとする記述が適切です。Deep Learning(Goodfellowら)の5.5.1節は、予測値を平均とし、分散を利用者が決めた定数に固定した正規分布で条件付き対数尤度を…
関連キーワード: 平均二乗誤差関数・最尤推定・誤差関数・正規分布
- 正解済みまだ正解していませんQ45
線形回帰に正則化を加えるとき、互いに強く相関する2つの特徴量がある場合の説明として、最も適切なものはどれか。
正解: 3. ラッソ回帰はそのうち1つを選びやすく、L1とL2の罰則を併せたエラスティックネットは両方を選びやすい。
解説: 「ラッソ回帰はそのうち1つを選びやすく」とする記述が適切です。scikit-learnのユーザーガイド(1.1 Linear Models)は、L1とL2の罰則を併せて学習するエラスティックネットは相関する特徴量が複数あるときに役立ち、ラッソ回帰はそのうち1つを無作為に選びがちだ…
関連キーワード: ラッソ回帰・リッジ回帰・L1 正則化・L2 正則化
- 正解済みまだ正解していませんQ46
深いニューラルネットワークの重みの初期化に関する説明として、最も適切なものはどれか。
正解: 3. Glorot と Bengio の正規化初期化は、活性化と勾配の分散を層の間で保つ2つの目標の折り合いとして、入力側と出力側のユニット数の和で幅を決める。
解説: 「入力側と出力側のユニット数の和で幅を決める」正規化初期化の説明が適切です。Glorot と Bengio の論文(AISTATS 2010)は、初期状態で活性化関数が線形の領域にあると仮定し、順伝播する活性化と逆伝播する勾配の分散を層の間で保つ2つの条件の折り合いとして、重みの…
関連キーワード: 勾配消失問題・勾配爆発問題・誤差逆伝播法・重みの初期化
- 正解済みまだ正解していませんQ47
多項式の次数や重み減衰の係数のように、モデルの容量を左右するハイパーパラメータの選び方に関する説明として、最も適切なものはどれか。
正解: 4. 訓練データから分けた検証データでの誤差をもとに選び、選び終えた後の汎化誤差の見積もりにはテストデータを使う。
解説: 「訓練データから分けた検証データでの誤差をもとに選び、選び終えた後の汎化誤差の見積もりにはテストデータを使う」が適切です。Goodfellow らの『Deep Learning』5.3節は、訓練データを重ならない2つに分けて一方を検証データにし、ハイパーパラメータを選び終えた後に…
関連キーワード: ハイパーパラメータ・汎化・正則化・過学習
- 正解済みまだ正解していませんQ48
ミニバッチ学習で、1回の更新に使う事例の数(ミニバッチの大きさ)と勾配の推定に関する説明として、最も適切なものはどれか。ただし、事例1件ごとの勾配の値の標準偏差を σ とする。
正解: 2. n 件の平均で推定した勾配の標準誤差は σ/√n なので、ミニバッチを16倍に大きくしても、標準誤差は1/4にとどまる。
解説: 「標準誤差は σ/√n なので、16倍にしても1/4にとどまる」が適切です。Goodfellow らの『Deep Learning』8.1.3節は、n 件から推定した平均の標準誤差が σ/√n であり、勾配の推定に使う事例を増やしても、得られる精度は事例の数に比例しては伸びないと…
関連キーワード: ミニバッチ学習・バッチ学習・オンライン学習・確率的勾配降下法 (SGD)
- 正解済みまだ正解していませんQ49
モーメンタム法で、速度 v を v ← αv − εg、パラメータ θ を θ ← θ + v で更新する。同じ勾配 g が学習の間ずっと続くと、1回の更新でパラメータが動く大きさ(v のノルム)は一定の値に近づく。学習率 ε=0.05、勾配のノルム ‖g‖=6、モーメンタム係数 α=0.75 のとき、この一定の値として、最も適切なものはどれか。
正解: 3. 1.2
解説: 1.2が適切です。Goodfellow らの『Deep Learning』8.3.2節は、同じ勾配 g が続くとモーメンタム法の速度は一定に近づき、1回の更新の大きさが ε‖g‖÷(1−α)になると述べています。式 v=αv−εg で v が変わらなくなる値を解くと v=−εg÷…
関連キーワード: モーメンタム・学習率・勾配降下法・確率的勾配降下法 (SGD)
- 正解済みまだ正解していませんQ50
ニューラルネットワークの誤差関数が持つ局所最適解と、モデルの識別可能性に関する説明として、最も不適切なものはどれか。
正解: 2. 識別可能性の問題から生じる多数の局所最適解は、互いに誤差の値が大きく異なるので、勾配法による学習の大きな妨げになる。
解説: 「識別可能性から生じる局所最適解は誤差の値が大きく異なり、学習の妨げになる」が不適切です。Goodfellow らの『Deep Learning』8.2.2節は、隠れユニットの入れ替えなどで同じモデルになる重みが多数あるため局所最適解はとても多くなるが、それらは互いに誤差関数の値…
関連キーワード: 局所最適解・大域最適解・勾配降下法・識別可能性
- 正解済みまだ正解していませんQ51
Nakkiran らが2019年に arXiv で公開した論文(Deep Double Descent)の報告として、最も適切なものはどれか。
正解: 1. 大きなモデルを学習し続けると、テスト誤差が一度下がった後に上がり、さらに続けると再び下がる現象を示した。
解説: 「テスト誤差が一度下がった後に上がり、さらに続けると再び下がる」が適切です。Nakkiran らの論文(arXiv:1912.02292)は、大きなモデルを学習する間のテスト誤差を調べ、学習を長く続けると過学習が正される場合があるこの現象を、エポック方向の二重降下と呼びました。「…
関連キーワード: 二重降下現象・早期終了・エポック・過学習
増やしてほしいと送りました
送った後に 問増えました
この科目は 51 問。足りないと感じたら
この科目の学習ポイントを読む
ぴよパスではG検定(ジェネラリスト検定)の問題を8カテゴリに分けています。ディープラーニングの概要にはオリジナル予想問題を51問収録し、サイト内のG検定(ジェネラリスト検定)全435問の約12%を占めます。この割合は本試験の出題比率ではありません。このカテゴリの収録テーマには活性化関数・交差エントロピー・誤差関数・誤差逆伝播法などがあります。本試験の情報は合格率76.97%(2026年第5回・オンライン試験と会場試験の合計。受験者14,908名・合格者11,475名)・試験時間100分・受験料13,200円です。
回答後に解説を読み、分からなかった用語や手順をテキストで確かめてから解き直す使い方ができます。関連する用語や条件は、人工知能とその動向・機械学習の概要・ディープラーニングの要素技術などのカテゴリでも確認できます。模擬試験はPremiumの機能です。問題数・科目構成・制限時間は模試の開始画面で確認してください。
ディープラーニングの概要の出題傾向 — 収録全51問の分析
ぴよパスに収録しているG検定(ジェネラリスト検定)「ディープラーニングの概要」のオリジナル練習問題 全51問を集計した、実データに基づく傾向まとめです
頻出テーマ (出題数の多い順)
- 活性化関数7問
- 交差エントロピー7問
- 誤差関数7問
- 誤差逆伝播法7問
- 勾配消失問題6問
つまずきやすいポイント (解説からの抜粋)
「微分できない点がある」ことと「学習に使えない」ことを混同しないようにしましょう。
Q22 隠れ層の活性化関数に使われる ReLU関数 g(z) = max{0, z} の、z = … で確認する
次の科目へ
ディープラーニングの要素技術57 問Premium 限定
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内(145問程度・100分)にそろえた145問・100分(1つあたり約41秒)で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。
145問の模擬試験を始めるディープラーニングの概要 — よくある質問
この科目の問題数・学習順序・出題比率・合格ラインの目安をまとめました
- G検定(ジェネラリスト検定)のディープラーニングの概要は何問用意されていますか?
- ぴよパスではG検定(ジェネラリスト検定)のディープラーニングの概要に全51問のオリジナル練習問題を用意しています。G検定(ジェネラリスト検定)の収録全435問のうち約12%です。回答後に解説を確認できます。
- ディープラーニングの概要はどんな順序で学習するのがおすすめですか?
- テキストで学んだ範囲や、確認したい用語の問題から取り組めます。迷う場合は一覧の先頭から数問解き、解説を読んでも分からない箇所をテキストで確認してください。問題番号は一覧内の順番です。ぴよパスではG検定(ジェネラリスト検定)の問題を8カテゴリ(ディープラーニングの概要 / 人工知能とその動向・機械学習の概要・ディープラーニングの要素技術・ディープラーニングの応用例)に分けているので、関連する内容は別のカテゴリでも確認できます。
- ディープラーニングの概要の問題数は、通常演習と模試でどう違いますか?
- ディープラーニングの概要は、ぴよパスでG検定(ジェネラリスト検定)の問題を分けている8カテゴリの一つです。ぴよパスに収録しているディープラーニングの概要の問題数は51問 / 全435問で、収録全体の約12%にあたります。ぴよパスの模擬試験の基本設定では、ディープラーニングの概要を全145問中17問(約12%)出題します。これは模試の配分であり、本試験の出題比率を示すものではありません。
- ディープラーニングの概要で合格ラインを割らないためのコツはありますか?
- G検定(ジェネラリスト検定)の合格基準は「合格ラインと得点は公表されていません(JDLAの公式FAQ『合格ラインおよび得点については開示しておりません』)」です。科目別の条件は「技術分野・法律・倫理分野ごとの足切りの有無も公表されていません」です。サイト内のカテゴリ分けと本試験の科目区分は一致しない場合があります。ディープラーニングの概要の正答率だけで合否を判断せず、間違えた問題の内容と、本試験で適用される基準を確認してください。
関連記事
- G検定の合格率と難易度|2026年第5回は76.97%。2017年の56.84%から上がった推移と、合格ライン非公表・145問100分の形
- G検定の問題集とアプリのおすすめ|合格者の29.6%が使った徹底攻略、10月28日発売の新刊、App Storeの41本の選び方(2026年10月25日に確かめた)
- G検定の模擬試験・模試|JDLAに145問の公式模試はなく、無料で145問・100分を通せるWeb模試は4つ(2026年10月25日に確かめた)
- G検定のテキスト・参考書|JDLA監修の公式テキスト第3版と、シラバス第1.4版の後に出た本(2026年10月25日に確かめた)
- G検定の勉強法|学習時間は30〜50時間が最多・1問41秒で解く進め方と計算問題の型
- G検定の過去問・例題の入手先|公式の例題20問と145問・100分の試験の形、シラバス第1.4版の変更点