生成AIの仕組みと歴史

正解: 1. 訓練データの分布を捉え、その分布から新しいデータ例を生成する

解説: 生成モデルはデータを生み出す確率分布を学び、そこから新しい例を生成する。「クラスへ分類」は主に識別モデルの役割であり、「生成規則を学習せずに実行」はルールベース処理である。「一件ずつ検索」は既存データの検索であって、新しいデータを生成するモデルの説明ではない。

関連キーワード: 生成モデル・生成AI・データ分布

正解: 4. 確率的なユニットを対称に結合し、低エネルギーの状態ほど生じやすい

解説: ボルツマンマシンでは確率的な二値ユニットを対称な結合でつなぎ、状態のエネルギーに基づく確率分布を扱う。「決定論的に更新され、エネルギーを減らす状態へ移る」はホップフィールドネットワークの説明で、確率的に状態を更新するボルツマンマシンとは異なる。「符号化器と復号化器を組み合わせる」…

関連キーワード: ボルツマンマシン・エネルギー・確率的生成モデル

正解: 2. 可視層と隠れ層の間だけを接続し、各層内には接続を持たない

解説: RBMは可視層と隠れ層の二部構造を持ち、層をまたぐ接続はある一方、可視層内と隠れ層内の接続を持たない。「可視ユニットだけ」では隠れ表現を使えず、「一方向だけ」は対称結合を持つRBMと合わない。「時系列方向だけ」はRNNに近い説明である。

関連キーワード: 制約付きボルツマンマシン・RBM・可視層・隠れ層

正解: 1. 先に得た要素を条件に、次の要素を順次生成する

解説: 自己回帰モデルは同時分布を順序付きの条件付き確率へ分解し、既にある要素を条件に次を予測する。「互いに独立」は過去の要素を条件にする性質と反する。「ノイズを段階的に取り除いて生成する」は拡散モデル、「潜在変数を正規分布から取り出し、デコーダで一度に生成する」はVAEなどの潜在変数モ…

関連キーワード: 自己回帰モデル・条件付き確率・系列生成

正解: 4. 同じフィルタの重みを画像の各局所領域で使い、特徴を抽出する

解説: 畳み込み層は局所領域を見るフィルタを空間上で共有し、同じ種類の特徴を異なる位置から検出する。「別の規則を人が設定」は学習可能な共有重みと反する。「空間的な関係を使わない」も局所接続の特徴と逆であり、「文章へ変換」はCNNに必須の処理ではない。

関連キーワード: CNN・畳み込み・フィルタ・重み共有

正解: 2. エンコーダが潜在変数の事後分布を近似し、デコーダが潜在変数からデータを生成する

解説: VAEではエンコーダ側の認識モデルが潜在変数の事後分布を近似し、そこから得た潜在表現をデコーダ側の生成モデルがデータへ写す。「本物か偽物かの判定」と「敵対的に学習」はGANの識別器を混同している。「報酬と行動方策」は強化学習の説明である。

関連キーワード: VAE・エンコーダ・デコーダ・潜在ベクトル

正解: 3. z = μ + σ×ε とし、確率的な部分を外部ノイズとして分離する

解説: 1変量の正規分布を仮定した場合は z = μ + σ×ε と表す。入力から得た μ と σ に対し、パラメータに依存しない標準正規ノイズ ε を分離することで、εを固定した計算経路を通して勾配を求められる。潜在変数がベクトルで近似事後分布の共分散が対角の場合も、各成分について同じ…

関連キーワード: VAE・ノイズ・再パラメータ化・潜在変数

正解: 2. 生成器はデータを作り、識別器は実データと生成データを見分ける

解説: GANでは生成器がデータ分布に似たサンプルを作り、識別器が実データと生成サンプルを判別する競争を通じて学習する。「ラベルを付けて削除」は役割が異なり、「圧縮して復元」はオートエンコーダの説明に近い。「報酬を設計して行動」は強化学習の構成である。

関連キーワード: GAN・生成器・識別器・敵対的学習

正解: 1. 隠れ状態を時点間で引き継ぎ、過去の情報を処理に反映する

解説: RNNはリカレント層で隠れ状態を時点間に引き継ぎ、シーケンスの文脈を処理する。「時点を独立」は順序情報を利用できない。「系列全体を一度に入力し、自己注意で全時点の関係を並列に計算する」はTransformerの説明である。「時点ごとに異なる重みを用意する」も誤りで、RNNは同じ重…

関連キーワード: RNN・リカレント層・隠れ状態・シーケンスデータ

正解: 4. 誤差を保ちやすい内部状態と、情報を制御するゲート

解説: LSTMは一定の誤差流を保つ内部状態と乗算ゲートを用い、長い時間差で誤差が消えやすい問題へ対処した。「勾配クリッピング」は勾配の爆発を抑える学習上の工夫で、LSTMが導入した内部構造ではない。「活性化関数をReLUに置き換える」も勾配消失への別の対策で、LSTMの仕組みではない。…

関連キーワード: LSTM・RNN・長期依存・ゲート

正解: 2. 再帰や畳み込みを使わず、Attentionを中心に系列を変換する

解説: Transformerは再帰や畳み込みを使わず、Attentionを中心とするエンコーダ・デコーダ構成として提案された。「RNNだけ」は原論文の対比対象である。原論文のモデルはエンコーダとデコーダの両方を持ち、注意機構は複数のヘッドを並列に使うマルチヘッド注意として提案された。

関連キーワード: Transformer・Attention・アーキテクチャ・エンコーダ・デコーダ

正解: 1. QKᵀをKeyの次元数の平方根で割り、Softmaxで得た重みでVを合成する

解説: Scaled Dot-Product AttentionはQKᵀをキー次元の平方根でスケーリングし、Softmaxで得た重みをVへ適用する。「QとVを足して二値化」は定義にない。「QとKを連結して全結合層に通す」は加法型注意の得点の求め方で、重みをかけて合成する対象もKではなくV…

関連キーワード: Attention Mechanism・Query・Key・Value・Scaled Dot-Product Attention

正解: 3. AはデコーダのSelf-Attention、Bはエンコーダ・デコーダAttentionである

解説: 同じ系列内の位置を関連付けるAはデコーダのSelf-Attentionである。入力文を参照するBでは、Queryがデコーダの直前層、KeyとValueがエンコーダ出力から来る。「Aがエンコーダ・デコーダAttention、BがエンコーダのSelf-Attention」は処理の種類…

関連キーワード: Self-Attention・自己注意力・Attention層・系列

正解: 2. 入力表現に系列中の順序や位置の情報を与えるため

解説: Transformerは再帰や畳み込みを使わないため、順序を表す位置エンコーディングを入力埋め込みへ加える。語どうしの関連度に応じて重みを付けるのは自己注意機構、入力を出力に足し合わせるのは残差接続、学習時に一部のユニットを無効化するのはドロップアウトの役割である。

関連キーワード: 位置エンコーディング・Transformer・系列順序

正解: 3. ラベルなし文章で事前学習し、各NLPタスクへファインチューニングする

解説: GPT-1の論文はラベルなし文章で言語モデルを生成的に事前学習し、ラベル付きデータで各タスクへファインチューニングする枠組みを示した。「毎回ゼロから」は転移を使わず、「隠した単語を左右の文脈から予測する」のはBERTのMLMで、GPT-1は左から右への言語モデルで事前学習した。「…

関連キーワード: GPT-1・GPTモデル・事前学習・ファインチューニング・NLP

正解: 1. 隠したトークンを、左右両側の文脈から予測する

解説: MLMは一部トークンをマスクし、左右の文脈を同時に用いて元のトークンを予測する。「左側の文脈から次のトークンを順に予測」は自己回帰型言語モデルの説明である。「二つの文が連続していたかの判定」はBERTのもう一つの事前学習タスクであるNSP（Next Sentence Predic…

関連キーワード: BERT・MLM・Masked Language Model・双方向表現

正解: 4. 文Bが文Aに実際に続く次文か、無作為に選ばれた文か

解説: NSPは二つの入力文について、文Bが文Aの実際の次文か、ランダムに選ばれた文かを分類する。「文字数の一致」と「同じ色」は目的ではない。「最後の単語だけから文Aを生成」もNSPの二値分類と異なる。

関連キーワード: BERT・NSP・Next Sentence Prediction・事前学習

正解: 2. RoBERTaはNSPを除外し、ALBERTは埋め込みの因数分解と層間パラメータ共有を導入した

解説: RoBERTaはBERTの構造を保ちながらNSPを外し、動的マスキングや学習量などを再検討した。ALBERTは埋め込み行列の因数分解と層間共有でパラメータを削減した。RoBERTaが採用したのは入力のたびにマスクを作り直す動的マスキングで、「静的マスキングを採用」は逆である。AL…

関連キーワード: RoBERTa・ALBERT・BERT・パラメータ共有・NSP

正解: 3. GPT-3.5系列を、RLHFを用いて対話向けに調整したモデル

解説: 当初のChatGPTはGPT-3.5系列から対話向けにファインチューニングされ、会話の実演と応答比較を使うRLHFで調整された。「画像分類だけ」ではなく対話型の言語モデルである。「GPT-4を基礎」は発表時系列が逆で、「人間のフィードバックを使わない」も方法と反する。「検索結果を…

関連キーワード: ChatGPT・GPT-3.5・対話型AI・RLHF

正解: 4. 15億パラメータのTransformer型言語モデルで、それまでの語列から次語を予測するよう学習された

解説: GPT-2は15億パラメータのTransformer型言語モデルで、それまでの語列を文脈として次の語を予測する。「1750億パラメータで、少数の例示から新しい課題をこなせた」は2020年のGPT-3の説明である。「RLHFの三段階」は後のInstructGPTで明確化された手順で…

関連キーワード: GPT-2・パラメータ・Transformer・次単語予測