RoBERTaとALBERTがBERTから変更した点の組合せとして最も適切なのはどれか。 | 生成AIの仕組みと歴史 | 生成AIパスポート試験

問題 18 / 36あと 4 問で 60% に到達

上級生成AIの仕組みと歴史難易度目安約 41%

RoBERTaとALBERTがBERTから変更した点の組合せとして最も適切なのはどれか。

💡 キーボードで操作: 1 2 3 4 で選択← で前の問題

解答と解説を先に見る（クリックで展開）

正解: 2. RoBERTaはNSPを外して学習条件を最適化し、ALBERTは埋め込みの因数分解と層間のパラメータ共有で軽量化した

RoBERTaはBERTの構造を保ちながらNSPを外し、動的マスキングや学習量などを再検討した。ALBERTは埋め込み行列の因数分解と層間共有でパラメータを削減した。「再帰層必須」「Attention削除」はどちらの変更でもなく、「画像専用」「音声専用」も誤りである。「事前学習廃止」「固定規則だけ」は両モデルの自己教師あり事前学習と反する。

関連キーワード: RoBERTa・ALBERT・BERT・パラメータ共有・NSP

解答すると次へ進めます