生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第18問: RoBERTaとALBERTがBERTから変更した点の組合せとして最も適切なのはどれか。

正解: 2. RoBERTaはNSPを除外し、ALBERTは埋め込みの因数分解と層間パラメータ共有を導入した

RoBERTaはBERTの構造を保ちながらNSPを外し、動的マスキングや学習量などを再検討した。ALBERTは埋め込み行列の因数分解と層間共有でパラメータを削減した。RoBERTaが採用したのは入力のたびにマスクを作り直す動的マスキングで、「静的マスキングを採用」は逆である。ALBERTは知識蒸留で層数を減らしてはいない。文順序予測（SOP）を導入したのはALBERTで、ALBERTは埋め込み次元を隠れ層より小さくしている。「画像専用」「音声専用」も誤りである。

関連キーワード: RoBERTa・ALBERT・BERT・パラメータ共有・NSP