G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第11問: BERTとGLUEに関する説明として、最も適切なものはどれか。

正解: 2. BERTは、事前学習したモデルに出力層を1つ加えてファインチューニングすることで、質問応答や言語推論など幅広いタスクに使えるとされた。

肢2が正解です。BERTの論文（Devlin ほか）は、ラベルの無いテキストで左右両方の文脈を使う深い双方向の表現を事前学習し、出力層を1つ加えてファインチューニングすることで、タスクごとに大きく構造を変えずに質問応答や言語推論など幅広いタスクに使えるとしました。BERTはBidirectional Encoder Representations from Transformersの略で、肢3のようなデコーダで文章を生成するためのモデルではありません。肢1と肢4は誤りで、GLUE（Wang ほか）は既存の複数の自然言語理解タスクにわたってモデルの性能を評価・分析するベンチマークです。翻訳の対訳コーパスでも、画像についての質問応答のデータでもありません。

関連キーワード: BERT・GLUE・事前学習・ファインチューニング