G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第57問: BERT（Devlin ほか）を、SQuAD v1.1のように段落の中から答えの範囲を抜き出す質問応答のタスクにファインチューニングするときの方法に関する説明と

「質問と段落を1つの系列にして…内積から…決める」説明が適切です。BERTの論文（Devlin ほか）は、SQuAD v1.1で質問と段落を1つにまとめた系列として入力し、ファインチューニングで開始ベクトルSと終了ベクトルEを新たに加えます。

段落の各トークンの表現とSの内積をソフトマックスにかけて答えの開始の確率とし、終了もEで同様に求め、終了が開始より前にならない範囲で得点の最も高い区間を答えにします。「別々のBERTに入力」する2つの説明は、質問と段落を1つの系列にまとめる点と食い違います。

「[CLS]の表現を回帰の層に入れ」る2つの説明も誤りで、1つの表現から位置の番号を直接出すのではなく、トークンごとに開始と終了の確率を求めます。範囲の両端をトークンごとの確率で選ぶ点を押さえましょう。