G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第53問: Vision Transformer（ViT）の論文（Dosovitskiy ほか）が報告した、事前学習のデータの規模と性能の関係に関する説明として、最も適切な

「CNNの帰納バイアスの一部を持たず…大規模な事前学習で上回った」が適切です。ViTの論文（Dosovitskiy ほか）は、ImageNetのような中規模のデータで強い正則化なしに学習すると、同じ規模のResNetより数ポイント低い精度にとどまるとしました。

平行移動の等変性や局所性といったCNNに組み込まれた帰納バイアスを欠くためで、1,400万〜3億枚の画像で事前学習すると状況が変わり、大規模な学習が帰納バイアスに勝ると述べています。「中規模のデータでも大きく上回った」は向きが逆です。

「局所性や平行移動の等変性を各層に組み込んでいる」は誤りで、ViTの自己注意の層は画像全体を見る大域的な層です。「ResNetの精度には届かず」も逆です。

データが少ないときほど帰納バイアスが役立つ点を押さえましょう。