データサイエンティスト検定 リテラシーレベル データサイエンス(機械学習・AI・非構造化データ) 練習問題 第16問: ある会社が需要を予測するAIモデルの運用を始めるにあたり、データドリフトや性能の変化に備えて、運用中のモニタリングと記録の進め方を検討している。産業技術総合研究
ある会社が需要を予測するAIモデルの運用を始めるにあたり、データドリフトや性能の変化に備えて、運用中のモニタリングと記録の進め方を検討している。産業技術総合研究所『機械学習品質マネジメントガイドライン 第4版』の考え方として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 4. 入力・出力・内部状態などの主要なものを集めて生データを残し、評価指標もあわせて記録する
「入力・出力・内部状態などの主要なものを集めて生データを残し…」が適切です。産業技術総合研究所『機械学習品質マネジメントガイドライン 第4版』(CC BY 4.0)8.1は、運用時に品質指標を継続的にモニタリングして記録を残すことを品質の維持・向上に不可欠とし、開発中や運用開始時だけでなく、運用開始後にも品質に関わる情報を継続的に採取することを重要としています。
運用中の主な観測対象はシステムの運用状況・システムの改修・外部環境の変化の3つです。運用状況は入力・出力・内部状態などを主要なものだけでも採取して記録し、生データを残すことに加えて、入力データセットの分布や出力の正確性などの評価指標も算出して記録するとしています。
評価指標を性能の低下が疑われてから算出する肢は継続的なモニタリングに反し、観測対象を2つとする肢はデータドリフトにあたる外部環境の変化を落としています。運用が安定した後に採取を減らす肢は、運用が始まってからこそ継続的に採取するという考え方と逆です。
運用中は生データと評価指標の両方を続けて残すと押さえましょう。
関連キーワード: モニタリング・運用・データドリフト・生データ
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間