G検定（ジェネラリスト検定） AIの社会実装と数理・統計 練習問題 第3問: MLOpsと、運用を始めた後の機械学習システムの扱いに関する説明として、最も適切なものはどれか。

正解: 1. 入力データの傾向が変わると性能が落ちることがあるため、データの統計量や予測性能を監視し、必要に応じて再学習する。

肢1が正解です。Google CloudのMLOpsの解説は、モデルは絶えず変わるデータの性質によって性能が落ちうるため、データの要約統計量を追い、運用中の性能を監視して、期待から外れたら通知や切り戻しを行うとし、新しいデータでの再学習も挙げています。肢2は誤りです。Sculleyらの論文「Hidden Technical Debt in Machine Learning Systems」（NIPS 2015）は、実際の機械学習システムのうちモデルのコードはごく一部で、設定やデータへの依存、外部世界の変化が保守の負担を生むと指摘しています。肢3は誤りで、同解説はMLOpsを、統合・テスト・リリース・デプロイ・基盤管理の各段階で自動化と監視を進める考え方としています。肢4は誤りで、運用時のデータは学習時と変わりえます。MLOpsは作って終わりではなく、運用中の監視と更新まで含む点が要所です。

関連キーワード: MLOps・AIプロジェクトの進め方・技術的負債・再学習