生成AIパスポート試験 現在の生成AIの動向 練習問題 第28問: AIエージェントに送金やデータ削除など影響の大きいツールを持たせる場合の設計として、最も適切なものはどれか。

正解: 2. 停止条件・権限制御を設け、重要操作を人が確認・拒否できるようにする

影響の大きいツールには、最小限の権限、明確な停止条件、監査可能な表示、人が実行前に内容を確認して拒否できる仕組みが必要である。「ツールの説明を隠し、実行履歴も残さない」のは統制を失う。「実行回数の上限を設けず永久に繰り返す」と複合的な誤りが拡大する。「外部から返った結果を常に正しいとみなし、検証しない」と不正確・悪意ある結果を次の操作へ伝播させる。

関連キーワード: AIエージェント安全性・人間の監督・停止条件・権限制御