ISO/IEC 42001:2023 附属書 A.6.2.6 / A.6.2 AIシステムのライフサイクル
AIシステムの運用及び監視
AI system operation and monitoring
管理策
AIシステムのライフサイクル
規格の記載(原文と日本語訳)
Annex A.6.2.6
The organization shall define and document the necessary elements for the ongoing operation of the AI system. At the minimum, this should include system and performance monitoring, repairs, updates and support.
日本語訳組織は、AIシステムの継続的な運用に必要な要素を定め、文書化しなければならない。これには、少なくとも、システム及び性能の監視、修理、更新並びにサポートを含めることが望ましい。
Annex B.6.2.6(手引)
System and performance monitoring can include monitoring for general errors and failures, as well as for whether the system is performing as expected with production data. Technical performance criteria can include success rates in resolving problems or in achieving tasks, or confidence rates.
日本語訳システム及び性能の監視には、一般的なエラー及び障害の監視、並びに本番データに対してシステムが期待どおりに機能しているかどうかの監視が含まれ得る。技術的な性能基準には、問題解決若しくはタスク達成の成功率、又は信頼度が含まれ得る。
Annex B.6.2.6(手引)
Some deployed AI systems evolve their performance as a result of ML, where production data and output data are used to further train the ML model. Where continuous learning is used, the organization should monitor the performance of the AI system to ensure that it continues to meet its design goals and operates on production data as intended.
日本語訳展開されたAIシステムの中には、本番データ及び出力データを用いて機械学習モデルを更に学習させることによって、機械学習の結果として性能が変化するものがある。継続学習を用いる場合、組織は、AIシステムが引き続き設計目標を満たし、本番データに対して意図どおりに動作することを確実にするために、AIシステムの性能を監視することが望ましい。
原文は参考サイト(WatchDog Security GRC Wiki / Control Stack)に引用掲載されたものです。日本語訳は本サイトによる非公式訳です。
わかりやすく言うと
本番稼働中のAIについて、性能監視(精度劣化・データドリフト等)、障害対応、更新、サポート体制を定めます。継続学習するAIは特に注意が必要です。
- ドリフト検知・精度劣化のアラートを設定する
- 運用手順書(監視項目、閾値、エスカレーション)を作成する
- 本番での性能劣化を検知できる仕組みがあるか
- 運用手順書
- 監視ダッシュボード・アラート記録