AIの不確実性にも適用可能!? 自動車規格から読み解くSTAMP/STPAが求められる理由：STAMPよもやま話（1）（2/2 ページ）

本連載では、システムとシステムがつながる、より複雑なシステムの安全性解析の理論である「STAMP」の魅力と実力を分かり安く伝えていく。第1回は、故障から機能不足／誤使用、AIの不確実性へと安全要求が変化してきた近年のシステムにおいて、先行する業界の標準化動向を参考にしながら、STPAに期待される役割について紹介する。

[岡本圭史，MONOist]

探索的分析法としてのSTPA：未知のシナリオの発見

　FMEAやFTAが要素の故障に着目するのに対し、STPAは、既知の原因や影響を前提とせず、構造的に分析する探索的分析法です。STPAでは、初めに、損失やハザードと望ましくない結果を識別します。続いて、システム全体を制御ループの集合体としてモデル化したコントロールストラクチャー図を構築し、コントローラーが出す指示が不適切になる条件をUCA（Unsafe Control Action、不安全制御動作）として体系的に識別します。さらに、そのUCAが発生する背景にある環境条件、機能の相互作用、人間の認知誤りなどの誘発要因（原因）を掘り下げることで、最終的な損害に至るロスシナリオを識別します。

　この探索的能力は、特にISO 21448におけるリスク分析において重要な役割を果たします。ISO 21448では、シナリオを「既知／未知」および「危険／危険でない」の4領域に分類しますが、設計者にとって最大の脅威となるのが未知の危険なシナリオ（Area 3：未知／危険）の存在でしょう。ISO 21448内でも、「未知の原因が引き起こす、システムが誤認識している状態（未知の結果）」を具体化したシナリオを識別するのに、STPAが適しているであろうとしています。

　実際に、STPAは「システムがどう安全でない状態に陥り得るか」という、影響（ハザード）からその原因（ロスシナリオ）へと探索を構造的に展開するため、シナリオをArea 3からArea 2（既知／危険）へ移行させ、適切な安全制約へと落とし込む枠組みを提供します（図2）。

図2　シナリオの分類［クリックで拡大］ 出所：ISO 21448 Figure 6を参考に作成

STAMP/STPAが新しいロスシナリオに有効な理由

　STPAの分析能力の基礎となるのが、事故モデルSTAMPです。既存の事故モデルの多くが、安全性を「コンポーネント故障を防ぐことの問題」として捉えていたのに対し、STAMPは安全性を「システムが従うべき安全制約条件が、適切な制御によって維持されている状態」というシステム全体の動的制御の問題として定義しています。この視点の拡大により、分析の着目点は「部品が壊れているか否か」から「システム全体において安全制約を課す（安全）コントロールストラクチャーが機能しているか否か」へと拡大します。

　この「動的制御の問題」という観点は、現代の車載システムなどが直面するハザードの複雑な誘発要因を識別する上で有用です。例えば、カメラなどセンサーの環境変化に伴う認知限界、あるいはADAS（先進運転支援システム）に対する人間の過信や誤使用といった課題は、いずれも単体部品の故障ではなく、「認識ー判断ー制御ーフィードバック」の制御ループ内におけるプロセスモデルの不一致（コントローラー内のコントロール対象の認識（プロセスモデル）と現実の不一致）やフィードバックの欠損／遅延などとして説明できます（図3）。

図3　プロセスモデルの不一致の例［クリックで拡大］

　また、AIコントローラーに対しても、コントロールストラクチャー図の中で「不確実な判断を行い得る一つのコントローラー」として位置付けている研究もあります。AIコントローラーをこのようにモデル化することで、AIコントローラーの出力をシステムレベルの安全制約内にどう抑え込むかという観点で捉え直すことができ、AIコントローラーを含むシステムの安全性を構造的に識別できます。

規格への適用

　STAMPにおける安全の考え方とSTPAのプロセスは、安全規格の要求事項に対し、高い適用性を発揮します。

　まず、ISO 21448の「Annex B.4: Applying STPA in the context of SOTIF for ADAS and automated vehicles」においては、非故障時の機能不足を引き起こすトリガー条件を識別するための有効な分析手段として言及されています。また、ISO/PAS 8800の「Annex E (informative): STAMP/STPA example」においても、AIコンポーネントをコントロールストラクチャー図内の1つのコントローラーとしてモデル化し、AI関連エラーに起因するロスシナリオを識別する例を示しています。

　さらに、STPAがこれらの新しい安全性について言及している規格のためだけの手法ではなく、自動車向け機能安全規格であるISO 26262にも適用可能であることは留意すべきです。STPAによって識別されるUCAや安全制約は、ISO 26262におけるハザード分析およびリスク評価（HARA）の安全ゴールなどと対応しています。また、研究レベルではありますが、STPAを共通基盤として導入すれば、ISO 26262が求める故障対応の要求を満たしつつ、ISO 21448が求める（故障でない場合での）ハザード分析までを、同一の分析法で導出できるという研究成果もあります。

まとめ

　現代の複雑なシステム安全において、製品への安全要求の焦点は要素の「故障」から、非故障時の「機能不足／誤使用」、そしてAIや機械学習の「不確実性」へと変化しています。本稿では、探索的アプローチであるSTPAが、これら焦点の変化にどのように貢献するかを解説しました。

　さらに、STPAを実務へ適用するための具体的な分析手順やプロセスについてより深く知りたい方は、国際的な推奨プラクティス規格である「SAE J3187シリーズ」を参照することをお勧めします。

参考文献

1. STPA Handbook, Leveson, N. G., & Thomas, J. P., MIT (2018)
2. ISO 26262 Road vehicles - Functional safety (2018)
3. ISO 21448 Road vehicles - Safety of the intended functionality (2022)
4. ISO/PAS 8800 Road vehicles - Safety and artificial intelligence (2024)
5. SAE J3187 System Theoretic Process Analysis (STPA) Recommended Practices for Evaluations of Safety-Critical Systems in Any Industry (2023 revised)

岡本 圭史（おかもと けいし）

早稲田大学理工学部卒業、同大学院修了後、博士（理学）を取得。形式手法、安全分析、数理論理学の研究開発および企業との共同研究などに従事。IPA（情報処理推進機構） ソフトウェア高信頼化推進委員会委員などを経て、現在は仙台高等専門学校 総合工学科 教授を務める。AI／IoTシステム安全性シンポジウム実行委員長や各種委員を歴任し、システムの安全性／信頼性向上に関する研究、教育および普及活動に取り組む。

・JASA STAMP広場