AIの不確実性にも適用可能!? 自動車規格から読み解くSTAMP/STPAが求められる理由：STAMPよもやま話（1）（1/2 ページ）

本連載では、システムとシステムがつながる、より複雑なシステムの安全性解析の理論である「STAMP」の魅力と実力を分かり安く伝えていく。第1回は、故障から機能不足／誤使用、AIの不確実性へと安全要求が変化してきた近年のシステムにおいて、先行する業界の標準化動向を参考にしながら、STPAに期待される役割について紹介する。

[岡本圭史，MONOist]

JASA（組み込みシステム技術協会）は、IPA（情報処理推進機構）との合意に基づいてSTAMPの普及活動を実践しています。本連載「STAMPよもやま話」はJASAが企画し、IPAのSTAMP-WGで活動された方々に執筆していただきました。

新連載開始に当たって

　システムとシステムがつながる、より複雑なシステムの安全性解析の理論である「STAMP」の普及を目的として、これまでに「基礎から学ぶSTAMP/STPA」「今こそ知りたい！STAMP/STPAの勘所」を連載してきました。

⇒連載「基礎から学ぶSTAMP/STPA」のバックナンバーはこちら

⇒連載「今こそ知りたい！STAMP/STPAの勘所」のバックナンバーはこちら

　いずれの連載も、技術者に向けた実務的な技術情報でしたが、第3弾となる本連載は、技術者に限らず多くの方向けのより平易な読み物として企画しました。本連載を通して多くの皆さまにSTAMPの魅力と実力をお伝えできましたら幸いです。（JASA STAMP推進WG 石井正悟）

はじめに

　自動運転やロボティクス、高度医療機器に代表されるように、近年のシステムは複雑性とソフトウェアへの依存度が極めて高くなっています。これに伴い、セーフティクリティカルシステムを扱う産業領域において、「構成要素はどこも壊れていない（仕様通りに動いている）のに、要素間の相互作用や環境との摩擦によって予期せぬ事故が起きてしまう」という、従来のアプローチでは捉えることが難しい新たな課題に直面するようになりました。

　こうしたシステムレベルの「安全でない相互作用」や「未知のシナリオ」を識別するアプローチとして、マサチューセッツ工科大学（MIT） 教授のナンシー・レブソン（Nancy Leveson）氏が提唱する、事故モデルのSTAMP（System-Theoretic Accident Model and Processes）および安全分析手法のSTPA（System-Theoretic Process Analysis）への注目が幅広い業界で高まっています。しかし、MITが2018年に発行したハンドブック「STPA Handbook」などを読んで手法の概要は理解したものの、「自分たちの分析が正しいのか自信が持てない」「実際の開発プロセスや自分たちのドメインの標準規格にどう当てはめて実践すればよいのか分からない」という悩みを抱える技術者は少なくありません。

　本稿では、STPA Handbookを読んだ後の参考資料として、規格に焦点を当てて紹介します。具体的には、安全要求の焦点が「故障」（機能安全：ISO 26262）から、「機能不足／誤使用」（意図した機能の安全性：ISO 21448）、そして「AIの不確実性」（安全性と人工知能：ISO/PAS 8800）へと、先行して変化を遂げている自動車分野の規格群を取り上げます。

安全要求の焦点の変化

　システムの高度化や複雑化の進展に伴い、製品に求められる安全要求の内容は大きな変化を遂げています。この変化は自動車、航空宇宙、鉄道、船舶、医療機器、産業用ロボットなど、セーフティクリティカルシステムを扱う産業領域に共通する現象です。規格化が先行している自動車関連の規格を参考に整理すると、その変化は、大きく以下の3つに整理できます（図1）。

1）要素の「故障」（ISO 26262）

　IEC 61508をはじめとする従来の安全規格が対象としてきた領域であり、ハードウェアの損壊やソフトウェアの不具合といった部品の故障に起因するケース。

2）非故障時の「機能不足／誤使用」（ISO 21448）

　センサの認知限界や悪天候・環境変化による誤認識、あるいは人間側の誤解・過信など、要素単体は壊れていないものの、機能の不十分さや環境・人間との相互作用に起因するケース。

3）「AIの不確実性」（ISO/PAS 8800）

　深層学習などのAI技術の導入に伴い、モデルのブラックボックス性や確率的挙動、未学習データ（未知の状況）に対する不確実な判断といった、従来の確定的なロジックでは扱いきれない要因に起因するケース。

図1　システムの高度化／複雑化に伴う安全要求の変化［クリックで拡大］

　ここからは、焦点が変化する中で、安全分析法、特にSTPAがどのような役割を果たすのかを解説します。

「要素の故障」から「安全でない相互作用」へ

　FMEA（Failure Mode and Effects Analysis）やFTA（Fault Tree Analysis）に代表される安全分析法は、製造業の製品開発やモノづくりにおいて重要な役割を果たしています。要素の故障（原因）から影響（結果）を探るFMEAは代表的な帰納的（inductive）分析法と呼ばれ、逆に、影響から原因を探るFTAは代表的な演繹（えんえき）的（deductive）分析法と呼ばれます（表1）。

表1　安全分析法の分類［クリックで拡大］ 出所：「Towards integrated safety analysis and design」（P. Fenelonら）, Figure 2: Taxonomy of Analysesを参考に作成

　これらは、要素が故障することによって生じるリスクを管理する上で、現在も強力かつ不可欠な手法であり、帰納的分析法と演繹的分析法は相補的に使用されることもあります。

　しかし、高度な運転支援機能や自動運転に代表される車載システムのように、システムは高度化／複雑化してきており、従来の分析法の前提がうまく機能しないケースが増えつつあります。具体的には、ハードウェア、ソフトウェア、さらには人間（ドライバー）といった各構成要素が「単体としては故障していない（仕様通りに動作している）」にもかかわらず、要素間の相互作用がうまく機能せずにシステム（車両）レベルのハザードが引き起こされる事例が増加しています。

　要素の故障に着目する従来のアプローチは、こうした「安全でない相互作用」を識別することには構造的に不向きであり、システムレベルの安全を担保するには、未知の原因と影響の識別に適している探索的（exploratory）分析法が有効であるとされています。