GPT-5.5に出力品質で「勝つ」化学素材特化AIエージェントとは：マテリアルズインフォマティクス

Catarisは、化学素材の調査業務において、同社の化学素材特化AIエージェント「Cataris」と汎用型高性能LLM「GPT-5.5」の出力品質を比較検証した結果を公表した。実務有効性では、Catarisが全体で79.2％の勝率となった。

[MONOist]

　Catarisは2026年6月15日、化学素材の調査業務において、同社の化学素材特化AI（人工知能）エージェント「Cataris」と汎用型高性能LLM（大規模言語モデル）「GPT-5.5」の出力品質を比較検証した結果を公表した。

中立な第三者AIによる匿名評価結果［クリックで拡大］ 出所：Cataris

　検証では、用途探索と新製品開発の2つの調査業務を評価対象とし、中立な第三者AI（LLM-as-a-Judge）によりCatarisとGPT-5.5の出力を匿名比較した。

評価設計の概要［クリックで拡大］ 出所：Cataris

　実務有効性（中立な第三者AIによる匿名比較、計72判定）では、Catarisが全体で79.2％の勝率となった。特に「事業参入すべきか（Go/No-Go）」を問う新製品開発の市場調査では、Catarisが94.4％となった。

主要評価結果［クリックで拡大］ 出所：Cataris

実務有効性［クリックで拡大］ 出所：Cataris

　「引用の実在性」はどちらも高水準だったが、従来の汎用AIでは「実在する出典を引きながら、数値が桁違い・内部不整合・非現実的な成長率」という誤りが18件確認された。一方、Catarisの誤りは1件だった。

出典はあるが非現実的な市場数値の件数［クリックで拡大］ 出所：Cataris

　Catarisは、化学素材領域に特化したDeep Research型AIエージェントとして、学術文献や企業開示情報などを横断的に参照し、用途仮説の探索、根拠確認、重複や不整合の整理、提案レポート化までを一連のプロセスとして処理する。

　Catarisを導入することで、数値付きの合否基準など意思決定材料をそろえられる。また、出典は実在するものの数値が違うなど、見抜きにくい誤りを上流で押さえることで、経営判断の手戻りを低減できる。

　同社は、今回の出力比較と診断手法を活用した「生成AI・AIエージェント出力アセスメント」を2026年7月末まで3社限定で無料提供する。ユーザーの実データを使用し、汎用AIとのレポート品質を比較できる。

⇒その他の「マテリアルズインフォマティクス」の記事はこちら