　グリッドが開発する業務システムの特色として、実在する業務内容を「言語化して形式化して」（曽我部氏）シミュレーションモデルを構築し、仮想空間に実際の業務を再現する「デジタルツイン」手法がある。しかし、出光興産の配船計画業務のように、属人化してルールが明文化されていない業務内容は、デジタルツインとして再現するのが非常に困難だ。

　曽我部氏は、デジタルツインの構築にあたって、業務に関する情報や過去の運航で得たデータなどを事前に調べた上で、「ベテランスタッフの頭の中にあるものを全て聞き出して、言語化して数式化してシミュレーションモデルを構築する」（曽我部氏）という作業をひたすら続けた。「海運関連システムを開発するのは初めてだったので、本当にイチから教えていただきましたね。属人化されていて明文化されていないことに関してはひたすらベテランスタッフへのヒアリングを重ねることで言語化していきました」（曽我部氏）。

　ヒアリングの順番としては、海運に関する基本的なルールを把握した上で、あとはひたすら「このような場合はどのようにするのか」というケーススタディー、トラブルシューティング的な質問を重ねていったという。こうして典型的な事例についてルールが分かったところで、代表的なケースに対応できるシミュレーションモデルを構築し、そのモデルを活用してAIに配船計画を試行させてその結果から学習させていった。

業務内容をヒアリングからシミュレーションモデルとして構築し、AIに配船計画を立案させ、計画内容を検証して学習する、というサイクルを繰り返す（クリックして拡大）出典：出光興産、グリッド

　最初のシミュレーションモデルを構築するまで、ヒアリングの期間を含めて4カ月ほどかかっている。しかし、最初に出力されてきた配船計画は「全然いけてなかったよね」（曽我部氏）という精度だった。この、“全然いけていない配船計画”から現実にそぐわない結果（この方面に船は向かわない、など）を排除するなど、出光興産の配船部門スタッフに評価してもらうことで、学習内容をチューニングしていった。この過程において、これまで出光興産の中で属人的な情報だった経験則が言語化されていったという。「開発の過程で船の稼働率を示すヒートマップを作成してもらったときに、船の燃費や船員の技量によって使う船に偏りが発生していることに気が付いたことがありました」（村上氏）。

　このような、「聞いて確認して反映する」（曽我部氏）試行錯誤を重ねるチューニングに約7カ月の時間を費やしている。出光興産側は、グリッドが海運関連システムの開発が初めてだったこともあって、基本的な質問を繰り返す状況に「さすがに不安を感じたし、本当にできるのか怖かった」（村上氏）らしい。

　しかし、開発開始から4カ月が経過するあたりから、グリッドからヒアリング結果を反映した成果物（それは、配船計画システムそのものではなく、先に紹介した船舶の稼働率を示すヒートマップや桟橋利用状況のヒートマップだったりするが）が少しずつ出てくるようになって、「こちらの回答を理解しているし、こちらが気付いていなかったところも取り入れてもらっている、ということが分かって、そこから信頼関係が生まれてきた」（村上氏）と状況が好転することになる。

　曽我部氏によると、配船計画の出力とは別に、稼働率ヒートマップや、開発した配船シミュレーターなどの成果物を提出した理由として「同じ会話がしたかった」と述べている。「業務で使っているフォーマットに近いデータを提供して、そこで議論するのが一番いいと考えた」（曽我部氏）。

　また、AIが算出する配船計画の全国マップは動画形式で提供された。その動画が出光興産に与えたインパクトは大きく、「当初、部内部外で実証実験は非常に困難で成功は無理だろうという意見が大勢でした。しかし、AIによる配船計画の全国マップ動画やヒートマップなどのビジュアルで判断できる資料を示したことで、社内の同意を得ることができるようになりました」（村上氏）と、その効果を評価している。

　2020年になると本格的な配船計画を出力するまでにAIの学習が進んできた。この時点でも、配船計画の精度は「正直言ってあまりよくなくて、やっぱり時期尚早で高難易度のチャレンジだったと改めて思いました」（村上氏）という状況だったが、その後も海運会社の配船担当者なども加わったチューニング作業を重ねることで「4月ぐらいの最終段階で精度がぐっと上がりました」（村上氏）。

　深層強化学習では、試行錯誤した結果を客観的指標（例えば“点数”や“報酬”といった数値）に置き換え、より高い点数や報酬を得ることができる方法を考えることで、精度の高い現実に即した計画を立案できるように学習させていく。今回の、配船計画の最適化における深層強化学習では、客観的指標として「油槽所の在庫が基準を下回った回数」「船舶の燃料当たりの輸送量」という採点基準を設けて、「下回った回数を最小化、かつ、燃料当たりの輸送量を最大化」する配船計画を高く評価することで、AIが最適な配船計画を立案ができるように学習させた。

配船計画システムの開発にあって適用した深層強化学習の構造（クリックして拡大）出典：出光興産、グリッド

　加えて、学習したAIが独自に配船計画を推論することで、通常の最適化問題で行われるような計算をニューラルネットワークが近似しているので、状況変化に柔軟に対応し、かつ演算量も減らせるので、計算時間を大幅に短縮することを可能にしている。この「学習成果から推論して最適解を見つけ出すまでの演算量を減らして高速化できる」ことが、深層強化学習のメリットの1つといえる。