　その工夫の具体例として注目したいのが、ファインチューニングだ。ファインチューニングは追加学習によって、特定分野、あるいは企業独自の専門用語などを学び、回答精度を高める効果が期待できる。一方で、API経由で生成AIサービスを利用する場合、学習と運用時に大量のコストと時間がかかることが課題視されている。このため、昨今では社内データベースと連携させるRAGで生成AIの回答精度を高める方式に注目が集まっている。

　しかし、クラウド利用をしないオンプレミスでの運用であれば、「基本的には初期投資としてはPCの購入や、運用時に少し電気代がかかるぐらいで済む。ファインチューニングを実行しやすい環境といえる」（下野氏）のだ。また、生成AIの規模別にRAGとファインチューニングによる精度苦情の効果を検証したある研究では、小規模モデルでの場合、RAGとファインチューニングを組み合わせることで、どちらか一方の場合よりも精度を大幅に向上させることができるという検証結果が得られているという。

　もう1つの工夫として挙げたのが「長文プロンプト」だ。一般的に、LLMは可能な限り多くの情報を渡すことで、回答精度の向上が期待できる傾向にある。ただ、クラウド経由で生成AIモデルを使う場合、トークン単位での課金がなされるため、利用時はプロンプトの長さに気を配る必要がある。だが、オンプレミスであればその心配がない。このことから、精度向上を果たす有力な手法の1つとなり得る。

ファインチューニングや「長文プロンプト」の使用が活発になるか［クリックして拡大］出所：エムニ

障害発生対応が困難になる恐れも

　下野氏は「クラウド経由でしか利用できないLLMもあるが、最近では生成AI活用において、クラウドでしかできないこと、というのは少なくなってきている」と指摘する。とはいえ、製造業にとってオンプレミスでの生成AI活用が「最適」であると早々に結論付けられるわけではない。自社の用途に合わせて、オンプレミスとクラウドの双方のメリットを把握した上で、導入に加えて運用やシステム保守など、プロセス全体で見た際の手間やコストも考慮して比較検討すべきだ。

　オンプレミスの場合は、最近はGPUの価格が高騰しているため、高額サーバ構築の初期費用が高額になる可能性がある。またサーバに障害発生した場合の対応が困難になりやすい。クラウドであればこうした問題は回避できる。一方で、オンプレには先ほど紹介したように、運用時のコストを抑えやすいことや高いセキュリティ性があることなどがメリットとして挙げられる。生成AIモデルの提供企業によるバージョン変更の影響を受けづらいことも利点だろう。OpenAIがGPT-3.5 Turboの提供を終了したことで、利用企業への影響が懸念される状況が生まれたことは記憶に新しい。

　「まずはクラウド上で利用できる生成AIモデルでPoC（概念実証）を行い、ある程度の効果が見込めることが分かったらオンプレミスでの本番環境に移行するといったことも可能だろう」（下野氏）