オンプレ環境でも学習容易に リコーが日英中対応の700億パラメータLLM発表：人工知能ニュース

リコーは日英中の3か国語に対応した700億パラメータの大規模言語モデルを開発したと発表した。

[池谷翼，MONOist]

　リコーは2024年8月21日、日英中の3か国語に対応した700億パラメータの大規模言語モデルを開発したと発表した。オンプレミスとクラウド環境のどちらでも活用できる。同年秋から顧客に提供する。

製造業のニーズから中国語も対応

　今回発表したLLMは、Metaが提供する「Llama-3」（700億パラメータ）を基に東京工業大学と産業技術総合研究所が公開した「Llama-3 Swallow」（同）をベースに、リコーが独自に開発したものだ。AI（人工知能）の自然言語学習に用いるコーパスの選定や、データクレンジング、学習順などを決めるカリキュラム学習にリコー独自のノウハウを用いることで、安定的な日本語の回答精度を実現した。

　トークナイザ―を独自開発して処理効率を向上させることで、処理用リソースの削減や、レスポンス時間の向上などを達成した。導入ケースに合わせて統計的に使用頻度の少ない語彙を排除する独自技術も採用した。この技術などを活用することで、モデルサイズが肥大化することなく、必要な語彙が学習できる仕組みを整えている。これによって、オンプレミスなど非クラウド環境下でも、機密情報を含めた追加学習が可能になる。

700億パラメーターのLLMの概要［クリックして拡大］ 出所：リコージャパン

　開発に際しては、AWSジャパンが提供する「AWS LLM開発支援プログラム」と「AWS 生成AI イノベーションセンター」による支援を受けた。AI学習用のアクセラレータ「AWS Trainum」を搭載した「Amazon EC2 Trn1インスタンス」を活用することで、顧客に合わせたカスタマイズLLMの開発コスト、開発期間の短縮を図る。

　ベンチマーク評価用の「ELYZA-tasks-100」を用いて、Llama-3や日本語対応の継続事前学習をさせたLLMとスコアなどを比較したところ、リコーが開発したモデルは平均で4を超えるスコアを示した。

　以前リコーが発表した130億パラメーターのLLMとの相違点として、中国語に対応した点が挙げられる。製造業を中心に寄せられていた、社内に中国語で蓄積されたナレッジをRAG（Retrieval-Augmented Generation）などの形式で活用したい、というニーズに応えた形だ。なお、130億パラメータのLLMも、ポートフォリオの1つとして引き続き顧客への提案に加える。

　製造業の他、金融業や自治体、流通／小売業、教育、医療分野での活用を想定する。特に製造業に関して、リコー担当者は「製造業からは、設計業務でLLMを活用したいという要望も受けている。今後、図表の解釈への対応を検討したい」と展望を語った。

⇒その他の「人工知能ニュース」の記事はこちら