次世代AI向け国産水冷データセンター、密閉循環で水使用効率を実質的ゼロへ：組み込み開発ニュース（2/2 ページ）

[安藤照乃，MONOist]

水の追加が不要な「密閉循環」の仕組み

　サーバの熱を奪って温かくなった二次冷却水は、排出側の配管を通ってCDUに戻り、熱を受け取った一次冷却水は屋外のチラーへと送り返されて再び冷却される、クローズドループ（密閉循環）としている。使用する冷却水には防錆剤が注入されており、配管の破損などがない限り原則として水の追加は不要で、10〜15年の利用を見込んでいる。

冷却のイメージ図［クリックで拡大］ 出所：IIJ

また、ブリードインポンプの機能によって、サーバから戻ってきた温かい水の一部は供給側の冷水と混ぜ合わされ、最適な水温でサーバへ再供給されるよう制御されている。4月からの稼働時は、一次冷却水の温度は5〜35℃の幅広い範囲で実証を行う予定だ。

動力ポンプ［クリックで拡大］

　チラーは3台設置しており、1台当たり200kWの処理能力を持つ。今回の実証ではIT機器10ラック分で最大400kWの負荷を想定しており、本来はチラー2台で賄える計算だが、システムの冗長性を確保するために3台構成を採った。チラー稼働時の騒音対策としては、設備の周囲に防音壁を設けた。

冷却装置のチラー［クリックで拡大］

IIJの山井氏

　水冷化に伴う課題には、水資源の消費がある。IIJ 常務執行役員 ネットワークサービス事業本部長の山井美和氏は、「米国などではクーリングタワーを用いて水を蒸発させることで冷却する方式が多く、大量の水消費が環境問題になりつつある。今回の実証モデルでは水を蒸発させずに密閉循環させる技術を採用しており、日本で同様の水資源問題を起こさないための先行した取り組みだ」と強調した 。

　AImodは、省エネ法ベンチマーク制度の目標値であるPUE（電力使用効率）1.4以下に対し、フリークーリングモード時で設計pPUE（Partial PUE）1.1、年間平均でも同1.2を達成する見込みである。また、水を密閉循環させるため、水使用効率を示す設計WUEは実質的にゼロとなっている。

　給電設備には、三相4線400V給電方式を採用した。従来の三相3線給電と比較して変圧器が不要となり、変圧時の電力損失を低減できる他、必要な供給電力を高効率に取り出せるようになり、コスト削減や省スペース化にも寄与する。

次世代AIチップの実装を見据え「MN-Core 2」を水冷モデルへ

　3者の役割は、IIJが設計／構築／運用を担い、PFNは自社のAIチップを搭載した高密度水冷サーバの開発とAImodへの実装を行った。JAISTはソフトウェア制御や運用最適化の学術的研究を担う。

　PFNが開発した、AImodに搭載するプロセッサは「MN-Core 2」だ。PFNは2016年からAIプロセッサ「MN-Core」シリーズの開発を開始しており、当初空冷モデルだった第2世代のMN-Core 2を、今回のプロジェクトに合わせて水冷モデルとして再設計した。サーバは6ラック構成で各ラックに6ノードが収容され、最下部にCDUが配置される構造をとっている。

データセンター内のサーバラック［クリックで拡大］ 出所：IIJ

PFNの浅井氏

　PFNが現在開発中の第3世代チップではさらなる高性能化を見込んでいる。PFN AIコンピューティング事業本部 コンピューティングイノベーション部部長の浅井大史氏は、「第3世代ではチップ単体で1kW超、サーバ単位で10kWを超える消費電力と熱密度になると想定している。これを効率的に冷やすには水冷の環境が不可欠であり、今回の実証が次世代に向けた布石になる」と語った。

　今後のビジョンとして、参加各社は本実証で開発したAImodを、データセンター向けのファシリティソリューションとして提供していくことを目指している。「AImodをモジュールとして組み合わせることで、中規模の施設から受電容量50MWクラスのハイパースケール規模にまで柔軟に拡張できるようになる」（山井氏）という。また、これまで専用設計になりがちだった水冷システムにおいて、複数ベンダーの機器を混在させた場合の相互運用性を検証する。冷却水の温度や圧力といった運用条件の共通化を図ることで、大規模AI計算基盤のデータセンターにおける実用的モデルを確立していく方針である。

⇒その他の「組み込み開発ニュース」の記事はこちら