TOP500国内1位のAIスパコン、計算ノード内部を初披露：CEATEC 2018（1/2 ページ）

[松本貴志，MONOist]

　産業技術総合研究所は、「CEATEC JAPAN 2018」（2018年10月16〜19日、幕張メッセ）で、AI（人工知能）やビッグデータ処理向けスーパーコンピュータ（スパコン）「人工知能処理向け大規模・省電力クラウド基盤（AI Bridging Cloud Infrastructure、以下ABCI）」を利用した機械学習技術などについて展示を行った。

　ABCIは富士通が開発を担当し、2018年8月から本格運用を開始した。2018年6月に発表されたスーパーコンピュータ性能ランキングの1つである「TOP500」では、世界5位、国内1位を獲得している。今回の展示では、ABCIの計算ノード内部も公開され、国内初披露となった。

ABCIの計算ノードである富士通製サーバ「PRIMERGY CX2570 M4」の内部（クリックで拡大）

LINPACKピーク性能は19.88PFLOPS

　ABCIは、演算を実行する「高性能計算システム」と足回りの役割を担う「大容量ストレージシステム」で構成する。

　高性能計算システムは、計算ノードとして富士通製サーバ「PRIMERGY CX2570 M4」を採用し、1088台の計算ノードを集積する。システム全体のメインメモリは476テビバイト（TiB）。理論ピーク性能は、FP16（16ビット浮動小数点）で550PFLOPS、FP64で37.2PFLOPSとし、TOP500でベンチマークとして用いられるLINPACKでは19.88PFLOPSを達成した。

　計算ノード1台の構成として、CPUはIntel Xeon Gold 6148を2基（システム合計で2176基）、GPUはNVIDIA Tesla V100を4基（同4352基）、メインメモリはDDR4-2666規格で384ギビバイト（GiB）、ローカルストレージはNVMe（Non-Volatile Memory Express）接続のIntel SSD DC P4600（容量1.6Tバイトモデル）を搭載する。各計算ノード間と大容量ストレージシステムのインターコネクトには、InfiniBandを用いる。

左：2基のIntel Xeon Gold 6148とメインメモリ　右：水冷ヒートシンクが外されたNVIDIA Tesla V100（クリックで拡大）

　CPUとGPUの冷却では水冷と空冷を併用。「計算ノード内に3系統設置した冷却ラインで、インレット側が30℃、アウトレット側が40℃の温水により直接水冷を行っている。システムの負荷によって、各ノード内に流れる冷却水の流量を調整しており、最小で毎分2L、最大で毎分6Lとなる」（産総研担当者）。

　暖められた冷却水は、計算ラック上部に設置されたCDU（冷却水循環装置）とFCU（ファンコイルユニット）で熱交換され、発生した熱気は屋外設置されたパッシブ冷却塔とアクティブチラーにより冷却する。この冷却システムにより、ABCIの平均PUE（電力使用効率）は1.1以下となった。

左：水冷ヒートシンク　右：冷却システムの概要（クリックで拡大）