「地球シミュレータ」はベクトル型を継承しつつ生成AIも取り込んで進化する：AIとの融合で進化するスパコンの現在地（7）（3/4 ページ）

[関行宏，MONOist]

GPUも取り込んだハイブリッド構成のES4

　その6年後の2021年3月に稼働したのが現在のES4である。x86ベースの演算リソースやGPUベースの演算リソースも利用したい、という研究者のニーズに応えて、地球シミュレータとしては初めてマルチアーキテクチャ型のハイブリッド構成が採用された（図5、図6）。

図5　第4世代のES4の概略構成図。ベクトルプロセッサを搭載したVE搭載ノードに加えて、x86アーキテクチャのCPUノード、学習や推論に適するGPU搭載ノードで構成されている［クリックで拡大］ 出所：海洋研究開発機構

図6　各計算ノードのスペック。可能な限りオンメモリで処理ができるように、GPU搭載ノードには大容量メモリを搭載している［クリックで拡大］ 出所：海洋研究開発機構

　それぞれのノードの概略は次の通りである。

ES4VE（ベクトルエンジン搭載ノード）

　NEC製のベクトルプロセッサ「SX-Aurora TSUBASA Vector Engine」×8基とAMD EPYC 7742プロセッサ×1基を内蔵した2U高さの「NEC SX-Aurora TSUBASA B401-8」（図7）を684台並べて構成したシステムである。計算性能は、ノード当たり21.9TFLOPS、トータルで14.9PFLOPSである。

ES4CPU（CPUノード）

　AMD EPYC 7742×2基を内蔵したHPE Apollo 2000 Gen10 Plus Systemを720台並べて構成したシステムである。ピーク性能は3.3PFLOPSである。

ES4GPU（GPU搭載ノード）

　NVIDIA A100 Tensor Core GP×8基とAMD EPYC 7741×2基を内蔵したノードを8ノード並べて構成したシステムである。GPU当たりの演算性能は倍精度で19.5TFLOPSである。GPUクラスタ単独での使い方の他、VE搭載ノードで得た結果をGPU搭載ノード上のAIアプリケーションを使って解析あるいは学習させる使い方を想定している。

インターコネクト

　3つのサブシステムはファットツリー構成にした帯域幅200GbpsのInfiniBand HDRで接続されている。また、VE搭載ノード同士は演算通信を高速化するために別系統の帯域幅200GbpsのInfiniBand HDRでも接続されている。

ストレージ

　容量60PBのメインストレージと容量1.3PBのオールフラッシュストレージで構成される。また、研究内容や解析結果をエビデンスとして残すために、大規模なテープストレージシステムが別途用意されている（図8）。

　これらを合わせたES4の総演算性能は19.5PFLOPS、総メモリ容量は556.5TBである。地球全球を数km程度のメッシュで区切った大気大循環モデルや海洋大循環モデルの解析も可能な高い性能が実現されている。

図7　ES4VE（VE搭載ノード）を構成する「NEC SX-Aurora TSUBASA B401-8」（写真に写っているのは648台中の4台）。各ノードあたりベクトルプロセッサ8基を内蔵している［クリックで拡大］ 撮影：関行宏

図8　研究データやシミュレーション結果を長期保存するために増設されたテープライブラリ。シミュレーションのメッシュが高解像度になり、また、アンサンブル予報のように何パターンも実行することも多いため、データサイズは膨大になるという［クリックで拡大］ 撮影：関行宏

　地球シミュレータに合わせて建設された建屋が冒頭で触れたシミュレータ棟である（図9）。完成は2000年12月だ。

図9　地球シミュレータを収容しているシミュレータ棟。アルミメッキ鋼板によって建屋全体がシールドされている。電柱のように見えるのは建物を囲む被雷塔である。近くを走る横浜シーサイドラインの車窓から一瞬だけ姿を見ることができる［クリックで拡大］ 撮影：関行宏

　当時としては前例のない規模のスーパーコンピュータを収容するとあって、防災に加え、設置環境からの種々の悪影響を抑制することを強く意識した建屋設計となっており、外来ノイズの侵入を防ぐ徹底した電磁シールド、大地との絶縁、架空地線方式による被雷対策、照明からのノイズを防ぐために計算機室外に光源を置いたライトガイド方式の採用など、さまざまな工夫が施されている。建物は免震である。