高性能なファイルシステムは、もうスーパーコンピュータ（スパコン）の世界だけのものではなくなった。スパコン「京」で世界一を獲得した富士通のテクノロジーで、設計・開発力を大幅に強化し、競合他社にいち早く差をつけよう。さらに、大規模な解析データを素早く処理することができるスループット性能No.1である富士通のファイルシステム「FEFS」なら、PCクラスタの性能を余すところなく引き出すことが可能だ。

» 2011年11月28日 10時00分公開

[PR／MONOist]

　TOP500リストの頂点に登り詰め、いまも「計算速度世界一」の座を守っている国産スーパーコンピュータ「京（けい）」。その「京」を理化学研究所と共同開発した富士通が、スパコンの次なる時代を顧慮し、総スループット性能でも世界一を実現可能なスケーラブルファイルシステム「FEFS」（「Fujitsu Exabyte File System」の頭文字に由来）を発表した。FEFSは、いずれ到達するだろうエクサバイトクラスまで拡張可能とした「Lustre（ラスター）」（*1）ベースの高速分散ファイル処理システムである。

　FEFSは、PCクラスタを支える高性能かつスケーラブルなファイルシステムであり、世界最高性能（*2）をうたう。

　東京大学宇宙線研究所のニュートリノ（*3）検出設備「スーパーカミオカンデ」（岐阜県飛騨市神岡町）でも、富士通のPCクラスタ「PRIMERGY BX922 S2」、ストレージシステム「ETERNUS DX80 S2」、そしてFEFSが実験解析システムの一部として導入された。

　ただしFEFSのような高性能ファイルシステムは、上記のような最先端研究機関だけのものではない。いまや、製造業における解析・シミュレーションの現場においても強く求められている。

注釈

*1 「Lustre」：オープンソースのファイルシステムソフトウェア。富士通はLustreコミュニティーに参画し、FEFS独自の拡張機能の標準化に取り組んでいる。

*2 FEFSにおける1テラバイト毎秒の総スループット性能は2011年10月時点で世界最大である。

*3 ニュートリノ：素粒子のレプトンのうち、電気を帯びない粒子を指す。

PCクラスタにおける高性能ファイルサーバの導入効果

富士通次世代テクニカルコンピューティング開発本部ソフトウェア開発統括部第一開発部シニアマネージャー甲斐俊彦氏

　「FEFSのような高性能ファイルシステム自体は、スーパーコンピュータ向けとしては何年も前から存在するものでした。昨今のPCクラスタの演算性能向上が著しいことから、PCクラスタ向け高性能ファイルシステムの開発にも着手しました」と語るのは、スパコン京の開発にも携わり、そしてこのFEFSを開発した富士通次世代テクニカルコンピューティング開発本部ソフトウェア開発統括部第一開発部シニアマネージャー甲斐俊彦氏である。

　コンピュータによる解析およびシミュレーションのシステムは、コスト削減や開発期間の短縮などの点から、製造業の各業種で積極的に活用されている。その主流になりつつあるのが、複数台のPCサーバを並列処理させるPCクラスタシステムである。そのPCクラスタシステムの性能向上に合わせるように、製造業のユーザーたちがこなす解析もどんどん大規模化し、メジャーな解析ソフトウェアも次々と大規模並列計算へ対応している。

　創薬や材料など分子構造解析系、金融系の統計シミュレーション、画像処理の分野で解析の大規模化の傾向は顕著である。そして製造業の解析においても、64ノードを超える大規模システムが要求されるようになってきた。

　PCクラスタをベストな性能・通信速度で組んでいるはずなのに、思うように解析計算が進まない場合は、ファイル入出力（ファイルI/O）処理のボトルネックを疑った方がよい。

　PCクラスタシステムはおおまかに、クラスタマシン（計算ノード）と接続ネットワーク、ファイルサーバで構成する。このファイルサーバは、ファイルデータの入出力を制御するメタデータ領域（*4）と、実際のデータを格納するデータ領域とに分かれる。

注釈

*4 メタデータ：ファイルに関する情報（作成日時、作成者、形式、タイトルなど）を管理するデータ。

　ソルバの計算時には、ファイルサーバに格納されたデータ（解析モデルファイル、計算済みファイル、Scratchデータ）の読み出し・書き出しを幾度となく繰り返す。しかも複数の計算ノードが一斉にそれらのファイルデータにアクセスする。そして、CPUが高性能であればあるほど、ファイル入出力量が指数関数的に増加していく。特に構造解析、非定常の流体解析においてはファイル入出力の負担が非常に大きいといわれる。

　「過去には、ユーザーが意図したよりも、はるかに多いファイルをアプリケーションが生成してしまったため、システムがスローダウンしてしまうケースがありました。（従来のファイルシステムの）ファイル入出力は、CPUと比較して性能向上率が高くなかったので、データ処理が詰まる状態になってしまうのです」（甲斐氏）。

富士通システムプロダクト販売推進本部 PCクラスタビジネス推進室主席部長西敬二郎氏

　「計算性能が向上することで、大規模問題計算の並列化が進み、あるいは計算時間が短縮化したことで単位時間当たりのファイル出力の回数が増える、といったことについて、サーバ管理者は常に注意を向けています。しかし解析ソフトウェアを実行するエンドユーザーが意識しないうちにこれが起こってしまいトラブルになるケースもありました」（富士通システムプロダクト販売推進本部 PCクラスタビジネス推進室主席部長西敬二郎氏）。

　要するに、CPUやメモリ、データ通信の技術の急速な進化に、ファイルシステムのスペックが追い付いていないのが根本的な問題だった。大規模なデータ容量に対してファイル入出力の性能が追い付かない状態を比喩するなら、“細いパイプに一気に大量の水を流そうとするようなもの”。

　これまでは、高性能なCPUクラスタマシンを備えながらも、現状のファイルシステムのスペックに甘んじて解析計算の規模を限定するしかなかった。

　その問題に着目したのが富士通のFEFSで、PCクラスタとファイルシステム間の大容量なデータ入出力を効率よく高速処理可能とした。ファイルサーバの格納領域を拡張していくことで、データ容量と帯域がどんどん拡大可能だ。しかもファイルサーバは並列稼働が可能（*5）なので、拡張したファイルサーバを無駄なく活用して高速処理できる。

注釈

*5 「ラウンドロビン分散」機能：マルチタスクOSにおけるタスクスケジューリング方式。各タスクは「タイムスライス」と呼ばれる一定時間単位で、処理を順番に実行。全てのタスクが平等に扱われるという特徴がある。割り当て時間を使い果たしたタスクは一度処理を中断し、待ち行列の最後に回され、これを繰り返す。

　また従来システムでは、特に重い計算をこなす特定のユーザーがデータ入出力の帯域（サーバの処理能力）を占有してしまうと、ほかのユーザーの処理を圧迫するということがあった。FEFSなら、富士通独自の「フェアシェア」機能により、解析データ量に依存せず、帯域をユーザーへ均等に分配可能なことから、そのようなことが起こらない。FEFSで拡張したファイルサーバ性能をより快適に有効活用できる。

　FEFSは、世界最高クラスの1テラバイト毎秒の総スループット性能を備え、メタデータ生成能力も高いため、1秒間に数万個のファイル作成が可能である（一般Lustreの約3倍）。また最大100万ノード、エクサバイトクラスの拡張性を見込んだシステムながら、数十ノード（数十台）のクラスタから価格性能比に優れたシステムとして利用可能だ。スーパーカミオカンデレベルの研究のみならず、現状の製造業における大規模解析のスペックに見合った構成も可能で、さまざまな業種・分野で標準的に利用できる。このスケーラビリティはFEFSの大きな特徴である。

　この仕組みを導入することで、これまでできなかった解析計算がかなうことはもちろん、これまで無理にこなしていた計算も素早く処理可能となる。

FEFSの高い信頼性

　従来の構造では、1つのファイルサーバが故障しただけで、解析業務全体がストップしてしまうような事態もあり得た。FEFSなら、システムの一部が故障しても、処理中の解析をストップさせることなく、正常なサーバへ自動で切り替えしてくれる（*6）。

注釈

*6 FEFSの冗長機能

単点故障を防ぐハードウェア構成、フェイルオーバー機能：InfiniBand／ファイバーチャネルパス、サーバの二重化による耐故障性の強化。RAIDによるデータ保護。
メタデータサーバおよびファイルサーバにおける動的交代機能。

　加えて、FEFSとストレージシステムのETERNUSとの連携機能として、高速バックアップの仕組みを備える。ファイルシステムに蓄積された大容量のデータでも、解析・シミュレーションの実行に支障を来すことなく、素早くバックアップすることが可能だ。

FEFSで部門間の壁を取り払う

　FEFSの利点は、大規模な解析データを高速処理するばかりではない。従来の製造業の設計部では、例えば「構造システムグループ」「流体システムグループ」「材料システムグループ」といった部門ごとでPCクラスタやファイルサーバを独立管理するケースが散見される。FEFSでは非常に広い帯域と容量が確保可能なことから、この部門ごとのファイルサーバを1つにまとめることが可能で、サーバ管理において大幅な効率改善が図れるという（以下）。

図1 製造業におけるFEFS構成例

　なお、このような仕組みを従来通りストレージ製品単体でシステムを組もうとすれば、最小構成でも1億円近い金額になってしまった。それが、FEFSなら最小構成（以下に記載）で2143万円から組むことが可能なのである（下記）。

FEFSのシステム最小構成と価格の例：総スループット性能1ギガバイト毎秒のファイルシステムを構築しようとする場合

構成：PRIMERGY×4台、ETERNUS×3台、FEFSライセンス
価格：約2143万円～

FEFSへのデータ移行の例

　ファイルシステムの統合を考えたとき、データ移行はどのように行えばいいか。以下に、その一例と利点について示す。

　FEFSは、従来のNFSサーバを使った構成に比べると、メリットが分かりやすいだろう。従来、PCクラスタのファイルシステムはNFS（ネットワークファイルシステム）で構成することが多かった。しかしNFSではPCクラスタのマシンそれぞれファイルサーバへとつながれていたため、大容量データの処理となると、NFSサーバに処理が一気に集中し、ファイル入出力のボトルネックが生じやすかった。

　FEFSではPCサーバとSAN対応ディスクアレイを組み合わせることで、分散して高速アクセスを実現できる。メタデータを分けて管理することで、ボトルネックはより発生しづらくなる。

　下図には、PCクラスタユーザーによく利用される上記のNFSや一般Lustreによるファイルシステムから、FEFSへ移行する例を示した。