1.FOCUSスパコンシステムの概要

目次(1. FOCUSスパコンシステムの概要)

1.    FOCUSスパコンシステムの概要
1.1.   システム構成
1.1.1.  システム概要図
1.1.2.  システム構成要素の特徴
1.2.   ハードウェア構成
1.2.1.  サーバ
1.3.   ソフトウェア構成
1.3.1.  オペレーティングシステム(OS)
1.3.2.  ソフトウェア
1.3.3.  アプリケーション
1.3.3.1. ライセンスが必要なアプリケーション(商用・有償)
1.3.3.2. フリーソフトウェア
1.3.3.3. アプリケーションに関するサポート
1.4.   製品マニュアル
1.5.   ディレクトリ構成
1.5.1.  共用フロントエンドサーバ
1.5.2.  演算ノード

▲このページの先頭へ

1. FOCUSスパコンシステムの概要

1.1. システム構成

 

1.1.1. システム概要図

 

▲このページの先頭へ

1.1.2. システム構成要素の特徴

FOCUSスパコンシステムを構成する要素について、特徴は以下の通りです。

・ファイアウォール
インターネットからの不正アクセスを防ぎます。各種ポートを塞いだり一方通行にしたり等のアクセス制御を行います。

・ウェブサーバシステム
FOCUSスパコンシステムの利用に関する情報を提供します。運用情報や予約状況等を表示します。

・ログインサーバシステム
インターネットからのSSHプロトコルを使用したログイン接続、ファイル転送の中継を行います。この計算機に一旦ログインしてから再度、フロントエンドサーバシステムにSSHでログイン、ファイル転送を行います。

・フロントエンドサーバシステム
FOCUSスパコンシステムを利用するための拠点となります。プロジェクト毎の専用のファイルシステムがマウントされ、利用者がログインし、プログラムの開発、ジョブ管理システムの利用、小規模な解析・デバッグ、小規模なプリポスト処理等を行います。
GPU NVIDIA Quadro P1000 を利用できるサーバもあります。

共用フロントエンドサーバの利用については 「2.1.1.3.共用フロントエンドサーバへの接続」に記載の 【共用フロントエンド利用についての注意点】をご確認ください。

・Aシステム  ノード間高並列演算指向
ノード内12コアを利用した共有メモリ並列から、Infiniband-QDR(40Gbps)で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列にご利用いただけます。

・Bシステム  プリポスト・大容量メモリ処理用
大容量共有メモリ(512GB)を備え、入力データを作成したり、計算した結果をディスク上から大規模共有メモリに読込んで高速にポスト処理を行ったりするためのシステムです。ノード内に16コアを備えております。

・Fシステム  ノード内並列/ノード間高並列演算兼用
ノード内40コアを利用した共有メモリ並列から、Infiniband-FDR(56Gbps)で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列にご利用いただけます。
GPU NVIDIA Tesla P100を利用できるノードもあります。

・Hシステム  ノード間高並列演算兼用
ノード内8コアを利用した共有メモリ並列から、10 Gigabit Ethernet (10Gbps) で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列にご利用いただけます。

・Qシステム  EPYC3搭載 ノード内高並列指向
EPYC3を搭載しており、ノード内64コアを利用した共有メモリ並列にご利用いただけます。
GPU NVIDIA A100を利用できるノードもあります。

・Rシステム  EPYC3搭載 ノード内/ノード間高並列演算兼用
EPYC3を搭載しており、ノード内32コアを利用した共有メモリ並列から、10 Gigabit Ethernet (10Gbps) で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列にご利用いただけます。

・Sシステム  EPYC4搭載 ノード内/ノード間高並列演算兼用
192コア搭載の物理マシンをいくつかの仮想マシン(VM)に分割して提供しています。
物理ノード間は 100 Gigabit Ethernet (100Gbps) で接続されています。

・Vシステム  ベクトルエンジン搭載システム
NEC製ベクトルエンジン「SX-Aurora TSUBASA Type 10B」をノード1台あたり1基搭載しております。また、ノード内20コアを利用した共有メモリ並列から、Infiniband-FDR(56Gbps)で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列にご利用いただけます。

・Wシステム  ベクトルエンジン搭載システム
NEC製ベクトルエンジン「SX-Aurora TSUBASA Type 10B」を8基搭載しております。また、ノード内40コアを利用した共有メモリ並列にご利用いただけます。

・Xシステム  A64FX搭載システム
『富岳』と同じFUJITSU製CPU「A64FX」を搭載しており、ノード内48コアを利用した共有メモリ並列から、Infiniband-EDR (100Gbps) で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列にご利用いただけます。

・Zシステム  ノード内/ノード間高並列演算兼用
ノード内40コアを利用した共有メモリ並列から、Infiniband-EDR(100Gbps)で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列にご利用いただけます。

・HPCIプリポスト  プリポスト・大容量メモリ処理用
大容量共有メモリ(1.5TB)を備え、入力データを作成したり、計算した結果をディスク上から大規模共有メモリに読込んで高速にポスト処理を行ったりするためのシステムです。GPU NVIDIA Quadro P4000も2基搭載しております。

・NASストレージシステム ホーム領域(/home1)
物理容量は440TBです。
/home1としてマウントされております。ユーザのホーム領域として課題毎に200GBの利用が可能です。通信帯域は全体で500MB/sです。通信帯域はFOCUSスパコン全利用者にて共有しているため、I/O性能は自身も含めた全ユーザのI/O状況に依存します。

・大容量分散高速ストレージシステム ホーム兼ワーク領域(/home3)
物理容量は522TBです。
/home3としてマウントされています。ユーザのホーム兼ワーク領域として、初期値では課題毎に10GBが無償で割り当てられています。
年度または月単位・10GB単位の有償契約により容量を追加/削減することが可能です。契約容量を削減し、実利用量が契約容量を上回っている場合は利用分課金されます(10GB単位)のでご留意ください。通信帯域は全体で11GB/s、プロセスあたり最大1GB/sです。分散ファイルシステムであり、上記NASストレージシステムと比べて22倍の通信帯域となっておりますので、大規模並列計算の複数プロセスによるI/Oに適しております。

▲このページの先頭へ

1.2. ハードウェア構成

1.2.1. サーバ

・Aシステム

ハードウェア 富士通 BX922 S2
CPU Intel Xeon L5640(2.26GHz) ×2CPU(計12コア)/ノード
メモリ 48 GB/ノード
インタフェース Infiniband-QDR(40Gbps)×1/ノード
ターボブースト OFF

・Bシステム

ハードウェア 富士通製RX600 S5
CPU Intel Xeon E7520(1.86GHz) ×4CPU(計16コア)/ノード
メモリ 512 GB/ノード
インタフェース Infiniband-QDR(40Gbps)×1/ノード
ターボブースト 未対応

・Fシステム

ハードウェア 富士通製CX2550M2
CPU Intel Xeon E5-2698v4 (2.2GHz) ×2CPU(計40コア)/ノード
GPU NVIDIA Tesla P100 16GB ×1/ノード (2 ノードのみ搭載)
メモリ 128 GB/ノード
インターフェース Infiniband-FDR(56Gbps)×1/ノード
ターボブースト ON

・Hシステム

ハードウェア NEC DX2000 サーバモジュール
CPU Intel Xeon D-1541 (2.10GHz) ×1CPU(計8 コア)/ノード
メモリ 64 GB/ノード
インターフェース 10 Gigabit Ethernet(10Gpbs)×1/ノード
ターボブースト ON

・Qシステム

ハードウェア DELL PowerEdge R6515
CPU AMD EPYC 7713 (2.0GHz) ×1CPU(計64コア)/ノード
メモリ 512 GiB/ノード
インターフェース 10 Gigabit Ethernet(10Gpbs)×1/ノード

・Qシステム(GPU搭載)

ハードウェア DELL PowerEdge R7525
CPU AMD EPYC 7543 (2.8GHz) ×2CPU(計64コア)/ノード
GPU NVIDIA A100 80GB PCIe ×2/ノード (1 ノードのみ搭載)
メモリ 512 GiB/ノード
インターフェース 10 Gigabit Ethernet(10Gpbs)×1/ノード

・Rシステム

ハードウェア DELL PowerEdge R6515
CPU AMD EPYC 7543P (2.8GHz) ×1CPU(計32コア)/ノード
メモリ 256 GiB/ノード
インターフェース 10 Gigabit Ethernet(10Gpbs)×1/ノード

・Vシステム

ハードウェア NEC SX-Aurora TSUBASA A300-2
CPU Intel Xeon Gold6148 (2.4GHz) ×1CPU(計20コア)/ノード
ベクトルエンジン SX-Aurora TSUBASA Type10B (48GB) ×1/ノード
メモリ 96 GB/ノード
インターフェース Infiniband-FDR(56Gbps)×1/ノード
ターボブースト ON

・Wシステム

ハードウェア NEC SX-Aurora TSUBASA A300-8
CPU Intel Xeon Gold6148 (2.4GHz) ×2CPU(計40コア)/ノード
ベクトルエンジン SX-Aurora TSUBASA Type10B (48GB) ×8/ノード
メモリ 192 GB/ノード
インターフェース Infiniband-EDR (100Gbps) ×1/ノード
ターボブースト ON

・Xシステム

ハードウェア 富士通 PRIMEHPC FX700
CPU FUJITSU A64FX (1.8GHz) ×1CPU(計48コア)/ノード
メモリ 32 GB/ノード
インターフェース Infiniband-EDR (100Gbps) ×1/ノード

・Zシステム

ハードウェア 富士通製CX2560M5
CPU Intel Xeon Gold 6230 (2.10GHz) x2CPU(計40コア)/ノード
メモリ 192 GB/ノード
インターフェース Infiniband-EDR (100Gbps) ×1/ノード

・HPCIプリポスト

ハードウェア 富士通製RX2540 M4
CPU Intel Xeon Silver 4112(2.60GHz) ×2CPU(計8 コア)/ノード
GPU NVIDIA Quadro P4000 x2/ノード
メモリ 1,536 GB/ノード
インターフェース Infiniband-FDR(56Gbps)×1/ノード
ターボブースト ON

・共用フロントエンドサーバ

ハードウェア Intel R2308GZ4GC (HPC専用 2Uラックマウント型サーバ)
CPU Intel Xeon E5-2680 v2 (2.8GHz) ×2CPU(計20コア)/ノード
コプロセッサ Intel Xeon Phi 5110P x 1基(計60コア)/ノード
メモリ 64 GB/ノード

・GPU 搭載共用フロントエンド

ハードウェア uniV UNI-i7GH
CPU Intel Core i7 7700K (4.2GHz) ×1CPU(計4 コア)/ノード
GPU NVIDIA Quadro P1000 4GB ×1/ノード
メモリ 64 GB/ノード

・ベクトルエンジン搭載共用フロントエンド

ハードウェア NEC SX-Aurora TSUBASA A100-1
CPU Intel Xeon Silver 4108(1.8GHz) ×1CPU(計8 コア)/ノード
ベクトルエンジン SX-Aurora TSUBASA Type 10C ×1/ノード
メモリ 96 GB/ノード

・インターネット高速転送サーバ
ハードウェアをログインサーバと共用します。

・ログインサーバ
2ノードによる構成です。インターネット高速転送サーバとハードウェアを共用します。

▲このページの先頭へ

1.3. ソフトウェア構成

1.3.1. オペレーティングシステム(OS)

各システムで採用するオペレーティングシステム(OS)を示します。

表 1.3.1 オペレーティングシステム(OS)

システム名 オペレーティングシステム(OS)
ログインサーバ CentOS 7.8 (x86_64)
共用フロントエンドサーバ Red Hat Enterprise Linux 7.9 (x86_64)
GPU 搭載フロントエンドサーバ CentOS 7.9 (x86_64)
VPU 搭載フロントエンドサーバ CentOS 7.7 (x86_64)
演算ノード (A,B,F,H,Q,R,S,Zシステム) CentOS 7.9 (x86_64)
演算ノード (Vシステム) CentOS 7.3 (x86_64)
演算ノード (Wシステム) CentOS 7.7 (x86_64)
演算ノード (Xシステム) CentOS 8.1 (aarch64)
HPCIプリポスト CentOS 7.9 (x86_64)

▲このページの先頭へ

1.3.2. ソフトウェア

FOCUSスパコンシステムで利用可能な主なソフトウェアは「動作確認済アプリケーションソフトウェア一覧」に公開しています。
共用領域に「○」があるものは、/home1/share に導入済みです。導入済みの各ソフトウェアのバージョンはFOCUSスパコンにログインし、
/home1/share/[ソフトウェア名]/ をご確認ください。
また、FOCUSスパコン利用ポータルサイト(要・SSL-VPN接続)に導入情報を随時掲載しています。

▲このページの先頭へ

1.3.3. アプリケーション

/home1/share/にインストールしたアプリケーション、数値計算ライブラリ等はご自由に利用ください。FOCUSスパコン上で動作検証済みの商用・有償アプリケーション(Gaussian、MIZHO/BioStation 以外)は、ソフトウェアベンダーからライセンスを取得して頂きましてご利用いただけます。その他フリーソフト等、各利用者がホームディレクトリ配下に独自にインストールしたものが利用可能です。

1.3.3.1.フリーソフトウェア

/home1/shareにインストールされているアプリケーション、ライブラリ等は自由に使っていただくことができます。しかしながら当該アプリケーションのご利用にあたってはFOCUSによるサポートはありません。
利用者あるいはグループとしてFOCUSスパコンに未導入のフリーソフトウェアを利用されたい場合は、各アカウントのホームディレクトリやグループ共用のホーム領域(/home1/グループ名/share)に自由にインストールして利用して頂いてかまいません。基本的にFOCUSからのサポートはありません。

▲このページの先頭へ

1.3.3.2.アプリケーションに関するサポート

FOCUSスパコンに導入した商用ソフトウエアのサポートは、各ソフトウェアベンダーが行っています。
提供されているサポートサービスについては、以下をご参照ください。

公益財団法人 計算科学振興財団 > FOCUSスパコン > 利用サポート
「アプリケーションに関するサポート」
http://www.j-focus.or.jp/focus/support.html#h17285

▲このページの先頭へ

1.4. 製品マニュアル

FOCUSスパコン利用ポータルサイトから製品マニュアルを閲覧できます。下記のURLからアクセスしてご覧ください。アクセスにはSSL-VPN接続が必要です。

〔URL〕https://portal.j-focus.jp/focus/app/

表 1.4 マニュアル一覧

関連製品名 マニュアル名称 形式
インテル® Paralle Studio XE 2016 リリースノート PDF  
インテル Parallel Studio XE 2016 入門ガイド PDF  
インテル® Paralle Studio XE Cluster Edition関連ドキュメント インテル CilkPlus ユーザーズガイド PDF  
コンパイラー OpenMP 入門 PDF  
OpenMP 3.0 C/C++構文の概要 PDF  
インテル OpenMP 互換ライブラリー 利用ガイド PDF  
コンパイラー最適化 クイック・リファレンス・ガイド PDF  
インテル® Parallel Studion XE 2016 Composer Edition for C++ Linux インテル コンパイラーリリースノート PDF  
インテル C++ コンパイラーのベクトル化ガイド PDF  
インテル C/C++ コンパイラー OpenMP 活用ガイド PDF  
インテル® Parallel Studion XE 2016 Composer Edition for Fortran Linux インテル Fortran ライブラリー・リファレンス PDF  
インテル Fortran コンパイラー OpenMP 活用ガイド PDF  
インテル® MPI ライブラリー リファレンス・マニュアル PDF  
ユーザーズガイド PDF  
リリースノート PDF  
インテル® Trace Analyzer & Collector チュートリアル: MPI Perfomance Snapshot で MPI アプリケーションを解析する PDF  
チュートリアル: MPI アプリケーションの解析 PDF  
リリースノート PDF  
インテル® MKL ユーザーズガイド HTML  
インテル MKL クックブック PDF  
チュートリアル(C++) HTML  
チュートリアル(Fortran) HTML  
インテル® IPP ユーザーズガイド HTML  
チュートリアル HTML  
インテル® TBB リリースノート TXT  
ユーザーガイド&リファレンス・マニュアル HTML  
チュートリアル HTML  
インテル® DAAL ゲッティング・スタート HTML  
プログラミング・ガイド HTML  
インテル® VTune Amplifier XE パフォーマンス解析入門ガイド PDF  
リリースノート PDF  
チュートリアル HTML  
インテル® Inspector XE リリースノート PDF  
SLURM 15.08 Documentation HTML  
MIZUHO / ABNIT-MP 利用マニュアル PDF  

▲このページの先頭へ

1.5. ディレクトリ構成

ご利用の形態やソフトウェア、ジョブの特性によってディレクトリ(ストレージシステム)を使い分けていただくようお願い致します。

1.5.1.共用フロントエンドサーバ

共用フロントエンドサーバのディレクトリ構成は下表のとおりです。

表1.5.1 ディレクトリ構成(共用フロントエンドサーバ)

ディレクトリパス 利用目的
/home1/グループ名/アカウント名 ホームディレクトリ
/home1/グループ名 グループ共用のホーム領域。容量は課題(グループ)あたり200GB
/home1/グループ名/share グループで共用するソフトウェアを格納するための領域
/home3/グループ名 グループ共用の追加ストレージ領域
/home1/グループ名/アカウント名/skeed
または
/home3/グループ名/アカウント名/skeed
インターネット高速転送システムでデータ授受を行う場合に使用。専用ソフトウェアでは”/”と表示される。
/home1/share システム全体で共用するソフトウェアを格納

※グループ名は「g」+“課題ID”、アカウント名は「u」+“課題名”+数字4桁です。
(参考)
/home1 NASストレージシステム(書込み性能 全体で500MB/s)
/home3 分散ファイルシステム(書込み性能 全体で11GB/s、1プロセスあたり最大1GB/s)

▲このページの先頭へ

1.5.2.演算ノード

演算ノードのディレクトリ構成は下表のとおりです。

表1.5.2 ディレクトリ構成(演算ノード)

ディレクトリパス 利用目的
/work スクラッチディレクトリ(演算ノードのローカルディスク)

各システムの /work で利用できる容量は以下です。

システム /work利用可能量 [GB](おおよそ)
A 400
B 400
F 870
F(GPU搭載) 870
H 420
Q 690
Q(GPU搭載) 690
R 690
S(32コア) 200
S(92コア) 750
V 190
W 160
X 400
Z 930
HPCIプリポスト 490

※演算ノードにログインすることはありません。
(参考)/workの書込み性能は各システムにより異なります。
実測値は「付録A.FOCUSスパコンシステム各種サーバ・ストレージ概要」をご参照ください。

 

▲このページの先頭へ