1.FOCUSスパコンシステムの概要

目次(1. FOCUSスパコンシステムの概要)

1.    FOCUSスパコンシステムの概要
1.1.   システム構成
1.1.1.  システム概要図
1.1.2.  システム構成要素の特徴
1.2.   ハードウェア構成
1.2.1.  サーバ
1.3.   ソフトウェア構成
1.3.1.  オペレーティングシステム(OS)
1.3.2.  ソフトウェア
1.3.3.  アプリケーション
1.3.3.1. ライセンスが必要なアプリケーション(商用・有償)
1.3.3.2. フリーソフトウェア
1.3.3.3. アプリケーションに関するサポート
1.4.   製品マニュアル
1.5.   ディレクトリ構成
1.5.1.  共用フロントエンドサーバ
1.5.2.  演算ノード

▲このページの先頭へ

1. FOCUSスパコンシステムの概要

1.1. システム構成

 

1.1.1. システム概要図

▲このページの先頭へ

1.1.2. システム構成要素の特徴

FOCUSスパコンシステムを構成する要素について、特徴は以下の通りです。

・ファイアウォール
インターネットからの不正アクセスを防ぎます。各種ポートを塞いだり一方通行にしたり等のアクセス制御を行います。

・ウェブサーバシステム
FOCUSスパコンシステムの利用に関する情報を提供します。運用情報や予約状況等を表示します。

・ログインサーバシステム
インターネットからのSSHプロトコルを使用したログイン接続、ファイル転送の中継を行います。この計算機に一旦ログインしてから再度、フロントエンドサーバシステムにSSHでログイン、ファイル転送を行います。

・フロントエンドサーバシステム
FOCUSスパコンシステムを利用するための拠点となります。プロジェクト毎の専用のファイルシステムがマウントされ、利用者がログインし、プログラムの開発、ジョブ管理システムの利用、小規模な解析・デバッグ、小規模なプリポスト処理等を行います。
GPU NVIDIA Quadro P1000 を利用できるサーバもあります。

共用フロントエンドサーバの利用については 「2.1.1.3.共用フロントエンドサーバへの接続」に記載の 【共用フロントエンド利用についての注意点】をご確認ください。

・Aシステム  ノード間高並列演算指向
ノード内12コアを利用した共有メモリ並列から、Infiniband-QDR(40Gbps)で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。

・Bシステム  プリポスト・大容量メモリ処理用
大容量共有メモリ(512GB)を備え、入力データを作成したり、計算した結果をディスク上から大規模共有メモリに読込んで高速にポスト処理を行ったりするためのシステムです。ノード内に16コアを備えております。

・Dシステム  ノード内並列/ノード間高並列演算兼用
ノード内20コアを利用した共有メモリ並列から、Infiniband-FDR(56Gbps)で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。

・Eシステム  コプロセッサ搭載システム
インテル製 「Xeon Phi 5110P」(1基あたり60コア)をノード1台あたり4基(60×4=240コア)、合計192基を搭載しております。また、ノード内20コアを利用した共有メモリ並列から、Infiniband-FDR(56Gbps)で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。

・Fシステム  ノード内並列/ノード間高並列演算兼用
ノード内40コアを利用した共有メモリ並列から、Infiniband-FDR(56Gbps)で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。
GPU NVIDIA Tesla P100を利用できるノードもあります。

・Gシステム  コプロセッサ搭載システム
インテル製 「Xeon Phi 5110P」(1基あたり60コア)をノード1台あたり1基搭載しております。また、ノード内12コアを利用した共有メモリ並列から、10 Gigabit Ethernet (10Gbps) で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。

・Hシステム  ノード間高並列演算兼用
ノード内8コアを利用した共有メモリ並列から、10 Gigabit Ethernet (10Gbps) で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。

・Vシステム  ベクトルエンジン搭載システム
NEC製ベクトルエンジン「SX-Aurora TSUBASA Type 10B」をノード1台あたり1基搭載しております。また、ノード内20コアを利用した共有メモリ並列から、Infiniband-FDR(56Gbps)で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用いただけます。

・HPCIプリポスト  プリポスト・大容量メモリ処理用
大容量共有メモリ(1.5TB)を備え、入力データを作成したり、計算した結果をディスク上から大規模共有メモリに読込んで高速にポスト処理を行ったりするためのシステムです。GPU NVIDIA Quadro P4000も2基搭載しております。

・NASストレージシステム ホーム領域(/home1)
物理容量は360TBです。
/home1としてマウントされております。ユーザーのホーム領域として課題毎に200GBの利用が可能です。通信帯域は全体で500MB/sです。通信帯域はFOCUSスパコン全利用者にて共有しているため、I/O性能は自身も含めた全ユーザのI/O状況に依存します。

・大容量分散高速ストレージシステム ホーム兼ワーク領域(/home2)
物理容量は1640TBです。
/home2としてマウントされています。ユーザのホーム兼ワーク領域となり、利用には追加契約が必要となります。月単位・10GB単位で容量を追加/削減することが可能です。契約容量を削減し、実利用量が契約容量を上回っている場合は利用分課金されます(10GB単位)のでご留意ください。通信帯域は全体で11GB/s、プロセスあたり最大1GB/sです。分散ファイルシステムであり、上記NASストレージシステムと比べて22倍の通信帯域となっておりますので、大規模並列計算の複数プロセスによるI/Oに適しております。

▲このページの先頭へ

1.2. ハードウェア構成

1.2.1. サーバ

・Aシステム

ハードウェア 富士通 BX922 S2
CPU Intel Xeon L5640(2.26GHz) ×2CPU(計12コア)/ノード
メモリ 48 GB/ノード
インタフェース Infiniband-QDR(40Gbps)×1/ノード
ターボブースト OFF

・Bシステム

ハードウェア 富士通製RX600 S5
CPU Intel Xeon E7520(1.86GHz) ×4CPU(計16コア)/ノード
メモリ 512 GB/ノード
インタフェース Infiniband-QDR(40Gbps)×1/ノード
ターボブースト 未対応

・Dシステム

ハードウェア Cray H2312WFFKR (HPC専用 2Uラックマウント型 ブレードサーバ)
CPU Intel Xeon E5-2670 v2 (2.5GHz) ×2CPU(計20コア)/ノード
メモリ 64 GB/ノード
インターフェース Infiniband-FDR(56Gbps)×1/ノード
ターボブースト ON

・Eシステム

ハードウェア Cray GreenBlade GB824X (HPC専用 ブレード型サーバ)
CPU Intel Xeon E5-2670 v2 (2.5GHz) ×2CPU(計20コア)/ノード
コプロセッサ Intel Xeon Phi 5110P ×4基(計240コア)/ノード
メモリ 128 GB/ノード
インターフェース Infiniband-FDR(56Gbps)×1/ノード
ターボブースト ON

・Fシステム

ハードウェア 富士通製CX2550M2
CPU Intel Xeon E5-2698v4 (2.2GHz) ×2CPU(計40コア)/ノード
GPU NVIDIA Tesla P100 16GB ×1/ノード (2 ノードのみ搭載)
メモリ 128 GB/ノード
インターフェース Infiniband-FDR(56Gbps)×1/ノード
ターボブースト ON

・Gシステム

ハードウェア NEC Express5800/HR120a-1
CPU Intel Xeon E5-2640 (2.5GHz) ×2CPU(計12コア)/ノード
コプロセッサ Intel Xeon Phi 5110P ×1基(計 60コア)/ノード
メモリ 64 GB/ノード
インターフェース 10 Gigabit Ethernet(10Gpbs)×1/ノード
ターボブースト ON

・Hシステム

ハードウェア NEC DX2000 サーバモジュール
CPU Intel Xeon D-1541 (2.10GHz) ×1CPU(計8 コア)/ノード
メモリ 64 GB/ノード
インターフェース 10 Gigabit Ethernet(10Gpbs)×1/ノード
ターボブースト ON

・Vシステム

ハードウェア NEC SX-Aurora TSUBASA A300-2
CPU Intel Xeon Gold6148 (2.4GHz) ×1CPU(計20コア)/ノード
ベクトルエンジン SX-Aurora TSUBASA Type10B x1/ノード
メモリ 96 GB/ノード
インターフェース Infiniband-FDR(56Gbps)×1/ノード
ターボブースト ON

・HPCIプリポスト

ハードウェア 富士通製RX2540 M4
CPU Intel Xeon Silver 4112(2.60GHz) ×2CPU(計8 コア)/ノード
GPU NVIDIA Quadro P4000 x2/ノード
メモリ 1,536 GB/ノード
インターフェース Infiniband-FDR(56Gbps)×1/ノード
ターボブースト ON

・共用フロントエンドサーバ

ハードウェア Intel R2308GZ4GC (HPC専用 2Uラックマウント型サーバ)
CPU Intel Xeon E5-2680 v2 (2.8GHz) ×2CPU(計20コア)/ノード
コプロセッサ Intel Xeon Phi 5110P x 1基(計60コア)/ノード
メモリ 64 GB/ノード

・GPU 搭載共用フロントエンド

ハードウェア uniV UNI-i7GH
CPU Intel Core i7 7700K (4.2GHz) ×1CPU(計4 コア)/ノード
GPU NVIDIA Quadro P1000 4GB ×1/ノード
メモリ 64 GB/ノード

・ベクトルエンジン搭載共用フロントエンド

ハードウェア NEC SX-Aurora TSUBASA A100-1
CPU Intel Xeon Silver 4108(1.8GHz) ×1CPU(計8 コア)/ノード
ベクトルエンジン SX-Aurora TSUBASA Type 10C ×1/ノード
メモリ 96 GB/ノード

・インターネット高速転送サーバ
IBM Sytem x3550M4で構成され、ハードウェアをログインサーバと共用します。

・ログインサーバ
IBM System x3550M4 2ノードによる構成です。うち一台は、インターネット高速転送サーバとハードウェアを共用します。

▲このページの先頭へ

1.3. ソフトウェア構成

1.3.1. オペレーティングシステム(OS)

各システムで採用するオペレーティングシステム(OS)を示します。

表 1.3.1 オペレーティングシステム(OS)

システム名 オペレーティングシステム(OS)
ログインサーバ CentOS 6.6 (64bit版)
共用フロントエンドサーバ Red Hat Enterprise Linux 6.6 (64bit版)
GPU 搭載フロントエンドサーバ CentOS 6.9 (64bit版)
演算ノード (A,B,C,D,E,Gシステム) CentOS 6.6 (64bit版)
演算ノード (F,Hシステム) CentOS 6.8 (64bit版)

▲このページの先頭へ

1.3.2. ソフトウェア

FOCUSスパコンシステムで利用可能な主なソフトウェアの一覧を示します。
表 1.3.2 ソフトウェア一覧

ソフトウェア フロントエンドサーバ 演算ノード
ジョブスケジューラ
Slurm Workload Manager 17.02.10
開発環境(コンパイラ)
インテル(R) Parallel Studio XE 2016 Cluster Edition Update 2
インテル(R) Parallel Studio XE 2017 Cluster Edition Update 1
インテル(R) Parallel Studio XE 2017 Cluster Edition Update 6
インテル(R) Parallel Studio XE 2018 Cluster Edition Update 3
GNU 4.4.7
GNU 6.3.0
ソフトウェア
Java SDK 1.8.0_172
Emacs 23.1.1
vim 7.2
OpenMPI 1.10.7
OpenMPI 2.1.1
OpenMPI 2.1.3
OpenMX 3.7.6
OpenMX 3.8.1
GAMESS May 1, 2013
GAMESS Aug 18, 2016
ABINIT-MP 4.1
ABINIT-MP 6.0
ABINIT-MP 7.0
NAMD 2.9
GROMACS 4.6.5
GROMACS 2018.4
LAMMPS 28Jun14
LAMMPS 30Jul16
Quantum ESPRESSO 5.0.2
Quantum ESPRESSO 5.2.1
Quantum ESPRESSO 6.1
OpenFOAM 2.4.x
OpenFOAM 3.0.0
OpenFOAM 4.0
OpenFOAM v1806
ParaView 4.0.1
gnuplot 5.2.6
Octave 3.6.4
Pov-Ray 3.6.1
R 3.3.2
GLview 20131211
AutoDock Vina 1.1.2
NTChem 2013.9.0
GNU Scientific Library 2.5
cmake 3.12.1
Python 2.7.12
Python 3.5.2
FDPS 1.1

▲このページの先頭へ

1.3.3. アプリケーション

/home1/share/にインストールしたアプリケーション、数値計算ライブラリ等はご自由に利用ください。FOCUSスパコン上で動作検証済みの商用・有償アプリケーション(Gaussian、MIZHO/BioStation 以外)は、ソフトウェアベンダーからライセンスを取得して頂きまして利用頂けます。その他フリーソフト等、各利用者がホームディレクトリ配下に独自にインストールしたものが利用可能です。

1.3.3.1.ライセンスが必要なアプリケーション(商用・有償)

a)コンパイラ

Intelコンパイラは、導入済みのライセンスがありますので、使用していただくことができます。 (ただしまれに同時にご使用の方が多いタイミングで、導入しておりますライセンス数を越えてしまい、ご使用のためのライセンスがありませんというエラーが出ることがありますが、そのような場合はしばらく時間を置いてご利用下さい。)

b)Gaussian、MIZUHO/BioStation

Gaussian や MIZUHO/BioStation をFOCUSスパコンで利用する場合は、ライセンスを準備する必要はありませんが、演算ノードの利用料とは別にノード時間に応じて利用料がかかります。これらアプリケーションの利用を希望するユーザは、OKBiz( https://secure.okbiz.okwave.jp/focus/ )より利用希望する旨連絡してください。

c)上記以外の商用・有償ソフトウェア

上記以外の商用・有償ソフトウェアをFOCUSスパコンで利用する場合は、各アプリケーションのベンダーに問い合わせて下さい。(FOCUSスパコンに未導入の商用ソフトウェアを利用されたい場合は、各ソフトウェアベンダーにFOCUSスパコンで使用したいとご相談下さい。)

▲このページの先頭へ

1.3.3.2.フリーソフトウェア

/home1/shareにインストールされているアプリケーション、ライブラリ等は自由に使っていただくことができます。しかしながら当該アプリケーションのご利用にあたってはFOCUSによるサポートはありません。
利用者あるいはグループとしてFOCUSスパコンに未導入のフリーソフトウェアを利用されたい場合は、各アカウントのホームディレクトリやグループ共用のホーム領域(/home1/グループ名/share)に自由にインストールして利用して頂いてかまいません。基本的にFOCUSからのサポートはありません。

▲このページの先頭へ

1.3.3.3.アプリケーションに関するサポート

FOCUSスパコンに導入した商用ソフトウエアのサポートは、各ソフトウェアベンダーが行っています。
提供されているサポートサービスについては、以下をご参照ください。

公益財団法人 計算科学振興財団 > FOCUSスパコン > 利用サポート
「アプリケーションに関するサポート」
http://www.j-focus.or.jp/focus/support.html#h17285

▲このページの先頭へ

1.4. 製品マニュアル

FOCUSスパコン利用ポータルサイトから製品マニュアルを閲覧できます。下記のURLからアクセスしてご覧ください。アクセスにはSSL-VPN接続が必要です。

〔URL〕https://portal.j-focus.jp/focus/app/

表 1.4 マニュアル一覧

関連製品名 マニュアル名称 形式
インテル® Paralle Studio XE 2016 リリースノート PDF
インテル Parallel Studio XE 2016 入門ガイド PDF
インテル® Paralle Studio XE Cluster Edition関連ドキュメント インテル CilkPlus ユーザーズガイド PDF
コンパイラー OpenMP 入門 PDF
OpenMP 3.0 C/C++構文の概要 PDF
インテル OpenMP 互換ライブラリー 利用ガイド PDF
コンパイラー最適化 クイック・リファレンス・ガイド PDF
インテル® Parallel Studion XE 2016 Composer Edition for C++ Linux インテル コンパイラーリリースノート PDF
インテル C++ コンパイラーのベクトル化ガイド PDF
インテル C/C++ コンパイラー OpenMP 活用ガイド PDF
インテル® Parallel Studion XE 2016 Composer Edition for Fortran Linux インテル Fortran ライブラリー・リファレンス PDF
インテル Fortran コンパイラー OpenMP 活用ガイド PDF
インテル® MPI ライブラリー リファレンス・マニュアル PDF
ユーザーズガイド PDF
リリースノート PDF
インテル® Trace Analyzer & Collector チュートリアル: MPI Perfomance Snapshot で MPI アプリケーションを解析する PDF
チュートリアル: MPI アプリケーションの解析 PDF
リリースノート PDF
インテル® MKL ユーザーズガイド HTML
インテル MKL クックブック PDF
チュートリアル(C++) HTML
チュートリアル(Fortran) HTML
インテル® IPP ユーザーズガイド HTML
チュートリアル HTML
インテル® TBB リリースノート TXT
ユーザーガイド&リファレンス・マニュアル HTML
チュートリアル HTML
インテル® DAAL ゲッティング・スタート HTML
プログラミング・ガイド HTML
インテル® VTune Amplifier XE パフォーマンス解析入門ガイド PDF
リリースノート PDF
チュートリアル HTML
インテル® Inspector XE リリースノート PDF
SLURM 15.08 Documentation HTML
MIZUHO / ABNIT-MP 利用マニュアル PDF

▲このページの先頭へ

1.5. ディレクトリ構成

ご利用の形態やソフトウェア、ジョブの特性によってディレクトリ(ストレージシステム)を使い分けていただくようお願い致します。

1.5.1.共用フロントエンドサーバ

共用フロントエンドサーバのディレクトリ構成は下表のとおりです。

表1.5.1 ディレクトリ構成(共用フロントエンドサーバ)

ディレクトリパス 利用目的
/home1/グループ名/アカウント名 ホームディレクトリ
/home1/グループ名 グループ共用のホーム領域。容量は課題(グループ)あたり200GB
/home1/グループ名/share グループで共用するソフトウェアを格納するための領域
/home2/グループ名 グループ共用の追加ストレージ領域
/home1/グループ名/アカウント名/skeed
または
/home2/グループ名/アカウント名/skeed
インターネット高速転送システムでデータ授受を行う場合に使用。専用ソフトウェアでは”/”と表示される。
/home1/share システム全体で共用するソフトウェアを格納

※グループ名は「g」+“課題ID”、アカウント名は「u」+“課題名”+数字4桁です。
(参考)
/home1 NASストレージシステム(書込み性能 全体で500MB/s)
/home2 分散ファイルシステム(書込み性能 全体で11GB/s、1プロセスあたり最大1GB/s)

▲このページの先頭へ

1.5.2.演算ノード

演算ノードのディレクトリ構成は下表のとおりです。

表1.5.2 ディレクトリ構成(演算ノード)

ディレクトリパス 利用目的
/work スクラッチディレクトリ(演算ノードのローカルディスク)

※演算ノードにログインすることはありません。
(参考)/workの書込み性能は各システムにより異なります。
実測値は「付録A.FOCUSスパコンシステム各種サーバ・ストレージ概要」をご参照ください。

▲このページの先頭へ