FOCUSスパコンは平成23年4月より共用を開始し、「産業界向けのスパコン」として活用されています。
本章では、ハードウェア構成等FOCUSスパコンの概要をまとめております。
1-1 システム概要図
1-2 演算ノード
| ノード数 | CPU、GPU、VPU | 理論演算性能(GFlops) | コア数 | メモリ(GB) | ローカルディスク容量 (GB) | ノード間ネットワーク | |
|---|---|---|---|---|---|---|---|
| Aシステム | 208 | 2.26GHz (Xeon L5640) | 108 | 12 | 48 | 500 | IB-QDR 40Gbps |
| Bシステム | 2 | 1.86GHz (Xeon E7520) | 119 | 16 | 512 | 1200 | IB-QDR 40Gbps |
| Dシステム | 80 | 2.50GHz (Xeon E5-2670v2) | 400 | 20 | 64 | 6000 | IB-FDR 56Gbps |
| Eシステム | 48 | 2.50GHz (Xeon E5-2670v2) | 400 | 20 | 128 | 2000 | IB-FDR 56Gbps |
| Xeon Phi 5110P-1.053GHz | 4044 ※1 | 240 ※2 | |||||
| Fシステム | 62 | 2.20GHz (Xeon E5-2698v4) | 1152 | 40 | 128 | 2000 (HDD) 64 (SSD) | IB-FDR 56Gbps |
| （うち2） | Tesla P100 GPU | 4.7TF ※3 | ( -- ) | ||||
| Gシステム | 4 | 2.5GHz (Xeon E5-2640) | 240 | 12 | 64 | 1000 | 10GbE |
| Xeon Phi 5110P-1.053GHz | 1011 ※1 | 60 ※2 | |||||
| Hシステム | 136 | 2.10GHz (Xeon D-1541) | 205 | 8 | 64 | 512 (SSD) | 10GbE×2 (シャーシ間10GbE×4) |
| Vシステム | 2 | 2.40GHz (Xeon Gold 6148) | 1024 | 20 | 96 | 240 (SSD) | IB-FDR 56Gbps |
| SX-Aurora TSUBASA Type 10B | 2150 | 8 | 48 | ||||
| HPCIプリポスト システム | 1 | 2.6GHz (Xeon Silver 4112) Quadro P4000 2基 | 282 | 8 | 1,536 | 600 | - |
1-3 システム概要
| OS | 演算ノード (A,B,C,D,E,G) | CentOS 6.6 (Linux Kernel 2.6.32-504.8.1.el6) |
| 演算ノード (F,H) | CentOS 6.8 (Linux Kernel 2.6.32-642.4.2.el6) | |
| 共用フロントエンドサーバ | Red Hat Enterprise Linux 6.6 | |
| 開発環境 | GCC, Intel Parallel Studio XE （FORTRAN, C, C++等） |
|
| ジョブ管理システム | SLURM ベースのシステム （「京」とコマンドラインオプション互換） |
|
1-4 共用キュー一覧
計算資源の従量利用は共有キューへジョブを投入してください。
| キュー名 | 実行システム | 最長実行時間 | 最大同時ジョブ投入数 | 最大ノード数 (※1) | ジョブあたり最大ノード数 (※1) | 備考 |
|---|---|---|---|---|---|---|
| a024h | A | 24時間 | 2000/利用者 | 208 | 208 | |
| a168h | A | 168時間 | 2000/利用者 | 32 | 32 | |
| b024h | B | 24時間 | 2000/利用者 | 2 | 2 | |
| b168h | B | 168時間 | 2000/利用者 | 1 | 1 | |
| d024h | D | 24時間 | 2000/利用者 | 80 | 80 | 下記(4)参照 |
| d168h | D | 168時間 | 2000/利用者 | 40 | 40 | 下記(4)参照 |
| e168h | E | 168時間 | 2000/利用者 | 24 | 24 | ※3, Phi１基, 下記(5)参照 |
| f024h | F | 24時間 | 2000/利用者 | 60 | 60 | |
| f072h | F | 72時間 | 2000/利用者 | 32 | 32 | |
| f072h_p100 | F | 72時間 | 2000/利用者 | 2 | 2 | GPU搭載 |
| h024h | H | 24時間 | 2000/利用者 | 136 | 136 | |
| h072h | H | 72時間 | 2000/利用者 | 102 | 102 | |
| v024h | V | 24時間 | 2000/利用者 | 2 | 2 | |
| v072h | V | 72時間 | 2000/利用者 | 2 | 2 | |
| p072h | HPCIプリポスト | 72時間 | 3/利用者 | 1 | 1 | 無償 |
| a006m | A | 6分 | 5/利用者 | 2 | 2 | ※2 |
| b006m | B | 6分 | 5/利用者 | 2 | 2 | ※2 |
| d006m | D | 6分 | 5/利用者 | 2 | 2 | ※2, 下記(4)参照 |
| e006m | E | 6分 | 5/利用者 | 2 | 2 | ※2, ※3, Phi１基, 下記(5)参照 |
| f006m | F | 6分 | 5/利用者 | 2 | 2 | ※2, GPU搭載 |
| g006m | G | 6分 | 5/利用者 | 4 | 4 | ※2, 下記(3)参照 |
| h006m | H | 6分 | 5/利用者 | 4 | 4 | ※2 |
| v006m | V | 6分 | 5/利用者 | 2 | 2 | ※2 |
- 予約状況や混雑状況等により、変更する場合があります。
- デバッグキューです。計算資源利用料金は発生しません。デバッグ(ソフトウェアの動作検証等)にご利用ください。なお、FOCUS スパコン従量利用ソフトウェア(Gaussian09 等)を実行した場合、計算資源利用料金は発生しませんが、ソフトウェア利用料金は発生します。
- 全ノード停止中のため利用を希望される場合はOKBiz(https://secure.okbiz.okwave.jp/focus/)にて技術質問からご相談ください。
- 実際に本システムを利用する際には、
sinfo -sコマンドで利用できるキュー名を確認して下さい。 - キューのノード実行状況を確認する際には、
squeuesコマンドで確認して下さい。 - デフォルトキューは「g006m」となります。ジョブ実行時にキュー名が省略された場合「g006m」で実行されます。
- 【H28.04.12現在】下記のソフトウェアにてDシステム上でジョブを実行した際にジョブが正常に実行されない場合があるとの報告があります。各ソフトウェアをご利用の際は下記のとおりご対応ください。
- ANSYS CFX ： 回避策をベンダーにお問い合わせください。
- 【H30.2.28 現在】下記のソフトウェアにてEシステム上でジョブを実行した際にジョブが正常に実行されない場合があるとの報告があります。以下のソフトウェアをご利用の際は下記のとおりご対応ください。
- ANSYS FLUENT ： 回避策をベンダーにお問い合わせください。
- ANSYS CFX ： Eシステムの利用を回避してください。
- STAR-CCM+ ：
-mpi intelオプションを指定してください。
1-5 ストレージシステム
| ストレージシステム | NASストレージシステム | 分散ファイルシステム | 演算ノードローカルディスク※3 | |
|---|---|---|---|---|
| マウント先 | /home1 | /home3 | /work | |
| 容量 | 各課題 200GB | 要・申請 (※1) (有償) | 500GB~6TB （演算システム毎に異なる) |
|
| 用途 | ホーム | ホーム兼ワーク | スクラッチ | |
| 書き込み性能 | システム全体 | 500MB/s | 11GB/s | 80～440MB/s （実測値・演算システム毎に異なる) |
| プロセスあたり | （制限なし） | 1GB/s | （制限なし） | |
| アクセス | ログインサーバ | ○ | 要・申請 (※1) | × |
| 共用FE (※2) | ○ | ○ | × | |
| 専用FE (※2) | ○ | ○ | × | |
| 演算ノード | ○ | ○ | ○ | |
- OKBizより申請してください
- FE：フロントエンドサーバ
- Hシステムの/work はSSD, そのほかのシステムはHDD
1-6 ソフトウェア
- FOCUSスパコンのOS、開発環境、ジョブ管理システム等はアカウント発行料に含む。
- 商用ソフトウェアは原則利用者がベンダーから直接ライセンスを取得しFOCUSスパコンにインストールして利用。
（FOCUSスパコン上での利用形態、料金、実行方法等はベンダーに直接お問い合わせください。） - Gaussian 09、MIZUHO BioStationはFOCUSがライセンスを取得しており、時間従量制 にて利用可。
(要・利用申請（OKBizより連絡ください)） - オープンソース等で要望が多いものは共用領域にインストール。