FOCUSスパコンは平成23年4月より共用を開始し、「産業界向けのスパコン」として活用されています。
本章では、ハードウェア構成等FOCUSスパコンの概要をまとめております。
目次
1-1 システム概要図
1-2 演算ノード
| ノード数 | CPU、GPU、VPU | 理論演算性能(GFlops) | コア数 | メモリ(GB) | ローカルディスク容量 (GB) | ノード間ネットワーク | |
|---|---|---|---|---|---|---|---|
| Aシステム | 208 | 2.26GHz (Xeon L5640)×2基 | 108 | 12 | 48 | 500(HDD) | IB-QDR 40Gbps |
| Bシステム | 2 | 1.86GHz (Xeon E7520)×4基 | 119 | 16 | 512 | 600(HDD) | IB-QDR 40Gbps |
| Fシステム | 60 | 2.20GHz (Xeon E5-2698v4)×2基 | 1152 | 40 | 128 | 2000 (HDD) | IB-FDR 56Gbps |
| 2 | 2.20GHz (Xeon E5-2698v4)×2基 | 1152 | 40 | 128 | |||
| Tesla P100 ×1基 | 4700 | ( -- ) | 16 | ||||
| Hシステム | 136 | 2.10GHz (Xeon D-1541) ×1基 | 205 | 8 | 64 | 512 (SSD) | 10GbE×2 (シャーシ間10GbE×4) |
| Qシステム | 1 | 2.0GHz(AMD EPYC 7713) ×1基 | 2048 | 64 | 512 | 1600 (SSD) | 10GbE |
| 1 | 2.8GHz(AMD EPYC 7543)×2基 | 2867 | 64 | 80 | |||
| NVIDIA A100 ×2基 | 19400 | ( -- ) | 160 | ||||
| Rシステム | 10 | 2.8GHz(AMD EPYC 7543P) ×1基 | 1434 | 32 | 256 | 1600 (SSD) | 10GbE |
| Sシステム | 47 | AMD EPYC 9654 (2.4GHz) ×2CPU(計192コア)から32コアVMを利用 | 1229 | 32 | 128 | 200 (SSD) | 100Gbps Ethernet x2（物理ノード間) |
| 16 | AMD EPYC 9654 (2.4GHz) ×2CPU(計192コア)から92コアVMを利用 | 3533 | 92 | 320 | 750 (SSD) | ||
| 16 | AMD EPYC 9654 (2.4GHz) ×2CPU(計192コア) | 7373 | 192 | 768 | 1600 (SSD) | ||
| Vシステム | 2 | VH: 2.40GHz (Xeon Gold 6148)×1基 | 1024 | 20 | 96 | 240 (SSD) | IB-FDR 56Gbps |
| VE: SX-Aurora TSUBASA Type 10B×1基 | 2150 | 8 | 48 | ||||
| Wシステム | 2 | VH: 2.40GHz (Xeon Gold 6148)×2基 | 2048 | 40 | 192 | 240 (SSD) | IB-EDR 100Gbps |
| VE: SX-Aurora TSUBASA Type10B×8基 | 17203 | 64 | 384 | ||||
| Xシステム | 6 | 1.80GHz (A64FX™)×1基 | 2765 | 48 | 32 | 512 (SSD) | IB-EDR 100Gbps |
| Zシステム | 24 | 2.10GHz (Xeon Gold 6230)×2基 | 1408 | 40 | 192 | 2000 (HDD) | IB-FDR 56Gbps |
| HPCIプリポスト システム | 1 | 2.60GHz(Intel Xeon Silver 4112) ×2基 | 282 | 8 | 1536 | 1200 (HDD) | - |
| NVIDIA Quadro P4000 ×2基 | - | - | - |
1-3 システム概要
2024.06時点
| OS | ログインサーバ | Red Hat Enterprise Linux 8.8 (x86_64) |
| 共用フロントエンドサーバ | Red Hat Enterprise Linux 8.8 (x86_64) | |
| GPU 搭載フロントエンドサーバ | CentOS 7.9 (x86_64) | |
| VPU 搭載フロントエンドサーバ | CentOS 7.7 (x86_64) | |
| 演算ノード (A,B,Q,R) | CentOS 7.9 (x86_64) | |
| 演算ノード (F,H,S,Z) | RockyLinux 8.8 (x86_64) | |
| 演算ノード (V,W) | CentOS 7.7 (x86_64) | |
| 演算ノード (X) | CentOS 8.1 (aarch64) | |
| HPCIプリポスト | CentOS 7.9 (x86_64) | |
| 開発環境 | GNU コンパイラ, Intel oneAPI （FORTRAN, C, C++等） |
|
| ジョブ管理システム | SLURM ベースのシステム | |
1-4 共用キュー一覧
計算資源の従量利用は共有キューへジョブを投入してください。
| システム | キュー名 | 最長実行時間 | 最大同時ジョブ投入数 | 最大ノード数 (※1) | ジョブあたり 最大ノード数 (※1) | ノードあたり コア数 | キュー種別 | 備考 |
|---|---|---|---|---|---|---|---|---|
| Aシステム | a024h | 24時間 | 400/ユーザ | 64 | 64 | 12 | 従量 | |
| Aシステム | a168h | 168時間 | 400/ユーザ | 32 | 32 | 12 | 従量 | |
| Bシステム | b024h | 24時間 | 400/ユーザ | 2 | 2 | 16 | 従量 | |
| Bシステム | b168h | 168時間 | 400/ユーザ | 1 | 1 | 16 | 従量 | |
| Fシステム | f024h | 24時間 | 400/ユーザ | 60 | 60 | 40 | 従量 | |
| Fシステム | f168h | 168時間 | 400/ユーザ | 16 | 16 | 40 | 従量 | |
| Fシステム | f024h_p100 | 24時間 | 400/ユーザ | 2 | 2 | 40 | 従量 | GPU搭載 |
| Fシステム | f168h_p100 | 168時間 | 400/ユーザ | 2 | 2 | 40 | 従量 | GPU搭載 |
| Hシステム | h024h | 24時間 | 400/ユーザ | 136 | 136 | 8 | 従量 | |
| Hシステム | h168h | 168時間 | 400/ユーザ | 55 | 55 | 8 | 従量 | |
| Qシステム | q024h | 24時間 | 400/ユーザ | 1 | 1 | 64 | 従量 | AMD(64core) |
| Qシステム | q024h_a100 | 24時間 | 400/ユーザ | 1 | 1 | 64 | 従量 | AMD(64core) + GPU搭載 |
| Rシステム | r024h | 24時間 | 400/ユーザ | 10 | 10 | 32 | 従量 | AMD(32core) |
| Rシステム | r168h | 168時間 | 400/ユーザ | 5 | 5 | 32 | 従量 | AMD(32core) |
| Sシステム32コアVM | s024h_032c | 24時間 | 400/ユーザ | 78 | 78 | 32 | 従量 | AMD(32core) |
| Sシステム32コアVM | s168h_032c | 168時間 | 400/ユーザ | 54 | 54 | 32 | 従量 | AMD(32core) |
| Sシステム92コアVM | s024h_092c | 24時間 | 400/ユーザ | 28 | 28 | 92 | 従量 | AMD(92core) |
| Sシステム92コアVM | s168h_092c | 168時間 | 400/ユーザ | 18 | 18 | 92 | 従量 | AMD(92core) |
| Sシステム192コア | s024h_192c | 24時間 | 400/ユーザ | 4 | 4 | 192 | 従量 | AMD(192core) |
| Sシステム192コア | s168h_192c | 168時間 | 400/ユーザ | 2 | 2 | 192 | 従量 | AMD(192core) |
| Vシステム | v024h | 24時間 | 400/ユーザ | 2 | 2 | 20 | 従量 | VPU搭載 |
| Vシステム | v168h | 168時間 | 400/ユーザ | 2 | 2 | 20 | 従量 | VPU搭載 |
| Wシステム | w024h | 24時間 | 400/ユーザ | 2 | 2 | 40 | 従量 | VPU 8基搭載 |
| Xシステム | x024h | 24時間 | 400/ユーザ | 6 | 6 | 48 | 従量 | Arm(A64FX)機 |
| Zシステム | z024h | 24時間 | 400/ユーザ | 20 | 20 | 40 | 従量 | |
| Zシステム | z168h | 168時間 | 400/ユーザ | 8 | 8 | 40 | 従量 | |
| HPCIプリポスト | p168h | 168時間 | 3/ユーザ | 1 | 1 | 8 | 無償 | 無償 |
| Aシステム | a006m | 6分 | 5/ユーザ | 2 | 2 | 12 | 無償（デバッグ） | ※2 |
| Bシステム | b006m | 6分 | 5/ユーザ | 2 | 2 | 16 | 無償（デバッグ） | ※2 |
| Fシステム | f006m | 6分 | 5/ユーザ | 2 | 2 | 40 | 無償（デバッグ） | ※2 |
| Fシステム | f006m_p100 | 6分 | 5/ユーザ | 2 | 2 | 40 | 無償（デバッグ） | ※2, GPU搭載 |
| Hシステム | h006m | 6分 | 5/ユーザ | 4 | 4 | 8 | 無償（デバッグ） | ※2 |
| Sシステム32コアVM | s006m_032c | 6分 | 5/ユーザ | 3 | 3 | 32 | 無償（デバッグ） | ※2 |
| Sシステム32コアVM | s001h_032c_RL | 1時間 | 5/ユーザ | 3 | 3 | 32 | 無償（デバッグ） | RockyLinux検証キュー 2024年4月～6月末 |
| Sシステム92コアVM | s006m_092c | 6分 | 5/ユーザ | 2 | 2 | 92 | 無償（デバッグ） | ※2 |
| Zシステム | z006m | 6分 | 5/ユーザ | 2 | 2 | 40 | 無償（デバッグ） | ※2, デフォルトキュー |
- 予約状況や混雑状況等により、変更する場合があります。
特にSシステムについては利用状況を鑑みてノード数、VM数を変更する場合があります。 - デバッグキューです。計算資源利用料金は発生しません。デバッグ(ソフトウェアの動作検証等)にご利用ください。なお、FOCUSスパコン従量利用ソフトウェア(Gaussian等)を実行した場合、計算資源利用料金は発生しませんが、ソフトウェア利用料金は発生します。
- 実際に本システムを利用する際には、
sinfo -sコマンドで利用できるキュー名を確認して下さい。 - キューのノード実行状況を確認する際には、
squeuesコマンドで確認して下さい。 - デフォルトキューは「z006m」となります。ジョブ実行時にキュー名が省略された場合「z006m」で実行されます。
- ISVアカウントではデバッグキュー(※2)のみ利用可能です。6分以上の実行が必要となる場合は、ヘルプデスクからご相談ください。
1-5 ストレージシステム
| ストレージシステム | NASストレージシステム | 分散ファイルシステム | 演算ノードローカルディスク※3 | |
|---|---|---|---|---|
| マウント先 | /home1 | /home3 | /work | |
| 容量 | 各課題 200GB | 各課題 10GB 追加は、要・申請 (※1) (有償) | 500GB~6TB （演算システム毎に異なる) |
|
| 用途 | ホーム | ホーム兼ワーク | スクラッチ | |
| 書き込み性能 | システム全体 | 500MB/s | 11GB/s | 80～440MB/s （実測値・演算システム毎に異なる) |
| プロセスあたり | （制限なし） | 1GB/s | （制限なし） | |
| アクセス | ログインサーバ | ○ | 要・申請 (※1) | × |
| 共用FE (※2) | ○ | ○ | × | |
| 専用FE (※2) | ○ | ○ | × | |
| 演算ノード | ○ | ○ | ○ | |
- FOCUSヘルプデスクより申請してください
- FE：フロントエンドサーバ
- H,Q,R,S,V,W,Xシステムの/work はSSD, そのほかのシステムはHDD
1-6 ソフトウェア
- FOCUSスパコンのOS、開発環境、ジョブ管理システム等はアカウント発行料に含む。
- 商用ソフトウェアは原則利用者がベンダーから直接ライセンスを取得しFOCUSスパコンにインストールして利用。
（FOCUSスパコン上での利用形態、料金、実行方法等はベンダーに直接お問い合わせください。） - Gaussian、MIZUHO BioStationはFOCUSがライセンスを取得しており、時間従量制 にて利用可。
(要・利用申請（FOCUSヘルプデスク からご連絡ください)） - オープンソース等で要望が多いものは共用領域にインストール。