1.FOCUSスパコンの概要 – FOCUSスパコン利用案内

　FOCUSスパコンは平成23年4月より共用を開始し、「産業界向けのスパコン」として活用されています。

　本章では、ハードウェア構成等FOCUSスパコンの概要をまとめております。

1-1 システム概要図

1-2 演算ノード

	ノード数	CPU、GPU、VPU	理論演算性能(GFlops)	コア数	メモリ(GB)	ローカルディスク容量 (GB)	ノード間ネットワーク
Aシステム	208	2.26GHz (Xeon L5640)×2基	108	12	48	500(HDD)	IB-QDR 40Gbps
Bシステム	2	1.86GHz (Xeon E7520)×4基	119	16	512	600(HDD)	IB-QDR 40Gbps
Fシステム	60	2.20GHz (Xeon E5-2698v4)×2基	1152	40	128	2000 (HDD)	IB-FDR 56Gbps
	2	2.20GHz (Xeon E5-2698v4)×2基	1152	40	128
	2	Tesla P100 ×1基	4700	( -- )	16
Hシステム	136	2.10GHz (Xeon D-1541) ×1基	205	8	64	512 (SSD)	10GbE×2 (シャーシ間10GbE×4)
Qシステム	1	2.0GHz(AMD EPYC 7713) ×1基	2048	64	512	1600 (SSD)	10GbE
	1	2.8GHz(AMD EPYC 7543)×2基	2867	64	80
	1	NVIDIA A100 ×2基	19400	( -- )	160
Rシステム	10	2.8GHz(AMD EPYC 7543P) ×1基	1434	32	256	1600 (SSD)	10GbE
Sシステム	47	AMD EPYC 9654 (2.4GHz) ×2CPU(計192コア)から32コアVMを利用	1229	32	128	200 (SSD)	100Gbps Ethernet x2（物理ノード間)
	16	AMD EPYC 9654 (2.4GHz) ×2CPU(計192コア)から92コアVMを利用	3533	92	320	750 (SSD)
	16	AMD EPYC 9654 (2.4GHz) ×2CPU(計192コア)	7373	192	768	1600 (SSD)
Vシステム	2	VH: 2.40GHz (Xeon Gold 6148)×1基	1024	20	96	240 (SSD)	IB-FDR 56Gbps
Vシステム	2	VE: SX-Aurora TSUBASA Type 10B×1基	2150	8	48	240 (SSD)	IB-FDR 56Gbps
Wシステム	2	VH: 2.40GHz (Xeon Gold 6148)×2基	2048	40	192	240 (SSD)	IB-EDR 100Gbps
Wシステム	2	VE: SX-Aurora TSUBASA Type10B×8基	17203	64	384	240 (SSD)	IB-EDR 100Gbps
Xシステム	6	1.80GHz (A64FX™)×1基	2765	48	32	512 (SSD)	IB-EDR 100Gbps
Zシステム	24	2.10GHz (Xeon Gold 6230)×2基	1408	40	192	2000 (HDD)	IB-FDR 56Gbps
HPCIプリポストシステム	1	2.1GHz(Intel Xeon Silver 4112) ×2基	282	8	1536	1200 (HDD)	-
HPCIプリポストシステム	1	NVIDIA Quadro P4000 ×2基	-	-	-	1200 (HDD)	-

1-3 システム概要

2024.06時点

OS	ログインサーバ	Red Hat Enterprise Linux 8.8 (x86_64)
	共用フロントエンドサーバ	Red Hat Enterprise Linux 8.8 (x86_64)
	GPU 搭載フロントエンドサーバ	CentOS 7.9 (x86_64)
	VPU 搭載フロントエンドサーバ	CentOS 7.7 (x86_64)
	演算ノード (A,B,Q,R)	CentOS 7.9 (x86_64)
	演算ノード (F,H,S,Z)	RockyLinux 8.8 (x86_64)
	演算ノード (V,W)	CentOS 7.7 (x86_64)
	演算ノード (X)	CentOS 8.1 (aarch64)
	HPCIプリポスト	CentOS 7.9 (x86_64)
開発環境		GNU コンパイラ, Intel oneAPI （FORTRAN, C, C++等）
ジョブ管理システム		SLURM ベースのシステム

1-4 共用キュー一覧

計算資源の従量利用は共有キューへジョブを投入してください。

システム	キュー名	最長実行時間	最大同時ジョブ投入数	最大ノード数 (※1)	ジョブあたり最大ノード数 (※1)	ノードあたりコア数	キュー種別	備考
Aシステム	a024h	24時間	400/ユーザ	64	64	12	従量
Aシステム	a168h	168時間	400/ユーザ	32	32	12	従量
Bシステム	b024h	24時間	400/ユーザ	2	2	16	従量
Bシステム	b168h	168時間	400/ユーザ	1	1	16	従量
Fシステム	f024h	24時間	400/ユーザ	60	60	40	従量
Fシステム	f168h	168時間	400/ユーザ	16	16	40	従量
Fシステム	f024h_p100	24時間	400/ユーザ	2	2	40	従量	GPU搭載
Fシステム	f168h_p100	168時間	400/ユーザ	2	2	40	従量	GPU搭載
Hシステム	h024h	24時間	400/ユーザ	136	136	8	従量
Hシステム	h168h	168時間	400/ユーザ	55	55	8	従量
Qシステム	q024h	24時間	400/ユーザ	1	1	64	従量	AMD(64core)
Qシステム	q024h_a100	24時間	400/ユーザ	1	1	64	従量	AMD(64core) + GPU搭載
Rシステム	r024h	24時間	400/ユーザ	10	10	32	従量	AMD(32core)
Rシステム	r168h	168時間	400/ユーザ	5	5	32	従量	AMD(32core)
Sシステム32コアVM	s024h_032c	24時間	400/ユーザ	78	78	32	従量	AMD(32core)
Sシステム32コアVM	s168h_032c	168時間	400/ユーザ	54	54	32	従量	AMD(32core)
Sシステム92コアVM	s024h_092c	24時間	400/ユーザ	28	28	92	従量	AMD(92core)
Sシステム92コアVM	s168h_092c	168時間	400/ユーザ	18	18	92	従量	AMD(92core)
Sシステム192コア	s024h_192c	24時間	400/ユーザ	4	4	192	従量	AMD(192core)
Sシステム192コア	s168h_192c	168時間	400/ユーザ	2	2	192	従量	AMD(192core)
Vシステム	v024h	24時間	400/ユーザ	2	2	20	従量	VPU搭載
Vシステム	v168h	168時間	400/ユーザ	2	2	20	従量	VPU搭載
Wシステム	w024h	24時間	400/ユーザ	2	2	40	従量	VPU 8基搭載
Xシステム	x024h	24時間	400/ユーザ	6	6	48	従量	Arm(A64FX)機
Zシステム	z024h	24時間	400/ユーザ	20	20	40	従量
Zシステム	z168h	168時間	400/ユーザ	8	8	40	従量
HPCIプリポスト	p168h	168時間	3/ユーザ	1	1	8	無償	無償
Aシステム	a006m	6分	5/ユーザ	2	2	12	無償（デバッグ）	※2
Bシステム	b006m	6分	5/ユーザ	2	2	16	無償（デバッグ）	※2
Fシステム	f006m	6分	5/ユーザ	2	2	40	無償（デバッグ）	※2
Fシステム	f006m_p100	6分	5/ユーザ	2	2	40	無償（デバッグ）	※2, GPU搭載
Hシステム	h006m	6分	5/ユーザ	4	4	8	無償（デバッグ）	※2
Sシステム32コアVM	s006m_032c	6分	5/ユーザ	3	3	32	無償（デバッグ）	※2
Sシステム32コアVM	s001h_032c_RL	1時間	5/ユーザ	3	3	32	無償（デバッグ）	RockyLinux検証キュー 2024年4月～6月末
Sシステム92コアVM	s006m_092c	6分	5/ユーザ	2	2	92	無償（デバッグ）	※2
Zシステム	z006m	6分	5/ユーザ	2	2	40	無償（デバッグ）	※2, デフォルトキュー

予約状況や混雑状況等により、変更する場合があります。
特にSシステムについては利用状況を鑑みてノード数、VM数を変更する場合があります。
デバッグキューです。計算資源利用料金は発生しません。デバッグ(ソフトウェアの動作検証等)にご利用ください。なお、FOCUSスパコン従量利用ソフトウェア(Gaussian等)を実行した場合、計算資源利用料金は発生しませんが、ソフトウェア利用料金は発生します。

実際に本システムを利用する際には、sinfo -s コマンドで利用できるキュー名を確認して下さい。
キューのノード実行状況を確認する際には、squeuesコマンドで確認して下さい。
デフォルトキューは「z006m」となります。ジョブ実行時にキュー名が省略された場合「z006m」で実行されます。
ISVアカウントではデバッグキュー(※2)のみ利用可能です。6分以上の実行が必要となる場合は、ヘルプデスクからご相談ください。

1-5 ストレージシステム

ストレージシステム		NASストレージシステム	分散ファイルシステム	演算ノードローカルディスク※3
マウント先		/home1	/home3	/work
容量		各課題 200GB	各課題 10GB 追加は、要・申請 (※1) (有償)	500GB~6TB （演算システム毎に異なる)
用途		ホーム	ホーム兼ワーク	スクラッチ
書き込み性能	システム全体	500MB/s	11GB/s	80～440MB/s （実測値・演算システム毎に異なる)
書き込み性能	プロセスあたり	（制限なし）	1GB/s	（制限なし）
アクセス	ログインサーバ	○	要・申請 (※1)	×
	共用FE (※2)	○	○	×
	専用FE (※2)	○	○	×
	演算ノード	○	○	○

FOCUSヘルプデスクより申請してください
FE：フロントエンドサーバ
H,Q,R,S,V,W,Xシステムの/work はSSD, そのほかのシステムはHDD

1-6 ソフトウェア

FOCUSスパコンのOS、開発環境、ジョブ管理システム等はアカウント発行料に含む。
商用ソフトウェアは原則利用者がベンダーから直接ライセンスを取得しFOCUSスパコンにインストールして利用。
（FOCUSスパコン上での利用形態、料金、実行方法等はベンダーに直接お問い合わせください。）
Gaussian、MIZUHO BioStationはFOCUSがライセンスを取得しており、時間従量制にて利用可。
(要・利用申請（FOCUSヘルプデスクからご連絡ください)）
オープンソース等で要望が多いものは共用領域にインストール。