目次 （2.4.追加ストレージ領域(/home3, Lustre File System)の利用方法）
2.4. 追加ストレージ領域(/home3, Lustre File System)の利用方法
2.4.1. Lustre File System 環境構成概要
2.4.2. /home3利用状況の確認
2.4.3. Stripe Size / Stripe Count
2.4.3.1. Stripe設定方法 (lfs setstripe)
2.4.3.2. Stripe確認方法 (lfs getstripe/lfs osts)
2.4.追加ストレージ領域(/home3, Lustre File System)の利用方法
初期値は10GBです（無償提供）。容量の追加には申請が必要です。月単位・10GB単位で容量を課題単位で追加契約ができます（有償）。
希望される場合はポータルサイト（要・SSL-VPN接続）から申請してください。（参考：ポータルサイト新規予約方法）
【ハードリミット設定について】
システム上でのハードリミットは提供容量（無償提供10GB+契約容量）の2倍に設定します。
/home3の使用量が提供容量に達したとしても、猶予期間（1週間）の間は/home3へ提供容量の2倍まで書込みを行うことができます。
使用量が提供容量（ソフトリミット）未満になれば猶予期間はリセットされます。
/home3の使用量が提供容量を超えても、猶予期間内に契約容量を変更することで/home3への書込みを止めることなくご利用いただけます。
猶予期間を過ぎても/home3の使用量が提供容量を超えていた場合は、使用量が提供容量未満となるまで/home3への書込みができなくなります。
容量超過していたとしても、超過分のデータが自動的に削除されることはありません。
【契約超過分課金について】
提供容量を超えるデータを長期間(1か月以上)置いていた場合は、超過分について10GB単位で課金いたします。
例） 契約容量：300GB、提供容量： 310GB
実利用量：495GBの場合、提供容量を500GB（契約容量490GB）とみなして課金します。
/home3の使用量が提供容量を超えた際は、お早めに契約容量の変更やデータ退避等の対応をお願いいたします。
2.4.1.Lustre File System環境構成概要
本節では以下の略語を使用しています。
MDS：Meta Data Server の略
MDT：Meta Data Target の略
OSS：Object Storage Server の略
OST：Object Storage Target の略
Lustre File Systemの構成概要を示します。
| ID | 1 |
|---|---|
| Filesystem Name | home3 |
| Mount Point | /home3 |
| LNET | @o2ib |
| Size | 458.54TiB |
| i-node数 | 2,199,486,464 |
| MDS (※) | home3srv1-ib (home3srv2-ib) |
| OSS | home3srv1-ib home3srv2-ib |
| MDT/OST | home3stg |
| OST数 | 4 |
| Stripe Count | 1 |
| Stripe Size | 1,048,576Bytes |
(※) MDSにおける()はstandby nodeを意味します。
2.4.2. /home3 利用状況の確認
/home1の容量は課題（グループ）あたり200GBですが、追加ストレージ領域（/home3）の容量についてはご契約内容により異なります。現在のクォータ値（契約容量）等利用状況を確認するにはlfsコマンドを使用します。
〔コマンド〕
lfs quota -g グループ名 /home3〔実行結果〕
$ lfs quota -g gxxx /home3
Disk quotas for group gxxx (gid xxxx):
Filesystem kbytes quota limit grace files quota limit grace
/home3 59524 1048576 2097152 - 458 0 0 -
＜項目説明（左から）＞
kbyte：使用量(kbytes)
quota：提供容量(ソフトリミット)(kbytes) ※10GB無償提供分含む
limit：最大容量(ハードリミット)(kbytes)
grace：提供容量越えの許容期間
files：使用中のファイル数
2.4.3.Stripe Size / Stripe Count
ディレクトリおよびファイルのI/O Stripe設定方法について記載します。
Lustre File Systemでは各ファイルを格納するStripe Count(OSTの数)およびStripe Sizeをディレクトリやファイルごとに設定することができます。
デフォルトではStripe設定は無しとなっていますので、各ファイルは1つのOSTへ格納されます。
2.4.3.1.Stripe設定方法 (lfs setstripe)
Stripeの設定はlfs setstripeコマンドで実施します。
基本的な使用方法は以下となります。
lfs setstripe [--size|-s stripe_size] [--offset|-o start_ost] [--count|-c stripe_count] [--pool|-p pool_name] <filename|dirname>
--size|-s stripe_size:
stripe_sizeに各OSTをStripeする際のStripe Sizeを指定
k, m, gでそれぞれKbytes, Mbytes, GBytes指定が可能
Defaultは0
--offset|-o start_ost:
start_ostにStripeを開始するOSTを指定
Defaultは-1でRandom
--count|-c stripe_count:
stripe_countに使用するOSTの数を指定
-1で全OST
Defaultは0--pool|-p pool_name:
pool_nameに使用するプール名を指定
例1) 2OST, Stripe Size=1MBytesでStripeを設定
$ mkdir /home3/ddn/testdir/st2 $ lfs setstripe -s 1m -c 2 /hoeme2/ddn/testdir/st2
例2) 全OST、Stripe Size=4MBytesでStripeを設定
$ mkdir /home3/ddn/testdir/st_all $ lfs setstripe -s 4m -c -1 /home3/ddn/testdir/st_all
2.4.3.2.Stripe確認方法 (lfs getstripe/lfs osts)
Stripeの確認はlfs getstripeコマンドで実施します。
基本的な使用方法は以下となります。
lfs getstripe [--obd|-O <uuid>] [--quiet|-q] [--verbose|-v] [--recursive|-r] <filename|dirname>--obd|-O <uuid>:
指定したOSTに属するファイルを表示--quiet|-q:
出力項目の制限--verbose|-v:
Verbose Mode--recursive|-r:
Recursive Mode
例1) 下記においてtestfile1はobdidxで示される2つのOSTにStripeされていることを確認することができます。
$ lfs getstripe /home3/ddn/testdir/st2/testfile1
/home3/ddn/testdir/st2/testfile1
lmm_stripe_count: 2
lmm_stripe_size: 1048576
lmm_stripe_offset: 54
obdidx objid objid group
7 258 0x102 0
14 258 0x102 0
$
各obdidxのObject Nameはlfs ostsの出力結果から確認することができます。
$ lfs osts OBDS:: 0: home3-OST0000_UUID ACTIVE 1: home3-OST0001_UUID ACTIVE 2: home3-OST0002_UUID ACTIVE 3: home3-OST0003_UUID ACTIVE $
例2) -rを付与するとrecursive modeとなり指定したディレクトリ配下に存在する全てのオブジェクトについてStripe情報が表示されます。
$ lfs getstripe -r /home3/ddn/testdir/
/home3/ddn/testdir/
stripe_count: 1 stripe_size: 1048576 stripe_offset: -1
/home3/ddn/testdir/st2
stripe_count: 2 stripe_size: 1048576 stripe_offset: -1
/home3/ddn/testdir/st2/testfile1
lmm_stripe_count: 2
lmm_stripe_size: 1048576
lmm_stripe_offset: 54
obdidx objid objid group
7 258 0x102 0
14 258 0x102 0
/home3/ddn/testdir/st2/testfile2
lmm_stripe_count: 2
lmm_stripe_size: 1048576
lmm_stripe_offset: 66
obdidx objid objid group
1 258 0x102 0
8 258 0x102 0
/home3/ddn/testdir/st2/testfile3
lmm_stripe_count: 2
lmm_stripe_size: 1048576
lmm_stripe_offset: 13
obdidx objid objid group
11 258 0x102 0
16 258 0x102 0
/home3/ddn/testdir/st_all
stripe_count: -1 stripe_size: 4194304 stripe_offset: -1
/home3/ddn/testdir/st_all/testfile1
lmm_stripe_count: 72
lmm_stripe_size: 4194304
lmm_stripe_offset: 31
obdidx objid objid group
2 258 0x102 0
4 258 0x102 0
8 258 0x102 0
11 258 0x102 0
15 258 0x102 0
17 258 0x102 0
(省略)
$
例3) 特定のOSTに属するファイルを探す場合は下記を実施します。
$ lfs getstripe -r --obd home3-OST0000_UUID /home3/ddn/testdir/
/home3/ddn/testdir/st_all/testfile1
lmm_stripe_count: 72
lmm_stripe_size: 4194304
lmm_stripe_offset: 31
obdidx objid objid group
0 258 0x102 0 *
/home3/ddn/testdir/st_all/testfile2
lmm_stripe_count: 72
lmm_stripe_size: 4194304
lmm_stripe_offset: 37
obdidx objid objid group
0 259 0x103 0 *
/home3/ddn/testdir/st_all/testfile3
lmm_stripe_count: 72
lmm_stripe_size: 4194304
lmm_stripe_offset: 43
obdidx objid objid group
0 260 0x104 0 *
$