2.4.追加ストレージ領域(/home3, Lustre File System)の利用方法

目次 (2.4.追加ストレージ領域(/home3, Lustre File System)の利用方法)

2.4.   追加ストレージ領域(/home3, Lustre File System)の利用方法
2.4.1.  Lustre File System 環境構成概要
2.4.2.  /home3利用状況の確認
2.4.3.  Stripe Size / Stripe Count
2.4.3.1. Stripe設定方法 (lfs setstripe)
2.4.3.2. Stripe確認方法 (lfs getstripe/lfs osts)

▲このページの先頭へ

2.4.追加ストレージ領域(/home3, Lustre File System)の利用方法

利用には追加契約が必要となります。月単位・10GB単位で容量を課題単位で追加できます。
希望される場合はOKBizにて契約容量変更希望日の2業務日前9:00までにご連絡ください。
追加ストレージ領域の契約を終了する場合、0GBへの容量変更を申請していただくか、新規追加または容量変更申請時に利用終了日をご指定ください。
月単位契約の場合、特にお申し出がない限りは翌月以降も自動的に継続となりますことご注意ください。

【ハードリミット設定について】

システム上でのハードリミットは契約容量の2倍に設定します。
/home3の使用量が契約容量に達したとしても、猶予期間(1週間)の間は/home3へ契約量の2倍まで書込みを行うことができます。
使用量が契約容量未満になれば猶予期間はリセットされます。

/home3の使用量が契約容量を超えても、猶予期間内に契約容量を変更することで/home3への書込みを止めることなくご利用いただけます。
猶予期間を過ぎても/home3の使用量が契約容量を超えていた場合は、使用量が契約容量未満となるまで/home3への書込みができなくなります。
容量超過していたとしても、超過分のデータが自動的に削除されることはありません。

【契約超過分課金について】

契約容量を超えるデータを長期間(1か月以上)置いていた場合は、超過分について10GB単位で課金いたします。
例) 変更後の契約容量が300GBであっても、実利用量が495GBの場合、契約容量を500GBとみなして課金します。
/home3の使用量が契約容量を超えた際は、お早めに契約容量の変更やデータ退避等の対応をお願いいたします。

【利用終了時の注意点】

/home3の契約終了(0GBへの容量変更)の場合、契約終了月の月末をもってデータは削除されます。

▲このページの先頭へ

2.4.1.Lustre File System環境構成概要

本節では以下の略語を使用しています。
MDS:Meta Data Server の略
MDT:Meta Data Target の略
OSS:Object Storage Server の略
OST:Object Storage Target の略

Lustre File Systemの構成概要を示します。

ID 1
Filesystem Name home3
Mount Point /home3
LNET @o2ib
Size 458.54TiB
i-node数 2,199,486,464
MDS (※) home3srv1-ib
(home3srv2-ib)
OSS home3srv1-ib
home3srv2-ib
MDT/OST home3stg
OST数 4
Stripe Count 1
Stripe Size 1,048,576Bytes

(※) MDSにおける()はstandby nodeを意味します。

 

▲このページの先頭へ

2.4.2. /home3 利用状況の確認

/home1の容量は課題(グループ)あたり200GBですが、追加ストレージ領域(/home3)の容量についてはご契約内容により異なります。現在のクォータ値(契約容量)等利用状況を確認するにはlfsコマンドを使用します。

〔コマンド〕

lfs quota -g グループ名 /home3

〔実行結果〕

$ lfs quota -g gxxx /home3
Disk quotas for group gxxx (gid xxxx):
      Filesystem  kbytes   quota   limit   grace   files   quota   limit   grace
          /home3   59524  1048576 2097152       -     458       0       0       -

<項目説明(左から)>
kbyte:使用量(kbytes)
quota:契約容量(ソフトリミット)(kbytes)
limit:最大容量(ハードリミット)(kbytes)
grace:契約容量越えの許容期間
files:使用中のファイル数

 

▲このページの先頭へ

2.4.3.Stripe Size / Stripe Count

ディレクトリおよびファイルのI/O Stripe設定方法について記載します。

Lustre File Systemでは各ファイルを格納するStripe Count(OSTの数)およびStripe Sizeをディレクトリやファイルごとに設定することができます。

デフォルトではStripe設定は無しとなっていますので、各ファイルは1つのOSTへ格納されます。

2.4.3.1.Stripe設定方法 (lfs setstripe)

Stripeの設定はlfs setstripeコマンドで実施します。

基本的な使用方法は以下となります。

lfs setstripe [--size|-s stripe_size] [--offset|-o start_ost] [--count|-c stripe_count] [--pool|-p pool_name] <filename|dirname>

 

  • --size|-s stripe_size:
    stripe_sizeに各OSTをStripeする際のStripe Sizeを指定
    k, m, gでそれぞれKbytes, Mbytes, GBytes指定が可能
    Defaultは0
  • --offset|-o start_ost:
    start_ostにStripeを開始するOSTを指定
    Defaultは-1でRandom
  • --count|-c stripe_count:
    stripe_countに使用するOSTの数を指定
    -1で全OST
    Defaultは0
  • --pool|-p pool_name:
    pool_nameに使用するプール名を指定

 

例1) 2OST, Stripe Size=1MBytesでStripeを設定

$ mkdir /home3/ddn/testdir/st2
$ lfs setstripe -s 1m -c 2 /hoeme2/ddn/testdir/st2

例2) 全OST、Stripe Size=4MBytesでStripeを設定

$ mkdir /home3/ddn/testdir/st_all
$ lfs setstripe -s 4m -c -1 /home3/ddn/testdir/st_all

2.4.3.2.Stripe確認方法 (lfs getstripe/lfs osts)

Stripeの確認はlfs getstripeコマンドで実施します。

基本的な使用方法は以下となります。

lfs getstripe [--obd|-O <uuid>] [--quiet|-q] [--verbose|-v] [--recursive|-r] <filename|dirname>
  • --obd|-O <uuid> :
    指定したOSTに属するファイルを表示
  • --quiet|-q:
    出力項目の制限
  • --verbose|-v:
    Verbose Mode
  • --recursive|-r:
    Recursive Mode

 

例1) 下記においてtestfile1はobdidxで示される2つのOSTにStripeされていることを確認することができます。

$ lfs getstripe /home3/ddn/testdir/st2/testfile1
/home3/ddn/testdir/st2/testfile1
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  54
        obdidx          objid          objid           group
             7            258          0x102               0
            14            258          0x102               0
$

各obdidxのObject Nameはlfs ostsの出力結果から確認することができます。

$ lfs osts
	OBDS::
	0: home3-OST0000_UUID ACTIVE
	1: home3-OST0001_UUID ACTIVE
	2: home3-OST0002_UUID ACTIVE
	3: home3-OST0003_UUID ACTIVE
$

例2) -rを付与するとrecursive modeとなり指定したディレクトリ配下に存在する全てのオブジェクトについてStripe情報が表示されます。

$ lfs getstripe -r /home3/ddn/testdir/
/home3/ddn/testdir/
stripe_count:   1 stripe_size:    1048576 stripe_offset:  -1
/home3/ddn/testdir/st2
stripe_count:   2 stripe_size:    1048576 stripe_offset:  -1
/home3/ddn/testdir/st2/testfile1
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  54
        obdidx           objid          objid            group
             7             258          0x102                0
            14             258          0x102                0

/home3/ddn/testdir/st2/testfile2
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  66
        obdidx           objid          objid            group
             1             258          0x102                0
             8             258          0x102                0

/home3/ddn/testdir/st2/testfile3
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  13
        obdidx           objid          objid            group
            11             258          0x102                0
            16             258          0x102                0

/home3/ddn/testdir/st_all
stripe_count:   -1 stripe_size:    4194304 stripe_offset:  -1
/home3/ddn/testdir/st_all/testfile1
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  31
        obdidx           objid          objid            group
             2             258          0x102                0
             4             258          0x102                0
             8             258          0x102                0
            11             258          0x102                0
            15             258          0x102                0
            17             258          0x102                0

(省略)

$

 

例3) 特定のOSTに属するファイルを探す場合は下記を実施します。

$ lfs getstripe -r --obd home3-OST0000_UUID /home3/ddn/testdir/
/home3/ddn/testdir/st_all/testfile1
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  31
        obdidx           objid          objid            group
             0             258          0x102                0 *

/home3/ddn/testdir/st_all/testfile2
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  37
        obdidx           objid          objid            group
             0             259          0x103                0 *

/home3/ddn/testdir/st_all/testfile3
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  43
        obdidx           objid          objid            group
             0             260          0x104                0 *
$

 

▲このページの先頭へ