2.4.追加ストレージ領域(/home2, Lustre File System)の利用方法

目次 (2.4.追加ストレージ領域(/home2, Lustre File System)の利用方法)

2.4.   追加ストレージ領域(/home2, Lustre File System)の利用方法
2.4.1.  Lustre File System 環境構成概要
2.4.2.  /home2利用状況の確認
2.4.3.  Stripe Size / Stripe Count
2.4.3.1. Stripe設定方法 (lfs setstripe)
2.4.3.2. Stripe確認方法 (lfs getstripe/lfs osts)

▲このページの先頭へ

2.4.追加ストレージ領域(/home2, Lustre File System)の利用方法

利用には追加契約が必要となります。月単位・10GB単位で容量を課題単位で追加できます。
希望される場合はOKBizにて契約容量変更希望日の2業務日前9:00までにご連絡ください。

【ハードリミット設定について】

システム上でのハードリミットは契約容量の2倍に設定します。
/home2の使用量が契約容量に達したとしても、猶予期間(1週間)の間は/home2へ契約量の2倍まで書込みを行うことができます。
使用量が契約容量未満になれば猶予期間はリセットされます。

/home2の使用量が契約容量を超えても、猶予期間内に契約容量を変更することで/home2への書込みを止めることなくご利用いただけます。
猶予期間を過ぎても/home2の使用量が契約容量を超えていた場合は、使用量が契約容量未満となるまで/home2への書込みができなくなります。
容量超過していたとしても、超過分のデータが自動的に削除されることはありません。

【契約超過分課金について】

契約容量を超えるデータを長期間(1か月以上)置いていた場合は、超過分について10GB単位で課金いたします。
例) 変更後の契約容量が300GBであっても、実利用量が495GBの場合、契約容量を500GBとみなして課金します。
/home2の使用量が契約容量を超えた際は、お早めに契約容量の変更やデータ退避等の対応をお願いいたします。

【利用終了時の注意点】

/home2の契約容量が0GBとなる場合は、契約終了時にデータは削除されます。

▲このページの先頭へ

2.4.1.Lustre File System環境構成概要

本節では以下の略語を使用しています。
OSS:Object Storage Server
OST:Object Storage Target
MDS:Meta Data Server
SFA12k-20:DDN SFA12000-20

Lustre File Systemの構成概要を示します。

ID 1
Filesystem Name home2
Mount Point /home2
LNET o2ib
Size 1141.82 TiB
i-node数 1,000,000,00
MDS (※) ddnmds1ib
(ddnmds2ib)
OSS ddnoss1ib
ddnoss2ib
ddnoss3ib
ddnoss4ib
SFA12k-20 ost
OST数 40
Stripe Count 4
Stripe Size 1,048,576Bytes

(※) MDSにおける()はstandby nodeを意味します。

 

▲このページの先頭へ

2.4.2. /home2 利用状況の確認

/home1の容量は課題(グループ)あたり200GBですが、追加ストレージ領域(/home2)の容量についてはご契約内容により異なります。現在のクォータ値(契約容量)等利用状況を確認するにはlfsコマンドを使用します。

〔コマンド〕

lfs quota -g グループ名 /home2

〔実行結果〕

$ lfs quota -g gxxx /home2
Disk quotas for group gxxx (gid xxxx):
      Filesystem  kbytes   quota   limit   grace   files   quota   limit   grace
          /home2   59524  1048576 2097152       -     458       0       0       -

<項目説明(左から)>
kbyte:使用量(kbytes)
quota:契約容量(ソフトリミット)(kbytes)
limit:最大容量(ハードリミット)(kbytes)
grace:契約容量越えの許容期間
files:使用中のファイル数

 

▲このページの先頭へ

2.4.3.Stripe Size / Stripe Count

ディレクトリおよびファイルのI/O Stripe設定方法について記載します。

Lustre File Systemでは各ファイルを格納するStripe Count(OSTの数)およびStripe Sizeをディレクトリやファイルごとに設定することができます。

デフォルトではStripe設定は無しとなっていますので、各ファイルは1つのOSTへ格納されます。

2.4.3.1.Stripe設定方法 (lfs setstripe)

Stripeの設定はlfs setstripeコマンドで実施します。

基本的な使用方法は以下となります。

lfs setstripe [--size|-s stripe_size] [--offset|-o start_ost] [--count|-c stripe_count] [--pool|-p pool_name] <filename|dirname>

 

  • --size|-s stripe_size:
    stripe_sizeに各OSTをStripeする際のStripe Sizeを指定
    k, m, gでそれぞれKbytes, Mbytes, GBytes指定が可能
    Defaultは0
  • --offset|-o start_ost:
    start_ostにStripeを開始するOSTを指定
    Defaultは-1でRandom
  • --count|-c stripe_count:
    stripe_countに使用するOSTの数を指定
    -1で全OST
    Defaultは0
  • --pool|-p pool_name:
    pool_nameに使用するプール名を指定

 

例1) 2OST, Stripe Size=1MBytesでStripeを設定

$ mkdir /home2/ddn/testdir/st2
$ lfs setstripe -s 1m -c 2 /hoeme2/ddn/testdir/st2

例2) 全OST、Stripe Size=4MBytesでStripeを設定

$ mkdir /home2/ddn/testdir/st_all
$ lfs setstripe -s 4m -c -1 /home2/ddn/testdir/st_all

2.4.3.2.Stripe確認方法 (lfs getstripe/lfs osts)

Stripeの確認はlfs getstripeコマンドで実施します。

基本的な使用方法は以下となります。

lfs getstripe [--obd|-O <uuid>] [--quiet|-q] [--verbose|-v] [--recursive|-r] <filename|dirname>
  • --obd|-O <uuid> :
    指定したOSTに属するファイルを表示
  • --quiet|-q:
    出力項目の制限
  • --verbose|-v:
    Verbose Mode
  • --recursive|-r:
    Recursive Mode

 

例1) 下記においてtestfile1はobdidxで示される2つのOSTにStripeされていることを確認することができます。

$ lfs getstripe /home2/ddn/testdir/st2/testfile1
/home2/ddn/testdir/st2/testfile1
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  54
        obdidx          objid          objid           group
             7            258          0x102               0
            14            258          0x102               0
$

各obdidxのObject Nameはlfs ostsの出力結果から確認することができます。

$ lfs osts
OBDS:
0: home2-OST0000_UUID ACTIVE
1: home2-OST0001_UUID ACTIVE
2: home2-OST0002_UUID ACTIVE
3: home2-OST0003_UUID ACTIVE
4: home2-OST0004_UUID ACTIVE
5: home2-OST0005_UUID ACTIVE
6: home2-OST0006_UUID ACTIVE
7: home2-OST0007_UUID ACTIVE
8: home2-OST0008_UUID ACTIVE
9: home2-OST0009_UUID ACTIVE
10: home2-OST000a_UUID ACTIVE
11: home2-OST000b_UUID ACTIVE
12: home2-OST000c_UUID ACTIVE
13: home2-OST000d_UUID ACTIVE
14: home2-OST000e_UUID ACTIVE
15: home2-OST000f_UUID ACTIVE
16: home2-OST0010_UUID ACTIVE
17: home2-OST0011_UUID ACTIVE
18: home2-OST0012_UUID ACTIVE
19: home2-OST0013_UUID ACTIVE
20: home2-OST0014_UUID ACTIVE
21: home2-OST0015_UUID ACTIVE
22: home2-OST0016_UUID ACTIVE
23: home2-OST0017_UUID ACTIVE
24: home2-OST0018_UUID ACTIVE
25: home2-OST0019_UUID ACTIVE
26: home2-OST001a_UUID ACTIVE
27: home2-OST001b_UUID ACTIVE
28: home2-OST001c_UUID ACTIVE
29: home2-OST001d_UUID ACTIVE
30: home2-OST001e_UUID ACTIVE
31: home2-OST001f_UUID ACTIVE
32: home2-OST0020_UUID ACTIVE
33: home2-OST0021_UUID ACTIVE
34: home2-OST0022_UUID ACTIVE
35: home2-OST0023_UUID ACTIVE
36: home2-OST0024_UUID ACTIVE
37: home2-OST0025_UUID ACTIVE
38: home2-OST0026_UUID ACTIVE
39: home2-OST0027_UUID ACTIVE
$

例2) -rを付与するとrecursive modeとなり指定したディレクトリ配下に存在する全てのオブジェクトについてStripe情報が表示されます。

$ lfs getstripe -r /home2/ddn/testdir/
/home2/ddn/testdir/
stripe_count:   1 stripe_size:    1048576 stripe_offset:  -1
/home2/ddn/testdir/st2
stripe_count:   2 stripe_size:    1048576 stripe_offset:  -1
/home2/ddn/testdir/st2/testfile1
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  54
        obdidx           objid          objid            group
             7             258          0x102                0
            14             258          0x102                0

/home2/ddn/testdir/st2/testfile2
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  66
        obdidx           objid          objid            group
             1             258          0x102                0
             8             258          0x102                0

/home2/ddn/testdir/st2/testfile3
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  13
        obdidx           objid          objid            group
            11             258          0x102                0
            16             258          0x102                0

/home2/ddn/testdir/st_all
stripe_count:   -1 stripe_size:    4194304 stripe_offset:  -1
/home2/ddn/testdir/st_all/testfile1
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  31
        obdidx           objid          objid            group
             2             258          0x102                0
             4             258          0x102                0
             8             258          0x102                0
            11             258          0x102                0
            15             258          0x102                0
            17             258          0x102                0

(省略)

$

 

例3) 特定のOSTに属するファイルを探す場合は下記を実施します。

$ lfs getstripe --r --obd home2-OST0000_UUID /home2/ddn/testdir/
/home2/ddn/testdir/st_all/testfile1
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  31
        obdidx           objid          objid            group
             0             258          0x102                0 *

/home2/ddn/testdir/st_all/testfile2
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  37
        obdidx           objid          objid            group
             0             259          0x103                0 *

/home2/ddn/testdir/st_all/testfile3
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  43
        obdidx           objid          objid            group
             0             260          0x104                0 *
$

 

▲このページの先頭へ