2.4.追加ストレージ領域(/home3, Lustre File System)の利用方法

目次 (2.4.追加ストレージ領域(/home3, Lustre File System)の利用方法)

2.4.   追加ストレージ領域(/home3, Lustre File System)の利用方法
2.4.1.  Lustre File System 環境構成概要
2.4.2.  /home3利用状況の確認
2.4.3.  Stripe Size / Stripe Count
2.4.3.1. Stripe設定方法 (lfs setstripe)
2.4.3.2. Stripe確認方法 (lfs getstripe/lfs osts)

▲このページの先頭へ

2.4.追加ストレージ領域(/home3, Lustre File System)の利用方法

初期値は10GBです(無償提供)。容量の追加には申請が必要です。月単位・10GB単位で容量を課題単位で追加契約ができます(有償)。
希望される場合はポータルサイト(要・SSL-VPN接続)から申請してください。(参考:ポータルサイト新規予約方法

【ハードリミット設定について】

システム上でのハードリミットは提供容量(無償提供10GB+契約容量)の2倍に設定します。
/home3の使用量が提供容量に達したとしても、猶予期間(1週間)の間は/home3へ提供容量の2倍まで書込みを行うことができます。
使用量が提供容量(ソフトリミット)未満になれば猶予期間はリセットされます。

/home3の使用量が提供容量を超えても、猶予期間内に契約容量を変更することで/home3への書込みを止めることなくご利用いただけます。
猶予期間を過ぎても/home3の使用量が提供容量を超えていた場合は、使用量が提供容量未満となるまで/home3への書込みができなくなります。
容量超過していたとしても、超過分のデータが自動的に削除されることはありません。

【契約超過分課金について】

提供容量を超えるデータを長期間(1か月以上)置いていた場合は、超過分について10GB単位で課金いたします。
例) 契約容量:300GB、提供容量: 310GB
   実利用量:495GBの場合、提供容量を500GB(契約容量490GB)とみなして課金します。
  /home3の使用量が提供容量を超えた際は、お早めに契約容量の変更やデータ退避等の対応をお願いいたします。

▲このページの先頭へ

2.4.1.Lustre File System環境構成概要

本節では以下の略語を使用しています。
MDS:Meta Data Server の略
MDT:Meta Data Target の略
OSS:Object Storage Server の略
OST:Object Storage Target の略

Lustre File Systemの構成概要を示します。

ID 1
Filesystem Name home3
Mount Point /home3
LNET @o2ib
Size 458.54TiB
i-node数 2,199,486,464
MDS (※) home3srv1-ib
(home3srv2-ib)
OSS home3srv1-ib
home3srv2-ib
MDT/OST home3stg
OST数 4
Stripe Count 1
Stripe Size 1,048,576Bytes

(※) MDSにおける()はstandby nodeを意味します。

 

▲このページの先頭へ

2.4.2. /home3 利用状況の確認

/home1の容量は課題(グループ)あたり200GBですが、追加ストレージ領域(/home3)の容量についてはご契約内容により異なります。現在のクォータ値(契約容量)等利用状況を確認するにはlfsコマンドを使用します。

〔コマンド〕

lfs quota -g グループ名 /home3

〔実行結果〕

$ lfs quota -g gxxx /home3
Disk quotas for group gxxx (gid xxxx):
      Filesystem  kbytes   quota   limit   grace   files   quota   limit   grace
          /home3   59524  1048576 2097152       -     458       0       0       -

<項目説明(左から)>
kbyte:使用量(kbytes)
quota:提供容量(ソフトリミット)(kbytes) ※10GB無償提供分含む
limit:最大容量(ハードリミット)(kbytes)
grace:提供容量越えの許容期間
files:使用中のファイル数

 

▲このページの先頭へ

2.4.3.Stripe Size / Stripe Count

ディレクトリおよびファイルのI/O Stripe設定方法について記載します。

Lustre File Systemでは各ファイルを格納するStripe Count(OSTの数)およびStripe Sizeをディレクトリやファイルごとに設定することができます。

デフォルトではStripe設定は無しとなっていますので、各ファイルは1つのOSTへ格納されます。

2.4.3.1.Stripe設定方法 (lfs setstripe)

Stripeの設定はlfs setstripeコマンドで実施します。

基本的な使用方法は以下となります。

lfs setstripe [--size|-s stripe_size] [--offset|-o start_ost] [--count|-c stripe_count] [--pool|-p pool_name] <filename|dirname>

 

  • --size|-s stripe_size:
    stripe_sizeに各OSTをStripeする際のStripe Sizeを指定
    k, m, gでそれぞれKbytes, Mbytes, GBytes指定が可能
    Defaultは0
  • --offset|-o start_ost:
    start_ostにStripeを開始するOSTを指定
    Defaultは-1でRandom
  • --count|-c stripe_count:
    stripe_countに使用するOSTの数を指定
    -1で全OST
    Defaultは0
  • --pool|-p pool_name:
    pool_nameに使用するプール名を指定

 

例1) 2OST, Stripe Size=1MBytesでStripeを設定

$ mkdir /home3/ddn/testdir/st2
$ lfs setstripe -s 1m -c 2 /hoeme2/ddn/testdir/st2

例2) 全OST、Stripe Size=4MBytesでStripeを設定

$ mkdir /home3/ddn/testdir/st_all
$ lfs setstripe -s 4m -c -1 /home3/ddn/testdir/st_all

2.4.3.2.Stripe確認方法 (lfs getstripe/lfs osts)

Stripeの確認はlfs getstripeコマンドで実施します。

基本的な使用方法は以下となります。

lfs getstripe [--obd|-O <uuid>] [--quiet|-q] [--verbose|-v] [--recursive|-r] <filename|dirname>
  • --obd|-O <uuid> :
    指定したOSTに属するファイルを表示
  • --quiet|-q:
    出力項目の制限
  • --verbose|-v:
    Verbose Mode
  • --recursive|-r:
    Recursive Mode

 

例1) 下記においてtestfile1はobdidxで示される2つのOSTにStripeされていることを確認することができます。

$ lfs getstripe /home3/ddn/testdir/st2/testfile1
/home3/ddn/testdir/st2/testfile1
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  54
        obdidx          objid          objid           group
             7            258          0x102               0
            14            258          0x102               0
$

各obdidxのObject Nameはlfs ostsの出力結果から確認することができます。

$ lfs osts
	OBDS::
	0: home3-OST0000_UUID ACTIVE
	1: home3-OST0001_UUID ACTIVE
	2: home3-OST0002_UUID ACTIVE
	3: home3-OST0003_UUID ACTIVE
$

例2) -rを付与するとrecursive modeとなり指定したディレクトリ配下に存在する全てのオブジェクトについてStripe情報が表示されます。

$ lfs getstripe -r /home3/ddn/testdir/
/home3/ddn/testdir/
stripe_count:   1 stripe_size:    1048576 stripe_offset:  -1
/home3/ddn/testdir/st2
stripe_count:   2 stripe_size:    1048576 stripe_offset:  -1
/home3/ddn/testdir/st2/testfile1
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  54
        obdidx           objid          objid            group
             7             258          0x102                0
            14             258          0x102                0

/home3/ddn/testdir/st2/testfile2
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  66
        obdidx           objid          objid            group
             1             258          0x102                0
             8             258          0x102                0

/home3/ddn/testdir/st2/testfile3
lmm_stripe_count:   2
lmm_stripe_size:    1048576
lmm_stripe_offset:  13
        obdidx           objid          objid            group
            11             258          0x102                0
            16             258          0x102                0

/home3/ddn/testdir/st_all
stripe_count:   -1 stripe_size:    4194304 stripe_offset:  -1
/home3/ddn/testdir/st_all/testfile1
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  31
        obdidx           objid          objid            group
             2             258          0x102                0
             4             258          0x102                0
             8             258          0x102                0
            11             258          0x102                0
            15             258          0x102                0
            17             258          0x102                0

(省略)

$

 

例3) 特定のOSTに属するファイルを探す場合は下記を実施します。

$ lfs getstripe -r --obd home3-OST0000_UUID /home3/ddn/testdir/
/home3/ddn/testdir/st_all/testfile1
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  31
        obdidx           objid          objid            group
             0             258          0x102                0 *

/home3/ddn/testdir/st_all/testfile2
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  37
        obdidx           objid          objid            group
             0             259          0x103                0 *

/home3/ddn/testdir/st_all/testfile3
lmm_stripe_count:   72
lmm_stripe_size:    4194304
lmm_stripe_offset:  43
        obdidx           objid          objid            group
             0             260          0x104                0 *
$

 

▲このページの先頭へ