ストレージ、グループディスク、ファイル管理¶
Info
本ページのコマンドライン例では、以下の表記を使用します。
[login]$ : ログインノード
[rNnN]$ : 計算ノード
[login/rNnN]$ : ログインノードまたは計算ノード
[yourPC]$ : ログインノードへの接続元環境
TSUBAME4上の利用者データ(ホームディレクトリ・ワークディレクトリ・グループディスク等)の取り扱いについて¶
TSUBAME4上の利用者データ(ホームディレクトリ・ワークディレクトリ・グループディスク等)は、規則・利用細則内の"東京科学大学情報基盤センターストレージサービス利用規約"に基づき運用されています。
利用者データの取り扱いに関する、よくある質問を以下に纏めました。
1) 削除・破損したデータを復旧して欲しい
TSUBAME4では利用者データのバックアップを取っていないため、データの復旧のご要望を頂いても対応できません。
また、万が一システム事由でデータが失われた際にも原則的に補償(データ復元のための計算リソース付与等)は行いません。
重要なデータについては必ずご自身でバックアップしてください。
2)グループディスク上のデータについて、停止・またはグループから離脱したアカウントのデータにアクセス・削除したい
TSUBAME4では原則として利用者のストレージに対する管理者権限での操作は行いません。
卒業などでアカウントの停止・グループからの離脱がある場合は必ず事前にグループ内で移行作業を実施してください。
1ディレクトリ当たりのファイル数の目安を教えてください¶
1ディレクトリあたりのファイル数が多くなると、当該ディレクトリ配下のファイルに対するメタデータ操作(ファイルの作成・削除・オープン)の際に処理時間が増大したり、ファイルシステムがエラーを出すことでファイルを作れなくなるなどの事象が発生します。
プログラムのファイルアクセス性能の面でも不利になりますので、 グループディスクを利用する場合でも、1ディレクトリ当たり1万ファイル以下を目安に、ファイルを階層的に配置することをお勧めいたします。
過去の問い合わせ例では、1ディレクトリあたり70,000ファイル程度の状況下でメタデータ操作によるアクセス遅延が発生しております。
例:
- NG: 00000.dat ～ 99999.dat
- 1ディレクトリに10万ファイルをフラットに配置すると、ファイルアクセス時の負荷が増大し、性能低下・障害の原因になります。
- OK: 000/00000.dat ～ 000/00999.dat, 001/01000.dat ～ 001/01999.dat, …
- 階層的に配置することで、1ディレクトリ当たりのファイル数を1000程度に抑えることで、メタデータ操作のコストを最小化できます。
ファイル転送について¶
TSUBAME4.0ではrsync、scp、sftpによるファイル転送が可能です。ログイン同様、TSUBAMEポータルに登録したSSH公開鍵のペアとなるSSH秘密鍵を用いてアクセスする必要があります。
また、利用されているアプリケーションによってはタイムアウトになる場合もありますので、 ご利用されているアプリケーションの設定をよくご確認下さい。
- ファイル転送アプリケーションをインストールする場合 (Windows等)
- Linux/Mac/Cygwin(Windows)を使用している場合 (rsync, scp, sftpコマンド)
- CIFSによるアクセスを行う場合
ファイル転送アプリケーションをインストールする場合 (Windows等)¶
MobaXtermおよびRLoginを利用している場合、これらのソフトウェアにはファイル転送機能が組み込まれているため、そちらを利用するのが簡便です。
PuTTYなどこれら以外のソフトウェアを接続に利用している場合、FileZilla、WinSCPなどの、sftp, rsyncプロトコルに対応したファイル転送用アプリケーションをインストールする必要があります。
この場合でもログイン同様、TSUBAMEポータルに登録したSSH公開鍵のペアとなるSSH秘密鍵を用いてアクセスする必要があります。
Filezilla、WinSCPではPuTTYで普段使用している.ppk 形式の鍵ファイルがそのまま利用可能です。
各ソフトウェアの利用方法の詳細は各ソフトウェアのマニュアルを各自ご確認下さい。
また、Windows 11のオプション機能の OpenSSH クライアントを有効にすることで、コマンドプロンプトやPowerShellから次項のscp, sftpコマンドを使用することもできます。
Linux/Mac/Cygwin(Windows)を使用している場合 (rsync, scp, sftpコマンド)¶
これらの環境では rsync、scp、sftp の各コマンドが利用できます。 以下、それぞれの使い方について説明します。
rsyncの場合
ローカルからリモートホストに転送する場合は、以下のようなコマンドを実行して下さい。 鍵ペアの格納場所を標準のパス・ファイル名とした場合には-iオプションは指定不要です。
$ rsync -av --progress -e "ssh -i <秘密鍵ファイル> -l <ログイン名>" <ローカルディレクトリ> <リモートホスト>:<リモートディレクトリ>
<>の部分は状況に適したものを入力してください。例えば、ログイン名がTSUBAMEUSER00のユーザが秘密鍵の ~/.ssh/ecdsa を用いて、カレントディレクトリをTSUBAME4の/gs/bs/TSUBAME00にコピーする場合のコマンドは以下になります。
[yourPC]$ rsync -av --progress -e "ssh -i ~/.ssh/ecdsa -l TSUBAMEUSER00" ./ login.t4.gsic.titech.ac.jp:/gs/bs/TSUBAME00
転送元や転送先の指定の仕方などの使用方法の詳細は以下のコマンドを実行して確認して下さい。
$ man rsync
scpの場合
リモートホストからローカルに転送する場合は、以下のようなコマンドを実行して下さい。鍵ペアの格納場所を標準のパス・ファイル名とした場合には-iオプションは指定不要です。
$ scp -i <秘密鍵ファイル> <ログイン名>@<リモートホスト>:<リモートディレクトリ> <ローカルディレクトリ>
ログイン名がTSUBAMEUSER00のユーザが秘密鍵の ~/.ssh/ecdsa を用いて、カレントディレクトリにTSUBAME4の/gs/bs/TSUBAME00をコピーする場合の例は下記のコマンドとなります。
[login]$ scp -i ~/.ssh/ecdsa TSUBAMEUSER00@login.t4.gsic.titech.ac.jp:/gs/bs/TSUBAME00 .
オプションの詳細は以下のコマンドを実行して確認して下さい。
[login]$ man scp
sftpの場合
インタラクティブに転送を行う場合は以下のようなコマンドを実行して下さい。鍵ペアの格納場所を標準のパス・ファイル名とした場合には-iオプションは指定不要です。
$ sftp -i <秘密鍵ファイル> <ログイン名>@<リモートホスト>
例えば、ログイン名がTSUBAMEUSER00のユーザが秘密鍵の.ssh/ecdsaを用いて、TSUBAME4にアクセスする場合は下記のコマンドとなります。
[yourPC]$ sftp -i ~/.ssh/ecdsa TSUBAMEUSER00@login.t4.gsic.titech.ac.jp
オプションの詳細は以下のコマンドを実行して確認して下さい。
$ man sftp
CIFSによるアクセスを行う場合¶
また、学内端末に限りCIFSによるアクセスが可能です。 CIFSサーバは下記です。
\\gshs.t4.gsic.titech.ac.jp
詳細は 学内からのCIFSによるアクセス をご覧下さい。 接続がうまくいかない場合はグループディスクへのCIFS接続ができない, WindowsでTSUBAMEのグループディスクが開けないもご参照ください。
TSUBAME内外で大容量データのコピーを行いたい¶
TSUBAMEとTSUBAME外の端末間で大容量のデータを転送したい場合以下をご確認ください。
ファイルを適切なサイズに固める¶
大量の小さなファイルは転送速度の低下を引き起こします。tarコマンドなどで、1GB程度に固めてから転送します。
接続プロトコルを見直す¶
scp/sftpでパフォーマンスが出ない場合は、rsyncや、CIFS(学内のみ)で接続すると速度が改善するかもしれません。
また、scpを並列実行するmscpを使用することで転送速度が向上する可能性があります。
mscpはコマンドを入力する側の計算機にインストールするだけで利用可能です。TSUBAME4.0にもインストールされておりますのでお試しください。
CIFSでの接続方法については、学内からのCIFSによるアクセス をご覧下さい。 接続がうまくいかない場合はグループディスクへのCIFS接続ができない, WindowsでTSUBAMEのグループディスクが開けないもご参照ください。
ネットワーク経路上のボトルネックを取り除く¶
- リンク速度が1000Mbpsを下回るような古いLANケーブル(CAT-3、CAT-5(5eを除く))、スイッチングハブ、ルータ等があれば高速な物に置き換える。
- ルータ(WiFiルータ,NATルータ,ブロードバンドルータなど)を利用してる場合、端末をルータ外のネットワーク(東京科学大の場合、131.112又は172.16~31で始まるIPアドレス)に直結する。
学内のネットワークの詳細については研究室のネットワーク管理者、不明な場合はその建物、組織毎の支線管理者にお問い合わせください。
(学内利用者のみ)演習室の教育用計算機システム端末(Windows)を利用する¶
ネットワーク構成変更が難しい場合、HDDをCIIに持ち込んで演習室の教育用計算機システム端末(Windows)に接続してデータを転送することもできます。ただし、利用時間が決められていますのでご注意ください。
TSUBAMEと手元マシン・研究室マシンでデータを同期するには¶
普段は、WinSCPなどのグラフィカルな操作(GUI)が可能なソフトウエアを利用するのが簡単かと思いますが、
大量のデータを一括で同期する場合は rsync コマンドの利用をご検討ください。
rsync コマンドの利点は差分だけを転送する点が挙げられます。
何らかの理由でファイル転送が中断した場合でも続きから再開できますし、一定期間後に再度実行すれば、内容の変更のあったファイルだけを転送できます。
コピー元から削除されたデータはコピー先でも削除して完全に同期することも可能です。
以下にコマンド例を示します。コマンドが途中で失敗している場合を考慮し、ログを確認したり、複数回実行するのが良いでしょう。
手元の端末のデータをTSUBAMEに同期する。
[yourPC]$ rsync -auv (コピー元のディレクトリ) (自分のログイン名)@login.t4.gsic.titech.ac.jp:(コピー先のディレクトリのフルパス)
TSUBAMEのデータを手元の端末に同期する。
[login]$ rsync -auv (自分のログイン名)@login.t4.gsic.titech.ac.jp:(コピー元のディレクトリのフルパス) (コピー先のディレクトリ)
"Disk quota exceeded" というエラーが出力される¶
ホームディレクトリの容量、またはグループディスクの容量が不足していることが原因です。
不要なファイルを削除するか、グループディスクを追加購入して空き領域を確保してください。
以下のコマンドで、隠しディレクトリを含む全てのディレクトリのディスク使用量を確認できます。
[login/rNnN]$ cd $HOME
[login/rNnN]$ du -h --max-depth=1 | sort -hr
アプリケーションによっては一時ファイルの作成場所がホームディレクトリとなっている場合がありますので、ご注意下さい。
Gaussian や COMSOL などの一部の商用アプリケーションは、系によってですが、ホームディレクトリの25GB程度の容量では不足する場合がありますので、グループディスクをご利用下さい。
アプリケーションが使用するキャッシュファイル・ユーザーファイル等の格納先ディレクトリを変更したい。
ホームディレクトリおよびグループディスクの利用状況は以下のFAQで確認下さい。
TSUBAMEポイント、グループディスクの使用状況、ホームディレクトリの使用状況の確認方法
グループディスクに関するFAQ¶
グループディスクとは¶
利用の手引きに書かれている高速ストレージ領域 (SSD) と大容量ストレージ領域 (HDD) のことで、TSUBAMEグループ毎にTSUBAMEポータルで設定された容量を利用できる共有ストレージです。
利用期間：購入日を含む月から1ヶ月単位、最長年度末(3月末)まで
購入単位あたりのポイント、iノード
| 種別 | 購入単位 | ポイント | iノード |
|---|---|---|---|
| 大容量ストレージ領域 (HDD) | 1TB | 0.5 | 2,000,000 |
| 高速ストレージ領域 (SSD) | 100GB | 0.2 | 200,000 |
設定方法：TSUBAMEポータルから設定可能です
TSUBAMEポータル利用の手引き 10. グループディスクの管理
グループディスクの猶予期間とは¶
年度初めに、支払コード申請の集中による承認作業の遅れが発生した場合に、データにアクセスできなくなることのないように、3月に有効だったグループディスクは読み込み/削除のみ可能な猶予状態となります。この期間のことを猶予期間といい、通常は4月中旬頃まで維持されます。
前年度のデータが残っている場合に、猶予期間後に購入する場合は以下のようになります。
例えば前年度50TB購入し、45TBの容量を使用していた場合を例とします。
1) 猶予期間中に45TBを削除し、使用容量が0の場合
最小容量である1TBから購入可能
2) 猶予期間中に25TBを削除し、購入時の使用容量が20TBの場合
20TB以上から購入可能
3) 猶予期間中に使用容量を削除しなかった場合(購入時の使用容量が45TB)
45TB以上から購入可能
前年度データが不要な場合は猶予期間中の削除をお願いいたします。
関連FAQ¶
グループディスクに突然アクセスできなくなりました。¶
グループディスクはひと月ごとに確保するため、月を跨いだタイミングでグループディスクの使用量が確保したサイズを超過する場合があります。
この状態が続いた場合、特定のタイミングで対象グループディスクへの一切のアクセスが禁止されます。
- グループディスクの利用状況を確認したい場合、グループディスクの利用状況確認を参照してください。
- グループディスクの使用量超過時の対応については、グループディスクの使用量超過時の対応を参照してください。
また、グループディスクに関するFAQについても併せてご確認ください。
グループディスクへのCIFS接続ができない, WindowsでTSUBAMEのグループディスクが開けない¶
CIFSでのTSUBAMEグループディスクへのアクセスは学内のみです。学外からはアクセスできません。
また、学内ネットワークでも、研究室等の途中のルータ等でCIFSが遮断されていることがあり、その場合には使用できません。
一般的なルータの初期設定ではTCP/UDP 445ポートの通信がデフォルトで遮断されていることも多いため、設定を確認してください。
Info
学内ネットワークの支線間通信でTCP/UDP 445が遮断される設定が行われておりますが、TSUBAME4のネットワークに対しては例外設定を行っているため、支線ネットワーク(建物スイッチ)から先では遮断されておりません。
ポートの遮断設定に問題がない場合は、そもそもCIFSサーバに到達できていない可能性があります。CIFSサーバまでのネットワーク疎通をご確認下さい。
DOSプロンプト等でPINGをご確認ください。
C:\> ping gshs.t4.gsic.titech.ac.jp
Windows からグループディスクへアクセスするには、TSUBAMEパスワードの設定が必要です。TSUBAMEポータルから設定を行ってください。設定方法はこちらをご覧下さい。
また、
- 「パスワードが違います。」
- 「パスワードの有効期限が切れています。」
と表示された場合も、同様にTSUBAMEパスワードを再設定してください。
グループディスク内で他のメンバーが読み書きできるようにするには¶
Warning
本記事はグループディスク(/gs/bs, /bs/fs)に関してのものです、ホームディレクトリで以下のサンプルを実行しないでください。
利用者が自分のファイルのオーナーを変更することはできません。そのためグループパーミッションを変更して読み書きできるように設定してください。ポイントとしては、
- 一番上位のディレクトリだけではなく、ディレクトリ以下のすべてのファイル、ディレクトリも権限を変更すること。
- ファイルには読み込み(r)だけでなく書き込み(w)権限を追加すること。書き込み(w)がないと後で消去できません。
- ディレクトリには読み込み(r)だけでなく書き込み(w)と実行(x)も追加すること。実行(x)がないとディレクトリにアクセスできません。
以下にコマンド例を示します。ファイルの元々のパーミッションによってはエラーが出ることがあるため、その場合は出力が変わらなくなるまで再実行してみてください。
/gs/bs/tgX-XXXXXX/以下の自分のディレクトリを探してグループのメンバーが読み書き参照ができるようにする。
[login]$ find /gs/bs/tgX-XXXXXX/ -type d -user $USER ! -perm -2770 -print0 | xargs -r0 chmod -v ug+rwx,g+s
/gs/bs/tgX-XXXXXX/以下の自分のファイルを探してグループのメンバーが読み書きできるようにする。
[login]$ find /gs/bs/tgX-XXXXXX/ -type f -user $USER ! -perm -660 -print0 | xargs -r0 chmod -v ug+rw
/gs/bs/tgX-XXXXXX/以下の自分のファイルを探して所有グループをTSUBAMEグループに合わせる。
[login]$ find /gs/bs/tgX-XXXXXX/ -user $USER ! -group (TSUBAMEグループ名) -print0 | xargs -r0 chgrp -v (TSUBAMEグループ名)
外部ストレージ、クラウドストレージサービスを利用したい¶
ユーザ権限による外部ディスクのマウントについては許可しておりません。また、クラウドストレージサービスについても同様に対応しておりません。グループディスクの利用をご検討ください。
Info
HPCIアカウントをお持ちの方は、HPCI共用ストレージのみユーザ権限でマウント可能です。 詳細については、HPCIの利用マニュアルを参照、またはHPCIヘルプデスクにお問い合わせください。
ワークディレクトリが利用出来ません。¶
アカウントを新規に作成した場合、ワークディレクトリが使用できるようになるまで時間がかかります。詳細はワークディレクトリをご参照ください。