商用アプリケーション¶
Info
本ページのコマンドライン例では、以下の表記を使用します。
[login]$ : ログインノード
[rNnN]$ : 計算ノード
[login/rNnN]$ : ログインノードまたは計算ノード
[yourPC]$ : ログインノードへの接続元環境
商用アプリケーション（Mathematica, Gaussianなど）が動作しません。コマンドが見つかりません。module load に失敗します。¶
TSUBAME4.0では一部の商用アプリケーションの利用には別途アプリケーション利用料が必要になります。
詳細：利用料の概略のアプリケーション (TSUBAME4.0で一部有償化)
初期状態では対象の商用アプリケーションは利用できません。module load 時に以下のエラーが発生します。
[ANSYSでの実行例]
[login/rNnN]$ module load ansys
Loading ansys/R25.1
ERROR: Access to module ansys/R25.1 is denied
You are not allowed to access this application.
Please check https://www.t4.cii.isct.ac.jp/docs/faq.ja/commercial_apps/#apps_not_found for more details.
対象の商用アプリケーションを利用するには、TSUBAMEポータルからアプリケーション有効化を行います。 アプリケーション有効化の後、再度実行してください。
Info
利用者の身分によっては利用できない商用アプリケーションがあります。詳細については商用アプリケーションの各種制限内の商用アプリケーションを利用できる身分をご確認ください。
[rNnN]$ module purge
[rNnN]$ module load ansys
[rNnN]$ runwb2
なお、アプリケーションの購入はアカウント単位で実施する必要があります。
商用アプリケーションを購入しましたが、アプリケーションが利用出来ません。についても併せてご確認ください。
Mathematica 14.1以降利用時¶
Mathematica はバージョン14.1からGUIの実行コマンド名が変更されました。
| バージョン | 実行コマンド名 |
|---|---|
| 14.0 | mathematica |
| 14.1以降 | WolframNB |
詳細についてはMathematicaをご参照ください。
商用アプリケーションを購入しましたが、アプリケーションが利用出来ません。¶
商用アプリケーションは、所属グループ単位ではなくアカウント単位で購入する必要があります。
例えばグループ管理者が購入した場合、グループ管理者のアカウントのみ利用可能となります。
利用したい全てのアカウントで、個別に購入手続きを行ってください。
（「グループ管理権限」を持つアカウントに限り、グループ内のアカウントに対する代理購入が可能です。 ）
アプリケーションの購入状況については「アプリ購入一覧表示」内の「購入者アカウント」から確認できます。
アプリケーション有効化を参考に、「購入者アカウント」にご自身のアカウントが含まれているかご確認ください。
アプリケーション有効化手続きを実施してもエラーとなってしまう場合、以下をご確認ください。
- ログインノードにログインした状態で有効化手続きを行った場合、ログアウト - 再ログインをお試しください。
- 全ノードに有効化設定が展開されるまで、最長で1時間程度かかる場合があります。時間を置いて再度ご確認ください。
購入済みの商用アプリケーションが突然使用できなくなりました。¶
購入した商用アプリケーションは、購入の操作を行った時点から、指定した月の月末まで利用可能です。
アプリケーションの購入期間を超過している可能性がありますので、アプリケーション有効化を参考にステータスの確認と必要に応じて購入をお願いします。
商用アプリケーションの利用イメージについて¶
TSUBAME4.0上で商用アプリケーションの利用する場合は、下記の2つの場合があるかと思います。
それぞれの場合について簡単に説明します。
- プリ・ソルバ・ポストの全処理を行う場合
- プリポスト処理はクライアント側で行い、ソルバ処理のみをTSUBAME4.0で実行する場合
本FAQにでてくる用語がわからない方は下部の用語についてをご確認下さい。
1.プリ・ソルバ・ポストの全処理を行う場合
TSUBAME4.0ではアプリケーションによって異なりますが、基本的にプリ・ソルバ・ポストの全機能が導入されており、インタラクティブノードでの実行の場合は「プリ・ソルバ・ポスト」の全処理を行うことができます。
インタラクティブノードでの実行について、また、プリ、ポスト、ソルバに該当するコマンドやアプリケーションも商用アプリケーションによって異なりますので、各アプリケーションの手引書やマニュアルをご確認下さい。
2.プリポスト処理はクライアント側で行い、ソルバ処理のみをTSUBAME4.0で実行する場合
Xサーバの相性問題などを回避する目的など、プリポスト処理をクライアント側で行えるよう、ソフトウェア配布を行っております。
なお、ソフトウェア配布については、利便性向上のために提供しているものですので、状況により配布を中止する可能性がありますのでご注意ください。
この場合は、下記の手順が必要となります。
1) ソフトウェアの利用申請を行い、ソフトウェアを入手する
2) ソフトウェアをクライアントにインストールする
3) クライアントにインストールしたソフトウェアでプリ処理を行う
4) TSUBAME4.0に3.で作成したデータを転送する
5) ジョブスケジューラ投入用のバッチスクリプトを作成する
6) TSUBAME4.0でqsubコマンドを実行し、5で作成したバッチスクリプトを実行する
7) 6の結果データをクライアントに転送する
8) クライアントにインストールしたソフトウェアでポスト処理を行う
用語について
-
プリポスト
下記の2つのこと、低負荷- プリ(プリプロセッサの略)：解析用インプットファイルの作成などの計算前準備作業
- ポスト(ポストプロセッサの略)：解析結果データの可視化等の解析後の作業
- プリ(プリプロセッサの略)：解析用インプットファイルの作成などの計算前準備作業
-
ソルバ
解析そのもののこと、高負荷 -
Xサーバ
X転送を行うためのクライアント側のアプリケーション
商用アプリケーションで発生したエラーに対する対処方法について¶
全般
プログラム実行時に以下のようなエラーが発生する場合の対処法
unable to connect to forwarded X server: Network error: Connection refused
Error: Can't open display: localhost:13.0
アプリケーション名: Xt error: Can't open display:
アプリケーション名: DISPLAY is not set
プログラム実行中にGUIプログラムが落ちる
端末上のkeepAliveの設定はお済みでしょうか？
お済みでない場合はFAQ「TSUBAME4.0で作業中にセッションが切れてしまいます」を確認して下さい。
プログラム実行中に突然ジョブがabortした
原因は様々考えられますが、ユーザによる切り分けとして以下を確認下さい。
- バッチエラーファイルの確認(通常、スクリプト名.e.$JOBID)
- プログラム固有のログファイルの確認
- ディレクトリの空き容量の確認
関連FAQ
Linuxのよくあるエラーについて
"Disk quota exceeded" というエラーが出力される
segmentation faultなど、プログラム実行時のエラー対応について
商用アプリケーション利用に関するライセンス制限について¶
商用アプリケーションの各種制限を参照してください。
ABAQUS CAEのモデリングで「X fatal error. ***ABAQUS/ABQcaeG rank 0 terminated by signal 6 」というエラーが発生します¶
ABAQUS CAEのモデリングで「X fatal error. ***ABAQUS/ABQcaeG rank 0 terminated by signal 6 」というエラーが発生することがあります。
これはMobaXterm等でX転送でABAQUS CAEを起動してモデリングを実行すると発生するようです。
VNC+VirtualGLを使用することでこのエラーは回避できますのでそちらをご使用下さい。
MobaXtermからのVNCの使い方についてはこちらをご参照下さい。
ポータルからnoVNC経由でVNCを使う場合はこちらをご参照下さい。
VNCからVirtualGLを使用するにはこちらをご参照下さい。
VASPのビルド、実行がうまくいかない。¶
VASPについてはライセンスの制限上、お問い合わせ頂いても十分な対応が実施できない場合があります。
official users supportとしてVASP Forum が開設されておりますので、そちらの参照、投稿もご検討ください。
また、参考情報としていくつかのFAQを掲載しております。併せてご参照ください。
TSUBAME4.0上でVASPをビルドした際の手順が知りたい。
VASP実行時に UCX ERROR failed to insert region エラーが発生する
Intel oneAPI利用時にC++17関連のエラーが発生する。
TSUBAME4.0上でVASPをビルドした際の手順が知りたい。¶
TSUBAME4.0上でVASP6.5.0をビルドした際の手順について参考情報として公開します。
-
モジュールをロードします。
[rNnN]$ module purge [rNnN]$ module load openmpi/5.0.7-nvhpc intel/2024.0.2 -
arch/makefile.include.nvhpc_ompi_mkl_omp_acc ファイルをコピーし、以下の箇所を変更します。
[rNnN]$ cp arch/makefile.include.nvhpc_ompi_mkl_omp_acc makefile.include [rNnN]$ vi makefile.include [rNnN]$ diff arch/makefile.include.nvhpc_ompi_mkl_omp_acc makefile.include 20,21c20,21 < FC = mpif90 -acc -gpu=cc60,cc70,cc80,cuda11.0 -mp < FCL = mpif90 -acc -gpu=cc60,cc70,cc80,cuda11.0 -mp -c++libs --- > FC = mpif90 -acc -gpu=cc60,cc70,cc80,cc90,cuda12.6 -mp > FCL = mpif90 -acc -gpu=cc60,cc70,cc80,cc90,cuda12.6 -mp -c++libs 81c81 < MKLROOT ?= /path/to/your/mkl/installation --- > MKLROOT ?= /apps/t4/rhel9/isv/intel/mkl/2024.0/ 87,88c87,88 < SCALAPACK_ROOT ?= /path/to/your/scalapack/installation < LLIBS_MKL = -L$(SCALAPACK_ROOT)/lib -lscalapack -Mmkl --- > #SCALAPACK_ROOT ?= /path/to/your/scalapack/installation > #LLIBS_MKL = -L$(SCALAPACK_ROOT)/lib -lscalapack -Mmkl -
Makeします。
[rNnN]$ make DEPS=1 -j12 2>&1 |tee make.log
実行する際はHCOLLを無効にします。
[rNnN]$ export OMPI_MCA_coll=^hcoll
[rNnN]$ make test
VASP実行時に UCX ERROR failed to insert region エラーが発生する¶
実行時オプション -mca coll_hcoll_enable 0 の追加をお試しください。
実行例：
[rNnN]$ mpirun -mca coll_hcoll_enable 0 vasp_std >vasp.log
Gaussian 利用時のCPU番号指定(%cpu)について¶
Info
TSUBAME4.0 で提供しているGaussianを使用する場合、CPU番号は自動で指定されます。そのため、通常は手動で設定する必要はありません。
( 指定した資源タイプに合わせて、全CPUが対象になるよう環境変数GAUSS_CDEFに指定されます。)
確保したCPUコアの一部のみGaussianで利用したい場合など、特殊な利用方法のためにCPU番号を自分で指定する方法について以下に示します。
- module load gaussian 内でGAUSS_CDEFが設定されます。必ず unset GAUSS_CDEF を実施してください。
- TSUBAME4.0 では、1ノードを複数人で使用するためCPU番号が0以外から始まることがあります。動的に割り当てられたコア番号は以下のいずれかの手順で確認できます。
なお、割り当てられたコアのうち192-383はハイパースレッディングによる論理コアです。計算効率が低下するため論理コアを指定しないことを推奨します- /sys/fs/cgroup/cpuset/AGE/{JOB_ID}.1/master/cpuset.cpus ファイルを参照する
- numactl -s | grep physcpubind コマンドを実行する
- 利用するCPU 番号 を指定する場合、%cpu または GAUSS_CDEF に範囲を指定(例 "0-5")をします。
利用するCPU 数 を指定する場合、%NProcShared または GAUSS_PDEF に数値を指定(例 "6")します。
これらの指定は排他です。
Gaussian実行時「No space left on device」エラーが発生した¶
Gaussian で指定されたスクラッチディレクトリの空き容量が枯渇した可能性があります。
環境変数 GAUSS_SCRDIRを参考に、環境変数GAUSS_SCRDIRを使用してスクラッチディレクトリを変更してください。
Info
TSUBAME3およびTSUBAME4.0初期の利用手引きに掲載されたスクリプト例では、以下の指定が行われていました。
export GAUSS_SCRDIR=$TMPDIR
現在は、より容量の大きい領域(ローカルスクラッチ領域)がデフォルトで設定されるため、本指定は不要となりました。
空き容量が枯渇するリスクが高くなるため、本指定が残っている場合は削除してください。
ANSYS Rockyを利用したい¶
ANSYS Rockyの利用方法は以下の通りです。
-
TSUBAME4上で利用する場合
以下のコマンドで実行可能です。ただし、Workbenchからの起動は出来ません。
module load ansys Rocky -
配布アプリケーション(Windows版)を利用する場合
Ansys Rockyはデフォルト設定ではインストール対象として選択されていません。インストールするプロダクトの選択時にRockyにチェックを付けてください。
( インストール済みの場合、再度インストーラを起動することでRockyのみ追加インストールすることが可能です )
COMSOLで利用可能なモジュールを知りたい。特定のモジュールを使用したい¶
TSUBAME4のCOMSOLで利用可能なモジュールは以下の通りです。モジュールライセンスの追加はできません。
- AC/DCモジュール (AC/DC Module)
- RFモジュール (RF Module)
- 波動光学モジュール (Wave Optics Module)
- プラズマモジュール (Plasma Module)
- 構造力学モジュール (Structural Mechanics Module)
- CFDモジュール (CFD Module)
- 伝熱モジュール (Heat Transfer Module)
- CADインポートモジュール (CAD Import Module)
TSUBAMEは外部のライセンスサーバを参照可能なため、ご自身でライセンスを用意しTSUBAME上で利用することは可能です。
その場合、以下の注意事項があります。
- TSUBAME4のライセンスとご自身のライセンスを組み合わせることは出来ません。 COMSOL本体およびTSUBAME4で利用可能なモジュールについてもライセンスをご用意ください。
- ご自身のライセンスサーバーとTSUBAME4のアプリケーション(バイナリ)を組み合わせて利用することは可能です。ただし、アプリケーションにアクセスするには、TSUBAMEポイントの支払い(アプリケーション有効化の手続き)が必要となります。
アプリケーション費用の二重支出を避けたい場合は、アプリケーションについてもグループディスクなどにご自身で導入してください。この場合は、アプリケーションの動作に関する問い合わせには対応できません。 - TSUBAMEでは実行ノードを固定できないため、利用するライセンスはネットワークライセンスである必要があります。アドレスについてはこちらをご参照ください。
- ご自身で導入されたCOMSOLについては、導入手順も含めTSUBAME4のサポート対象外です。
ANSYS製品について専門的な問い合わせ、有償サポートへの連絡を行いたい¶
TSUBAME4.0ではANSYS製品の有償サポートが利用可能ですが、ユーザが直接ベンダーに問い合わせをすることはできません。
東京科学大が窓口となり依頼を行うため、下記のテンプレートを必ず使ったうえで、お問い合わせよりご連絡ください。
その際、以下に記載されたルールを守ってください。不備がある場合は依頼が出来ません。
なお、「アプリが起動しない」などのTSUBAMEの基本的な使い方に含まれる内容は、通常のお問い合わせ窓口で対応可能です。
ルール
- 問い合わせ前に、サポートベンダーの公開FAQ(ログイン不要)をご確認ください。
- お問い合わせの件名は「TSUBAME4_ANSYS技術サポート依頼」としてください。
- お問い合わせ内容の「実現したいこと」に、サポートベンダーへの問い合わせ原稿を記載してください。
フリーフォーマットですが、後述の[サポートベンダー向け選択情報 テンプレート]の内容を忘れずに記載してください。
東京科学大の窓口担当にも連絡したいことがある場合、サポートベンダー宛と区別がつくように記載してください。 - 問い合わせに関して添付ファイルがある場合、TSUBAME上に保存してファイルパスを記載するか、Box等のオンラインストレージにファイルをアップロードしアクセスに必要な情報を記載してください。
なお、問い合わせ内容はサポートベンダーが確認するほか、サポートベンダーのFAQとして他利用者に公開される可能性があります。
機密情報が含まれていないかを（ファイルメタデータ含め）ご確認ください。 - 以下の「サポートベンダー向け選択情報 テンプレート」をコピー、更新してお問い合わせの最後に記載してください。
問い合わせ時に選択必須なため、該当項目がない場合は最も類似した項目を選択してください。 - 問い合わせ内容によっては依頼をお断りさせていただく場合があります。
上記ルールを確認後に、下記テンプレートを開いてご利用ください
サポートベンダー向け選択情報 テンプレート
Info
「解析種別」以外は全て必須項目です。選択肢から該当する項目以外を削除してください。
なお、「問合せ対象の製品」のみ項目を抜粋しているため、どうしても選択肢に該当しない方は製品名をご記載ください。
・問合せ対象の製品
ANSYS Workbench Mechanical（MAPDL含む）
ANSYS Fluent
ANSYS Electronics Desktop / ANSYS Icepak
・解析種別 ( ※Workbench Mechanical選択時のみ必須。他製品選択時は本項目ごと削除)
静的構造解析
モーダル / 周波数応答解析
応答スペクトル / ランダム振動解析
時刻歴応答解析（陰解法）
時刻歴応答解析（陽解法）
剛体運動解析
疲労解析
破壊解析
伝熱解析
電磁界解析（旧Emag）
構造、伝熱、電気伝導解析
音響解析
圧電解析
Fluid 製品との連成
Electronics 製品との連成
その他の連成
最適化解析
設計調査（DesignXplorer）
トポロジー最適化
Workbench Mechanical プリポスト
Workbench メッシング
外部データ / 外部モデル / FE Modeler
MAPDL プリポスト
・利用したANSYSのバージョン
記載例：ANSYS 2024R1
※バージョン表記については、「サポートされているアプリケーション」をご参照ください。
https://www.t4.cii.isct.ac.jp/applications
・利用したOS
RHEL （※TSUBAME4.0上で実行時はこちら）
Windows11
・メニューの言語環境
日本語
英語
・GUI環境
Workbench環境
MAPDL環境
Discovery環境
AIM環境
その他
以降、ANSYS LS-DYNAでユーザー定義したサブルーチンを使用したい場合のみ記載
・LS-DYNA バージョン (R〇〇.〇)
・処理タイプ (SMP or MPP)
・MPIの種類 (MPPの場合)
・CPU拡張セット (sse2 or avx512 or avx2)
・精度 (単精度 or 倍精度)
ANSYS LS-DYNAでユーザー定義したサブルーチンを使用したい¶
ANSYS LS-DYNAでユーザー定義したサブルーチンを使用する場合に必要な手順と注意事項について以下に示します。
-
ANSYSのサポートベンダーに連絡して、ビルド環境を入手します。
サポートベンダーへの問い合わせ方法についてはANSYS製品について専門的な問い合わせ、有償サポートへの連絡を行いたいをご参照ください。
必ず [サポートベンダー向け選択情報 テンプレート]に従ってお問い合わせください。 テンプレートに従わない場合は依頼を拒否させていただきます。 -
提供されたビルド環境を使用して、ご自身でビルドを行います。 よくあるトラブルを纏めました。
- ビルドに失敗する
コンパイラ/MPIがロードされていません。module load intel intel-mpi を実行してください。 - ビルドが終了したが、手順書に書かれた名称のバイナリが作成されない
手順書と実際にビルドされるバイナリの名称が違っているケースがあるようです。 ビルド環境内のMakefileを開き、-o オプションの引数に定義された名前のバイナリがビルドされます。
- ビルドに失敗する
-
ビルドしたバイナリを実行します。 その際、以下の点にご注意ください。
- 提供される環境では、LS-DYNA本体がビルドされます。実行バイナリをビルドしたものに変更してください。
- 自身でビルドしたLS-DYNAを使用する場合、以下の環境変数を指定してください。(通常のANSYS使用時は指定しないでください。指定した場合の動作は未保障です。)
- ANSYS R24.1の場合
export ANSYSLIC_DIR="/apps/t4/rhel9/isv/ansys_inc/shared_files/licensing" - ANSYS R25.1の場合
export ANSYSLIC_DIR="/apps/t4/rhel9/isv/ansys_inc/v251/licensingclient"
- ANSYS R24.1の場合