RCNPのネットワークとスーパーコンピュータ - Kohda Wiki

RCNPのネットワークとスーパーコンピュータ†

古いメモ書きはこちら。

原子核物理計算機 (saho)†

2020年から運用されている "saho" というコンピュータ。大体5年ごとに更新されて、mihoとsahoの交互に名付けられる。OSは AlmaLinux8.4 (CentOS系)。
- https://www.rcnp.osaka-u.ac.jp/Divisions/CN/cs2020/wiki/

余談だが、甲田はこの saho が "RCNP supercomputers" のことだと思いこんでいたが、どうも違うらしい。 saho/miho は "Computer System for Nuclear Physics" (原子核物理計算機) だそうな。

ログインの仕方†

RCNP内部から
```
$ ssh username@saho-a
```

RCNP外部から

$ ssh username@login-a.rcnp.osaka-u.ac.jp

sahoの自分のディレクトリを自分のPCで見れるようにする(マウントする)†

Windows編 (RCNP内部限定)
- エクスプローラーのアドレスバーに \\fs-a と入力すると、ユーザー名とパスワードの入力欄が現れるので入れる。

Linux編 (どこからでもOK)
- マウントポイントを作成してsshfsでマウント
```
cd mnt
mkdir saho
sshfs username@ftp-a.rcnp.osaka-u.ac.jp:/home/username/ saho/
```
- sshfs は多分デフォルトでは入ってない。Ubuntuなら sudo apt install sshfs でインストールできる。

自分が使える容量†

2016年のmihoのマニュアルによると、1ユーザーあたり150GB使えるらしい。
- 新計算機システム利用について
- もし、いっぱいまで使ってしまうと fclose: Disk quota exceeded というエラーが出る。
- どのディレクトリが容量を食ってるか調べるには du -h -d 1 ./ で出来る。

一時ファイル置き場†

一般的にLinuxだと /tmp/ が一時ファイル置き場として使えるが、sahoでは禁止されてる。代わりに、/tmp-common/ を使うことが出来る。容量は最大10TB。
- saho-a および saho-b ユーザーズガイド - RCNP 原子核物理計算機システム (CS2020)
- なんとなく、/tmp-common/ 配下に自分のユーザー名のディレクトリを作ってその中にファイルを置くという暗黙のルールがあるっぽい。知らんけど。
- 利用可能な10TBのうち、今どれだけ使われているか確認するには du -h -s /tmp-common/ 2> /dev/null 、各々がどれだけ使用しているかを確認するには du -h -d 1 /tmp-common/ 2> /dev/null で見れる。但し、他人のディレクトリの中にあるもののうち、権限的に見れないものは容量を確認することが出来ない。

/tmp-common/ 使用状況 (10分間隔で更新してます)

mailコマンド†

sahoではmailコマンドでメールが送れるように設定されている。
```
echo "本文" | mail -s "タイトル" -a tempfile.txt atesaki@mail.adress.jp
```
- 差出人表記を自分で設定したいときは、ホームディレクトリに .mailrc というファイルを作成して、
```
set from="Your Name <your@mail.adress.jp>"
```
  とすれば良い。多分ここに関しては日本語にするとエラーが出ると思われる。

バッチジョブ†

バッチジョブの作成と実行†

参考ページ -> RCNP_ComputerSystem_UsersGuide_JP_20211216.pdf (ユーザー名とパスワードは自分のsahoアカウントのものを入力)

バッチジョブとして実行するスクリプトファイルの作成
- ファイル名、拡張子は何でも良い。公式文書の見本では .sh にしてるが、通常のシェルスクリプトの形式と若干異なる。自分は .qsub にしてる。ファイルの中身の見本は以下の通り。
```
#!/bin/bash
#PBS -q AS
#PBS -m a -M username@rcnp.osaka-u.ac.jp
#PBS -o /tmp-common/junk
#PBS -e /tmp-common/junk
#PBS -j oe

cd ${PBS_O_WORKDIR}

./analyze input.dat output.dat 2>&1 > /dev/null
```
  - #PBS -q : User's Guide for Batch Job System にある "Queue Class" から選ぶ。
  - #PBS -m a -M : なにかあった時の通知先
  - #PBS -o : ジョブ実行時の標準出力の出力先 (ファイル名またはディレクトリを指定)
  - #PBS -e : ジョブ実行時の標準エラー出力の出力先 (ファイル名またはディレクトリを指定)
  - #PBS -j oe : ジョブ実行時の標準エラー出力を標準出力と同じファイルにまとめる
  - cd ${PBS_O_WORKDIR} : 後述のジョブ投下コマンドを実行したディレクトリに移動する (この記述を省略すると何故かうまく動作しない)
  - 最後の行 : 実行コマンド。2>&1 > /dev/null などを付けて、標準/エラー出力を出さないようにすることが推奨される。#PBS -o, #PBS -eで指定した出力先へ書き込もうとすると、すごく遅くなるらしい。

#PBS -oの出力先を /dev/null にすれば不要なファイルを生成せずに済むのではないか、と思ったが、 Post job file processing error; というメッセージがメールで来ることがある。仕方ないので /tmp-common/junk にゴミを貯めることにする。

バッチジョブ投下コマンド
```
$ qsub job.qsub
```
- sahoでは"qsub"というコマンドが用意されてる。 qsub <オプション> スクリプトファイル名で投下できる。よく使うオプションは以下の通り。
  - -N : ジョブの名前を設定できる。複数のバッチジョブを同時に投下する場合は設定しておくとわかりやすい。スペースは使用不可。
  - -v : スクリプトファイルにシェル変数の引き渡すことが出来る。記述方法は -v "IN=in.dat,OUT=out.dat" のようにコンマ区切りで指定。

バッチジョブの確認†

(全員分の)ジョブのステータスを表示する
```
qstat
```
詳細表示モードは -a オプションを付ける
```
qstat -a
```

自分が投下したジョブのステータスだけ表示する
```
qstat | grep ${USER}
```
- 余談だが、qstat の結果は1行あたり80文字以上あって、ターミナルの大きさを標準的な80x24とかに設定してると1行に収まらない。その対策として、
```
qstat | sed 's/ *$//'| grep ${USER}
```
  とすれば収まる。
- 空白を極限まで詰める場合は
```
qstat | sed "s/\.jcm-a//"|awk -F " +" '{printf "%s %-16s %-8s %8s %s %s\n", $1,$2,$3,$4,$5,$6}'
```
  とすればよい。
- 詳細表示モードで空白を極限まで詰める場合は
```
qstat -a | sed "s/\.jcm-a//" | awk -F " +" '{printf "%s %-8s %s %-10s %-6s %s %s %5s %s %s %s\n", $1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11}'
```

NP-1Aグループのジョブだけを表示する
```
qstat | sed "s/ *$//"| awk -F " +" "{if(\$6~/A/) print \$0}"
```
- AS, AM, ALはCPU割当がそれぞれ独立しているので、早く終わるジョブは混雑しがちなAL (最大720時間)より、積極的にAM (24時間以内)やAS (1時間以内)を使ったほうが良い。

進捗状況をリアルタイムで監視する
```
watch "qstat | sed 's/ *$//'| grep ${USER}"
```
- 画面内に収めるため最低限の情報(ジョブ名と時間)だけを表示する
```
watch -t "qstat|grep ${USER}|awk '{print \$2,\$4}'|column"
```
- 現在処理中 or 処理待ちの自分が投げたバッチジョブの個数を確認する
```
qstat | awk -F " +" "{if(\$3~/${USER}/) print \$0}"| wc -l
```

間違えて大量投下してしまった自分のジョブを全部消す
```
qselect -u ${USER} | xargs qdel
```

現在のバッチジョブの稼働状況†

1分間隔で更新してます。

最終更新 : 令和 5年 12月 24日 (日) 22:54:22