1. システム(System)
2. ログイン(Login)
3. コンパイル(Compiling and submitting)
4. ディレクトリー構成(Disk storage)
   
5. ファイル転送(File transfer)
   
6. プログラム実行、キュー構成、スクリプト作成、ジョブの投入
   (Execution, queuing configuration, making a script, submitting)
7. Program tuning
   

• RCNPログインサーバー(RCNP login server)
  
  • login.rcnp.osaka-u.ac.jp
    ssh等で上記のログインサーバへ入ると、汎用計算機(miho)、SX803、SX810などを選ぶためのメニューがでてきます。SX803又はSX810を選択することにより、それぞれのスーパーコンピュータへ直接ログインできるようになっています。
    
    By logging in above server (login.rcnp.osaka-u.ac.jp), the menu to select the server appears. Users can log in the super computer, SX803 or SX810 directly by selecting one of them.
    　
• CMCログインサーバー(CMC login server)
  
  • login.hpc.cmc.osaka-u.ac.jp
    ssh等で上記のログインサーバへ入ると、４つのフロントエンド端末へのログインや直接スーパーコンピュータへのログインなどを選ぶためのメニューがでてきます。フロントエンド端末を選択するとその端末へログインし、そこでプログラム編集・コンパイル・ジョブ投入などが行えます。スーパーコンピュータサーバーへ直接ログインすると、会話的（インタラクティブ）にプログラムの実行ができるようになっています。　
    
    Logging in above server (login.hpc.cmc.osaka-u.ac.jp), users can see the menu to select the server such as the frontend machines, super computer, and so on. Selecting one of them, users can log in the corresponding server.

1. RCNP側ログインサーバーに接続する。ここでのユーザー名はRCNPアカウント名です。
   Connection to the RCNP login server, where the user name is your RCNP account.
   
   

   > ssh username@login.rcnp.osaka-u.ac.jp

   
   
2. すると次の３つのサーバーが選べます。
   Select one of three servers
   
   

   1) HPC Server(miho)　<＝　RCNP General purpose computer  2) Super Computer SX-8 (SX803  64GB)　<＝　SX-8R 64GB memory node  3) Super Computer SX-8 (SX810 128GB)　<＝　SX-8R 128GB memory node

   
   
   • スーパーコンピュータにログインするには、2)又は3)を選択してください（それぞれメモリー応答速度や容量が異なります）。
     Select 2) or 3) to login in the SX-8R.
     
   • 実装されているOSはSUPER-UXです。
     Implemented OS is SUPER-UX.
     
   • ここでは、プログラムのコンパイルやジョブの投入ができます。なお、スーパーコンピュータは計算専用ですので、スーパーコンピュータ上でのプログラム編集等は推奨しません。フロントエンド端末等で行うようにしてください。
     また、インタラクティブなプログラム実行が許されています。ただし、長時間にわたるジョブをインタラクティブに実行することは他のユーザーに迷惑となりますのでご遠慮ください。
     
     Here, you can compile and submit jobs. We do not recommend editing and compilation of your programs on the super computer, which is the one only for calculation. Please edit and compile the program file(s) in a frontend terminal or others.
     The interactive processing is recommended only for debugging use. You should not run long jobs.
      

1. CMC側ログインサーバーに接続する。ここでのユーザー名はスーパーコンピューターのアカウント名です。
   In order to Connect to the CMC login server, please use your super computer account.
   
   

   > ssh rcnpXXXX@login.hpc.cmc.osaka-u.ac.jp

   
   
2. 次のようなメニューが表示されます。
   Select one of the following servers.
   
   

   Cybermedia Center,Osaka University         Welcome to a large-scale computing system !!         Select the system number of the application         [0] The information from the center         [1] Frontend Terminal (fronta)         [2] Frontend Terminal (frontb)         [3] Frontend Terminal (frontc)         [4] Frontend Terminal (frontd)         [7] Application Server (aplsv)         [8] Super Computer (sx8)         [9] Frontend Terminal (front03)         [99] Logout (Session Close)         Enter number ?

   
   
   • スーパーコンピュータのフロントエンド端末は[1]〜[4]となっており、いずれかにログインすることによって、ファイルの編集・コンパイル・ジョブの投入ができます。
     Selecting one among the entries from 1 to 4, users can log in one of the frontend terminals, where users can edit and compile your program and can submit jobs.
   • 各フロントエンドに実装されているOSはリナックスとなっています。
     Implemented OS is LINUX.
   • [8]を選択することによってスーパーコンピュータに直接ログインすることができます。そこではインタラクティブにプログラムを実行することができます。スーパーコンピュータは計算専用ですので、スーパーコンピュータ上でのプログラムのコンパイル・編集等は推奨しません。フロントエンド端末等でプログラムのコンパイル・作成・編集するようにしてください。
     長時間にわたるジョブをインタラクティブに実行することは他のユーザーに迷惑となりますのでご遠慮ください。
     
     Selecting the entry 8, users can log in the super computer server and submit jobs for your program. We do not recommend an edit and a compilation of the program on the super computer, which is only for calculations. Please edit and compile the program file(s) in the frontend terminal.
     The interactive processing is recommended only for debugging use. You should not run long jobs.

1. Compilation of simple program.
    
   > sxf90 test.f
    
2. Maximum optimization option
    
   > sxf90 -C hopt test.f
    
3. Compile option on auto parallelization.
    
   > sxf90 -P auto test.f
    
4. Compile option to use OpenMP.
    
   > sxf90 -P openmp test.f
    
5. To analyses your program performance.
    
   > sxf90 -ftrace test.f or f90 -P test.f
    
6. Change of all single precision variables to double precision
    
   > sxf90 -Wf"-A dbl4" test.f

1. 現在RCNPユーザーが使用できるハードディスクの容量は次のようになっています。
   
   Currently the RCNP users can use the following disk storages:
   
   

   Name of directory	Capacity	Usage	Quota
   /sc/rcnp/home	7.3 TB *	your home dir.	yes (100GB/user)
   /sc/rcnp/short	23.0 TB **	Temporary	No
   /sc/rcnp/work	51.9 TB	Permanent	No
   /sc/rcnp/work2	87.0 TB	Permanent	No
   /sc/rcnp/work3	87.0 TB	Permanent	No

   * Actual space for users, 4.0T are available (100GB/user).
   ** Files in this directory are kept for two weeks. Therefore, users should transfer the necessary files from this directory within this period.
   
   • Type the "df -h" command to see the current status of disk storages.
   
   

2. 旧ディレクトリーから現行システムのディレクトリーへの移行対応。
   
   Below table shows the correspondence on the disk storages for the previous systems and the current system.
   
   

   Previous disk system  for SX5		Previous disk system for SX-8R		Current disk system for SX-8R & SX-9
   /sx/rcnp/home   /sx/rcnp/work /sxshort/rcnp   n/a           /sx/rcnp/data /sx/rcnp/data2 /sx/rcnp/data3 /sx/rcnp/data4 /sx/rcnp/data5	→ → → → → → → →	/sc/rcnp/home/ /sc/rcnp/work/ /sc/rcnp/work/USER/sxshort/ /sc/rcnp/short/ /sc/rcnp/data/ /sc/rcnp/work/USER/data2/ /sc/rcnp/work/USER/data3/ /sc/rcnp/work/USER/data4/ /sc/rcnp/data5/	→ → → → →	/sc/rcnp/home/ /sc/rcnp/work/ /sc/rcnp/short/ /sc/rcnp/work2/ /sc/rcnp/work3/

ファイル転送サーバーはＲＣＮＰの汎用計算機のファイル転送 サーバーとＣＭＣのファイル転送サーバーの両方が利用できます。

For file transfer, you can use file servers of RCNP or CMC.

For RCNP servers;
http://www.rcnp.osaka-u.ac.jp/Divisions/CN/i2006/usersguide/scpusage.html

For CMC serves;
http://www.hpc.cmc.osaka-u.ac.jp/j/tebiki/old/ftp.html

1. Interactive execution (which you should use only for debugging or tuning)
   
   ジョブスケジューラーを介さず、通常の計算機と同じ様に会話的にプログラムの実行ができます（しかしながら、これはなるべくデバッグなどで止むを得ない場合のみに使用してください。プログラムの一般的な実行法は2のキューイングを参照してください。）
   
   
   • シングルプログラムの場合は、(for single CPU programs)
     
     

     % ./a.out  Hello

      
   • MPIプログラムの場合は、(for the MPI programs)
     
     

     % mpirun -np 4 ./a.out  Hello : Num. of proc. and my rank 4 3  Hello : Num. of proc. and my rank 4 0  Hello : Num. of proc. and my rank 4 2  Hello : Num. of proc. and my rank 4 1

     
     
   • OpenMPプログラムの場合は、(For OpenMP programs)
     
     ???
   
   
   
2. キューイング(Queuing)
   
   RCNPユーザーは唯一のキュー「sx-rcnp@rcnp」を指定してジョブを投入することが出来ます。ジョブ・マニュピレータが自動的に下の表にあるキュー（又はクラス）に振り分けてくれます。
   
   This table shows the ques available on the RCNP node.
   
   

   RCNP node
   Que (Class)	Number of CPU	Usage	Elapse time (hours)	CPU time (hours)	Memory (GB)
   R1L	1 cpu	Long single	72
   R1M	1 cpu	Middle single	24
   R1S	1 cpu	Short single	8
   R4L	4 cpu	Long parallel	72
   R4M	4 cpu	Middle parallel	24
   R4S	4 cpu	Short parallel	8
   R4D	1 〜 4 cpu	Debug	1	10 min.	32

   
   
   • R4Dキューはデバッグ専用キューです。デバッグの際にはsx-rcnp@rcnpの代わりにR4D@rcnpを指定してください。
     シングルおよびパラレルプログラムの実行ができます。そのためシングルプログラムは同時に4つ動きます。但し、実行時間、CPU時間、使用可能メモリーは、上記のように制限されています。
      
     R4D que is for a debugging use, on which you can run single jobs and parallel jobs within 4 CPUs. Please use R4D@rcnp instead of sx-rcnp@rcnp.The elapse time, the CPU time and the memory size are shown in above table.
      
   • CMCノードでのキューイングシステムの詳細は、CMCノードのフロントエンドにログインの後、"osirase"コマンドを実行することにより知ることができます。
     
     To get the details of que information on the CMC node, please login in the linux frontend and type a command "osirase".
      
3. スクリプト例 (Example of queuing script)
   
   ジョブ投入のスクリプト例が以下です。
   • シングルプログラムの実行例 (Example for the single jobs.)
     
     

     #!/usr/bin/csh #PBS -q sx-rcnp@rcnp #PBS -l cpunum_job=1,memsz_job=0.6gb,elapstim_req=03:00:00 setenv F_PROGINF DETAIL cd ~/ ./a.out

     
     
   • 4並列でのMPIプログラムの実行例 (Example for the MPI 4-parallel jobs.)
     
     

     #!/usr/bin/csh #PBS -q sx-rcnp@rcnp #PBS -l cpunum_job=4,memsz_job=0.6gb,elapstim_req=03:00:00 setenv F_PROGINF DETAIL cd ~/ mpirun -np 4 ./a.out

     
     
   • 4並列での（MPIを使わない、自動並列）プログラムの実行例 (Example for the 4-parallel jobs without MPI.)
     
     

     #!/usr/bin/csh #PBS -q sx-rcnp@rcnp #PBS -l cpunum_job=4,memsz_job=0.6gb,elapstim_req=03:00:00 setenv F_PROGINF DETAIL cd ~/ ./a.out

     
     
   
   
   • CPU数、メモリー量、経過（実行予定）時間の指定がすべて必須であることに注意してください。
     
     Note that it is necessary to specify the number of CPU's, the size of memory, and the elapse time for your jobs.
     
      
4. ジョブの操作 (Operating your jobs)
    
   
   • ジョブの投入 (Submitting your jobs)
      
     % qsub script.sh
      
   • ジョブの削除 (Deleting your jobs)
      
     % qdel jobnumber
      
   • ジョブの状況を確認する (Checking your job status)
      
     % qstat または、jobr
     
     
   • CMCノードからRCNPノードで実行されているジョブを操作するときは、"@rcnp"をつけます。
     
     If you control and/or check the jobs running on the RCNP node from the CMC node, the option "@rcnp" is required as shown in the following examples:
      
     % qsub @rcnp script.sh
     % qdel @rcnp jobnumber
     % qstat @rcnp
     
5. Job scheduler -- Job Manupilator --
   
   現在実装されているジョブスケジューリングシステムは"JobManupilator"と呼ばれます。そのいくつかの特徴を以下にまとめます。
   
   Job scheduler system currently implemented on SX-8R is called "JobManupilator", which has the following features:
    
   
   • ジョブ(リクエスト)の要求する実行メモリーサイズ、CPU数、実行予定時間から、穴埋め的(backfill)にスケジューリングを決定します。
     　
     This scheduler manage the scheduling map based on the execution memory size, the number of CPU and the elapse time that each job (request) requires.
      
   • ジョブ実行開始時刻が保証されます。利用者はジョブが開始される時刻をあらかじめ知ることができます。一度計算リソースが確保されると、開始時刻が遅延することはありません（しかし、例外的に優先リクエストが割り込むことがあります）。
      
     This scheduler notices the execution start time of your jobs. Once calculation resources are assigned, your jobs will start as indicated by scheduler. (The priority request might interrupt exceptionally.)
     　
   • ジョブ（リクエスト）の状態表示コマンドとして"sstat"があります。フロントエンド端末上からRCNPノードのジョブの状態をみるには"sstatr"があります。現在このコマンドは、CMCノードだけで利用可能です。
     
     The status of Job (request) submitted is displayed by using the command "sstat". Also the "sstatr" command can be used to see the status of your RCNP-node jobs from the frontend of the CMC node. These commands are used only on the CMC node.
     
   • ジョブの予約状況が以下のURLで見ることができます。予約状況確認にはアカウント(rcnpXXXX）とパスワードの入力が必要です。
     Status of your jobs can be checked from URL below. To confirm this, you need your super computer account and password.
     
     CMC node http://www.hpc.cmc.osaka-u.ac.jp/j/service/sx_jobjyoho.html
     RCNP node https://www.hpc.cmc.osaka-u.ac.jp/manual/cis-rcnp.html