Date: Mon, 10 May 1999 14:09:42 +0900
Message-Id: <199905100509.OAA17393@jhfpc1.kek.jp>
Reply-To: shinya.sawada@kek.jp
To: phenix-ccj-wg@rarfaxp.riken.go.jp
Cc: sawadas@jhfpc1.kek.jp
Subject: [ccj-wg 224] PBS Installation Memo
From: sawadas@jhfpc1.kek.jp (Shinya Sawada)
Sender: owner-phenix-ccj-wg@rarfaxp.riken.go.jp
Precedence: bulk
Content-Type: text
Content-Length: 5438

PBS (Portable Batch System) Installation Memo

10/May/1999  Shin'ya Sawada (KEK)

作業は基本的に root で行った。

１．ソースの展開

  ソースは http://pbs.mrj.com/ 以下から取って来たもの。今回インストール
  したのは pbs_v20p.tar。なお、ソースなどを取って来るためには登録が必要。
  現在は市原さんと渡邊さん、澤田が登録済み。

1.1 ccjsun上

  /usr/local/src/pbs -> pbs_v20p/ に pbs_v20p.tar を持って行き、
  # tar -xvof pbs_v20p.tar
  してソースを展開。以下、make などの作業はこのディレクトリ
  /usr/local/src/pbs_v20p/ でおこなった。

1.2 Alta Cluster 上

  /usr/local/src/pbs_v20p/ に pbs_v20p.tar を持って行き、
  # tar -xvf pbs_v20p.tar --same-owner
  してソースを展開。以下、make などの作業はこのディレクトリで行った。

２．make など

  ccjsun でも Alta Cluster (ap01) でも /usr/local/src/pbs_v20p/ で
  作業。手順は同じ。

  # ./configure --with-tcl --set-sched=tcl
  # make
  # make install

  ap01 上では当時時計が一時間ずれていたので
  *** Warning
      Clock skew detected.  Your build may be incomplete.
  が出たが、多分大丈夫。

  make install によって、/usr/spool/PBS 以下が作成された。ここが PBS の
  作業領域 etc. になり、local disk 上に置くことが推奨されているので、
  下記の設定などが終了後 ap01:/usr/spool/PBS 以下を tar して ap02-08 に
  コピー・展開し、全てのノードに同じものを作成した。

３．設定

  PBS の daemon は三つある。
  pbs_server  ：社長。ccjsun 上のみ。
  pbs_mom     ：支店長。社長から指示を受けて仕事を走らせたりする。全ての
                ノード上に必要。
  pbs_sched   ：相談役。仕事の走らせ方について社長からの諮問に答える。
                ccjsun 上のみ。
  以下はこれらの設定など。

3.1 server データベース作成

  ccjsun 上で，
  # pbs_server -t create
  これにより，サーバーのデータベースが作成される。また、3.2 にある
  ノード情報なども flush される。ノードを変更した場合、この作業が必要。

3.2 nodes ファイル

  /usr/spool/PBS/server_priv/nodes を作成．

# cat /usr/spool/PBS/server_priv/nodes
ccjsun:ts
ap01.ccj:ts
ap02.ccj:ts
ap03.ccj:ts
ap04.ccj:ts
ap05.ccj:ts
ap06.ccj:ts
ap07.ccj:ts
ap08.ccj:ts

  ちなみに，# pbs_server -t create するとこのファイルも消去されるので
  /usr/spool/PBS/ に nodes をコピーして置いてある。# pbs_server -t create
  した後にはこのバックアップを /usr/spool/PBS/server_priv にコピーして
  戻す。

3.3 mom の config ファイル

  /usr/spool/PBS/mom_priv/config を作成。(on ccjsun and Alta Cluseter)

# cat /usr/spool/PBS/mom_priv/config
$clienthost  ap01.ccj
$clienthost  ap02.ccj
$clienthost  ap03.ccj
$clienthost  ap04.ccj
$clienthost  ap05.ccj
$clienthost  ap06.ccj
$clienthost  ap07.ccj
$clienthost  ap08.ccj
$clienthost  ccjsun.riken.go.jp
$restricted  *.riken.go.jp
$restricted  *.ccj
$logevent    511

3.4 scheduler

  /usr/local/PBS/sched_priv/sched_tcl を作成。(only on ccjsun)
  基本的に spin で走っているものと同じで、ノード名のみ変更して
  ある。各ノードの load average をみて minimum なところにジョブを
  放り込むもの。

3.5 /etc/services

  /etc/services から PBS に関する entry を＊消去＊。spin.riken.go.jp の
  /etc/services には PBS に関する entry があるが、PBSが使用するポート
  はバージョンに依って変わるので、ここでは陽にはポート番号の指定を行わず
  デフォルト値で動かすのが適当。ここのところでちょっと引っかかりました。

3.6 /etc/hosts.equiv

  /etc/hosts.equiv を作って，ap01 - ap08 を追加。本当に必要か判らないが…

４．daemon の立ち上げ

  On ccjsun,
  # pbs_sched -b /usr/spool/PBS/sched_priv/sched_tcl
  # pbs_mom
  # pbs_server

  On ap01-08,
  # /usr/local/sbin/pbs_mom

  なお，何らかの理由で pbs_mom だけ殺して再立ち上げを行うときには
  # /usr/local/sbin/pbs_mom -r 
  とする。

５．Queue などの pbs_server の設定 on ccjsun

  # qmgr
  Qmgr: create queue sim_exe
  Qmgr: set queue sim_exe queue_type=Execution
  Qmgr: set queue sim_exe enabled=True
  Qmgr: set queue sim_exe started=True
  Qmgr: set server scheduling=True
  Qmgr: set server default_queue=sim_exe
  Qmgr: set server log_events=511
  Qmgr: set server mail_from=adm
  Qmgr: set server query_other_jobs=True
  Qmgr: set server scheduler_iteration=60
  Qmgr: set server default_node=1
  Qmgr: quit
  #

  なお，# qmgr -c "print server" > server.con することによって設定を
  /usr/spool/PBS/server.con に保存してあるので，pbs_server 起動後
  # qmgr < server.con でこの設定を復活できる．

(以上)
--------------------------------------------------------
| Shin'ya Sawada    (Email: shinya.sawada@kek.jp)      |
| JHF Project Office                                   |
| High Energy Accelerator Research Organization (KEK)  |
| 1-1 Oho, Tsukuba, Ibaraki, 305-0801 Japan            |
| Tel: +81-298-64-5680, Fax: +81-298-64-5258           |
--------------------------------------------------------
---------------------------------------------------------------------------
ML archives: http://www.rarf.riken.go.jp/rarf/rhic/ml/nmlist/phenix-ccj-wg/
(username = phenix-j  passwd = cc-jcc-j)