運用 Runbook

この document は Enterprise New offline application を前提にしています。

日次点検

1. deployment package の root directory で次の commands を実行します。

   ./bin/verify.sh --site config/site.conf
   ./bin/smoke-business-emqx.sh --site config/site.conf

2. 次の項目を確認します。
   • 3 台の Swarm nodes が Ready である。
   • APP VIP /healthz と /readyz が 200 を返す。
   • DB VIP:5432 にアクセスできる。
   • PostgreSQL primary、standby、witness topology が正常である。
   • backend、redis、emqx、sourceflow、eventflow、marimo、opcua-server が active application node ですべて running である。

Application Checks

1. active application node で次の commands を実行します。

   cd /opt/tier0-enterprise/tier0-deploy
   bash bin/compose.sh ps
   bash bin/compose.sh logs --tail=200 backend
   curl -fsS http://127.0.0.1:8088/healthz
   curl -fsS http://127.0.0.1:8088/readyz

   ノート

   bin/compose.sh を迂回して raw docker compose commands を直接実行しないでください。この wrapper script は installer が生成した runtime environment を読み込みます。

2. Health-check の見方:

   • healthz failure: まず backend process、image、container logs を確認します。
   • readyz failure: DB VIP、Redis、database migration logs も確認します。
   • Home page に到達できるが login できない場合: .env の ADMIN_INITIAL_PASSWORD を確認し、その後 backend IAM migration logs と user tables を確認します。HTTP port だけで deployment success を判断しないでください。

Protocol Entry Checks

nc -vz <APP_VIP> 1883
nc -vz <APP_VIP> 8883
nc -vz <APP_VIP> 8083
nc -vz <APP_VIP> 8084
nc -vz <APP_VIP> 4840

ノート

EMQX と OPC UA Server は active application node に固定されています。APP VIP failover が保証するのは APP VIP:80 の HTTP entry のみです。Protocol ports は HAProxy TCP proxying 経由で route されないため、この design は protocol entries の high availability を保証しません。

Database Checks

Database nodes で次を実行します。

systemctl status tier0-postgresql
systemctl status tier0-repmgrd
sudo -iu postgres psql -Atqc 'select pg_is_in_recovery();'
sudo -iu postgres /usr/local/bin/repmgr -f /etc/repmgr.conf cluster show

• pg_is_in_recovery=false は primary を意味します。
• pg_is_in_recovery=true は standby を意味します。
• DB VIP は current primary のみに配置されている必要があります。
• standby replication が interrupted した場合、または witness が upstream errors を報告した場合は、まず site を保全してください。full deployment を直接再実行しないでください。

APP VIP Failover

1. test 前に、現在 VIP を保持している node を記録し、次を確認します。

   curl -fsS http://<APP_VIP>/healthz
   curl -fsS http://<APP_VIP>/readyz

2. 現在の VIP node で keepalived を停止した後、別の application node への VIP takeover を確認し、両方の URLs を再テストします。HAProxy backend は active application node の 8088/TCP を指すため、3 台すべての application nodes が active node の port 8088 に到達できる必要があります。

3. keepalived を復旧した後、verify.sh と smoke checks を再実行します。drill 中に active application containers を停止しないでください。

DB Primary Failure Switchover

Failure drill の前に backup を作成し、replication が healthy であることを確認します。

./bin/backup-db.sh --site config/site.conf

現在の primary で tier0-postgresql を停止した後、repmgr が standby を promote し、DB VIP takeover することを確認します。target RTO は 2 分以内です。同じ architecture での過去の tests は約 59-64 秒でした。

注意

• old primary を production topology に直接戻して起動してはいけません。まず PostgreSQL、repmgrd、keepalived を停止し、残っている DB VIP を削除します。その後 current new primary から basebackup を実行し、node を standby として register し、最後に witness を再接続します。
• failover 後に full installer を直接再実行しないでください。inventory 内の static primary/standby definitions が current topology を乱す可能性があります。

Backup and Restore

• Backup:

  ./bin/backup-db.sh --site config/site.conf

• Restore:

  ./bin/restore-db.sh --site config/site.conf --restore-file /backup/tier0-db/postgres-YYYYmmddTHHMMSS.dump

ノート

restore 前に current primary を確認してください。restore 後は verify.sh、smoke checks、default-user path の実際の platform login verification を実行します。

Cleanup and Retest

./full-cleanup.sh --env install.env --yes
./install.sh --auto --yes

注意

Full cleanup は 6 nodes 上の Tier0 runtime data、Docker/Swarm data、database backups を削除します。また control container が終了した後、control node の final cleanup も実行します。この entry は disposable であることが確認済みの test environments でのみ使用してください。customer data または incident site を保持する必要がある場合は、通常の --cleanup を使用し、先に backup を完了してください。

Common Issues

Backend Startup Failure

cd /opt/tier0-enterprise/tier0-deploy
bash bin/compose.sh logs --tail=300 backend
bash bin/compose.sh ps

ノート

DB URL、DB VIP、Redis、migration、mounted directory permissions に注目してください。

EMQX Startup Failure

cd /opt/tier0-enterprise/tier0-deploy
bash bin/compose.sh logs --tail=200 emqx

ノート

certificates、configuration files、volume permissions、および ports 1883/8883/8083/8084 が占有されていないか確認してください。

repmgrd Repeated Restarts

systemctl status tier0-repmgrd
tail -100 /var/log/repmgr/repmgr.log
sudo -iu postgres psql -Atqc 'show shared_preload_libraries;'

ノート

shared_preload_libraries に repmgr が含まれていること、および systemd unit が repmgrd --daemonize=false を使用していることを確認してください。

Material Verification Failure

./bin/verify-materials.sh

注意

SHA256 verification を skip して deployment を続行しないでください。delivery package を再取得するか、traceable process に従って materials を rebuild してください。