운영 Runbook

이 document는 Enterprise New offline application을 기준으로 합니다.

일일 점검

1. deployment package の root directory で다음 commands를 실행합니다.

   ./bin/verify.sh --site config/site.conf
   ./bin/smoke-business-emqx.sh --site config/site.conf

2. 다음 항목을 확인합니다.
   • 3 台の Swarm nodes が Ready である。
   • APP VIP /healthz と /readyz が 200 を返す。
   • DB VIP:5432 に접속할 수 있다。
   • PostgreSQL primary、standby、witness topology が정상이다。
   • backend、redis、emqx、sourceflow、eventflow、marimo、opcua-server が active application node で모두 running 상태이다。

Application Checks

1. active application node で다음 commands를 실행합니다.

   cd /opt/tier0-enterprise/tier0-deploy
   bash bin/compose.sh ps
   bash bin/compose.sh logs --tail=200 backend
   curl -fsS http://127.0.0.1:8088/healthz
   curl -fsS http://127.0.0.1:8088/readyz

   참고

   bin/compose.sh を迂回して raw docker compose commands を直接実行하지 마세요.この wrapper script は installer が生成した runtime environment を読み込みます。

2. Health-check の見方:

   • healthz failure: まず backend process、image、container logs 를 확인합니다.
   • readyz failure: DB VIP、Redis、database migration logs も確認します。
   • Home page に到達できるが login できない場合: .env の ADMIN_INITIAL_PASSWORD を確認し、その後 backend IAM migration logs と user tables 를 확인합니다.HTTP port だけで deployment success を判断하지 마세요.

Protocol Entry Checks

nc -vz <APP_VIP> 1883
nc -vz <APP_VIP> 8883
nc -vz <APP_VIP> 8083
nc -vz <APP_VIP> 8084
nc -vz <APP_VIP> 4840

참고

EMQX と OPC UA Server は active application node に固定されています。APP VIP failover が保証するのは APP VIP:80 の HTTP entry のみです。Protocol ports は HAProxy TCP proxying 経由で route されないため、この design は protocol entries の high availability を保証しません。

Database Checks

Database nodes で次を실행합니다.

systemctl status tier0-postgresql
systemctl status tier0-repmgrd
sudo -iu postgres psql -Atqc 'select pg_is_in_recovery();'
sudo -iu postgres /usr/local/bin/repmgr -f /etc/repmgr.conf cluster show

• pg_is_in_recovery=false は primary を의미합니다.
• pg_is_in_recovery=true は standby を의미합니다.
• DB VIP は current primary のみに配置されている필요합니다.
• standby replication が interrupted した場合、または witness が upstream errors を報告した場合は、まず site を保全してください。full deployment を直接再実行하지 마세요.

APP VIP Failover

1. test 前に、現在 VIP を保持している node を記録し、次를 확인합니다.

   curl -fsS http://<APP_VIP>/healthz
   curl -fsS http://<APP_VIP>/readyz

2. 現在の VIP node で keepalived を停止した後、別の application node への VIP takeover を確認し、両方の URLs を再テストします。HAProxy backend は active application node の 8088/TCP を指すため、3 台すべての application nodes が active node の port 8088 に到達できる필요합니다.

3. keepalived を復旧した後、verify.sh と smoke checks を再실행합니다.drill 中に active application containers を停止하지 마세요.

DB Primary Failure Switchover

Failure drill の前に backup を作成し、replication が healthy であること를 확인합니다.

./bin/backup-db.sh --site config/site.conf

現在の primary で tier0-postgresql を停止した後、repmgr が standby を promote し、DB VIP takeover すること를 확인합니다.target RTO は 2 分以内です。同じ architecture での過去の tests は約 59-64 秒でした。

주의

• old primary を production topology に直接戻して起動してはいけません。まず PostgreSQL、repmgrd、keepalived を停止し、残っている DB VIP を削除します。その後 current new primary から basebackup を実行し、node を standby として register し、最後に witness を再接続します。
• failover 後に full installer を直接再実行하지 마세요.inventory 内の static primary/standby definitions が current topology を乱す可能性があります。

Backup and Restore

• Backup:

  ./bin/backup-db.sh --site config/site.conf

• Restore:

  ./bin/restore-db.sh --site config/site.conf --restore-file /backup/tier0-db/postgres-YYYYmmddTHHMMSS.dump

참고

restore 前に current primary を確認してください。restore 後は verify.sh、smoke checks、default-user path の実際の platform login verification を실행합니다.

Cleanup and Retest

./full-cleanup.sh --env install.env --yes
./install.sh --auto --yes

주의

Full cleanup は 6 nodes 上の Tier0 runtime data、Docker/Swarm data、database backups を削除します。また control container が終了した後、control node の final cleanup も실행합니다.この entry は disposable であることが確認済みの test environments でのみ사용하세요.customer data または incident site を保持する必要がある場合は、通常の --cleanup を使用し、先に backup を完了してください。

Common Issues

Backend Startup Failure

cd /opt/tier0-enterprise/tier0-deploy
bash bin/compose.sh logs --tail=300 backend
bash bin/compose.sh ps

참고

DB URL、DB VIP、Redis、migration、mounted directory permissions に중점적으로 확인하세요.

EMQX Startup Failure

cd /opt/tier0-enterprise/tier0-deploy
bash bin/compose.sh logs --tail=200 emqx

참고

certificates、configuration files、volume permissions、および ports 1883/8883/8083/8084 が占有されていないか確認してください。

repmgrd Repeated Restarts

systemctl status tier0-repmgrd
tail -100 /var/log/repmgr/repmgr.log
sudo -iu postgres psql -Atqc 'show shared_preload_libraries;'

참고

shared_preload_libraries に repmgr が含まれていること、および systemd unit が repmgrd --daemonize=false を使用していることを確認してください。

Material Verification Failure

./bin/verify-materials.sh

주의

SHA256 verification を skip して deployment を続行하지 마세요.delivery package を再取得するか、traceable process に従って materials を rebuild してください。