| 노드 재부팅 |
k3s 는 systemd 로 자동 기동. kubectl get nodes, kubectl get pods -A 로 확인. 진행 중이던 런은 Argo retryStrategy 로 재시작되고 $CKPT_DIR 최신 체크포인트에서 재개 |
디스크 잔량 15% 미만 (NodeDiskLow) |
du -sh /mnt/sda1/rlflow/k3s/storage/* 로 PVC 확인. 90일 지난 체크포인트·180일 지난 텔레메트리는 보존 정책 대상 |
GPU 85°C 5분 (GPUHot) |
nvidia-smi -pl 320 으로 전력 상한 하향. 운영 노드는 systemd nvidia-power-limit 이 고정 |
| 런이 Pending 으로 안 움직임 |
kubectl -n <project> describe pod <pod> 이벤트. Insufficient nvidia.com/gpu 면 슬롯 대기, exceeded quota 면 프로젝트 쿼터 |
| 런이 시작도 못하고 Error |
콘솔 런 상단 워크플로 메시지 또는 kubectl -n <project> get wf <name> -o yaml \| grep message |
| 게이트 실패 |
정책 행 report 모달의 gate 탭. 사유는 런 태그 gate_reasons |
| MLflow alias 가 콘솔과 다름 |
5분 워처가 alias_drift 이벤트를 남긴다. 되돌리지 않는다. MLflow 를 진실로 본다 |
| PostgreSQL 복구 |
PVC postgresql-backup 의 <날짜>/mlflow.dump rlflow.dump seaweedfs_filer.dump → pg_restore -d <db> |
| SeaweedFS 볼륨 복구 |
filer 메타데이터는 PostgreSQL, 볼륨 파일은 PVC data-seaweedfs-volume-0. 노드 B 복제본(001) 이 있으면 자동 복구 |
| 인증서 |
cert-manager 가 만료 30일 전 자동 갱신. kubectl get certificate -A 로 READY 확인 |
| GitHub 토큰 교체 |
infra/k3s/secrets/git-token 갱신 → install-argo-templates.sh (argo ns) → 각 프로젝트 ns 는 다음 런 제출 시 자동 복사 |
| OAuth Secret 교체 |
infra/k3s/secrets/github-oauth.env 갱신 → install-ingress.sh oauth2proxy |
| 로그인 허용 사용자 추가 |
github-oauth.env 의 GITHUB_USERS 또는 GITHUB_ORG → install-ingress.sh oauth2proxy |
| k3s 업그레이드 |
infra/versions.yaml 갱신 → render-env.py → install.sh k3s (유닛 재렌더·재시작). 분기 창구에서 재설치 리허설과 함께 |
| GPU 노드 추가 |
nodes/<host>.env (NODE_ROLE=agent, K3S_URL, K3S_TOKEN_FILE) → install.sh. Tailscale 경유면 --node-ip/--flannel-iface tailscale0 |