장애 대응할 때

알림을 수신하거나 서버 장애를 인지했을 때, PRISM에서 원인을 파악하고 대응하는 흐름을 안내합니다.

1단계: 알림 확인 — 어떤 서버에서 어떤 문제인가?

알림이 발생하면 가장 먼저 어떤 서버에서 어떤 문제가 발생했는지 확인합니다.

1. 알림 목록 진입
2. 심각도 확인 — Critical(즉시 대응), Warning(주의), Info(참고)
3. 알림 내용에서 서버명, 메트릭, 임계치 초과 값 확인
4. 해당 서버 클릭하여 상세 페이지로 이동

상세 방법: 알림·공지·이슈

2단계: 서버 위치 파악 — 어디에 있는 서버인가?

3D 서버실 뷰에서 문제 서버의 물리적 위치를 즉시 확인합니다.

1. 3D 서버실 진입
2. 빨간색/주황색으로 표시된 서버 확인
3. 해당 서버 클릭 → 랙 위치, 서버 정보 확인
4. 현장 출동이 필요한 경우 정확한 위치 전달

상세 방법: 3D 서버실

3단계: 원인 분석 — 무엇이 문제인가?

서버 상세 페이지에서 리소스 추이를 분석합니다.

• CPU 사용률 — 특정 시점에 급증했는지 확인
• 메모리 — 메모리 누수 패턴 확인
• 디스크 — 용량 부족 여부 확인
• GPU 온도/사용률 — 과열 여부 확인
• 네트워크 — 트래픽 이상 여부 확인

상세 방법: 서버 상세 보기

4단계: 즉시 대응 — 원격으로 조치

서버실에 직접 가지 않고 BMC 원격 제어로 즉시 대응합니다.

상황	조치
서버 응답 없음	BMC 원격 전원 재시작
GPU 과열	GPU 팬 속도 수동 조절
서비스 중단	서버 전원 off → on

---

BMC 전원 재시작 방법

서버가 응답하지 않을 때 BMC를 통해 원격으로 전원을 재시작하는 방법입니다.

1. 서버 상세 페이지에서 BMC 제어 버튼을 클릭합니다.
2. BMC 패널이 열리면 현재 전원 상태를 확인합니다 (ON/OFF 표시).
3. 재부팅 버튼을 클릭합니다.
4. 확인 다이얼로그에서 확인을 클릭합니다.
5. 결과 알림을 확인합니다 (재부팅 완료까지 2~5분 소요).

재부팅 결과 확인

재부팅 명령을 보낸 뒤, 서버 상태가 오프라인(회색) → 온라인(녹색)으로 변경되는지 확인하세요. 5분이 지나도 상태가 변경되지 않으면 전원 끄기/켜기를 시도합니다.

---

전원 끄기/켜기

재부팅으로 복구되지 않을 때 전원을 완전히 끄고 다시 켜는 방법입니다.

1. BMC 패널에서 전원 끄기 버튼을 클릭합니다.
2. 확인 다이얼로그에서 확인을 클릭합니다.
3. 전원 상태가 OFF로 변경될 때까지 대기합니다 (약 30초).
4. 전원 상태가 OFF로 확인되면 전원 켜기 버튼을 클릭합니다.
5. 서버가 부팅되어 정상 상태로 돌아오는지 확인합니다 (3~10분 소요).

강제 전원 끄기 주의

전원 끄기는 서버에서 실행 중인 모든 작업을 강제 종료합니다. 저장되지 않은 데이터가 유실될 수 있으므로, 재부팅으로 해결되지 않는 경우에만 사용하세요. 가능하다면 해당 서버 사용자에게 사전 안내 후 진행하는 것을 권장합니다.

---

GPU 팬 속도 수동 조절

GPU 온도가 높을 때 팬 속도를 수동으로 올려 냉각합니다.

1. 서버 상세 페이지에서 GPU 팬 제어 위젯을 확인합니다.
2. 현재 팬 속도(%)와 GPU 온도를 확인합니다.
3. 팬 속도를 높이려면 슬라이더를 오른쪽으로 이동합니다.
4. 적용 버튼을 클릭합니다.
5. GPU 온도가 안정될 때까지 모니터링합니다.

---

BMC 제어 전 확인사항

확인 항목	설명
BMC 정보 등록 여부	Vault에 BMC 접속 정보(IP, 계정)가 등록되어 있어야 사용 가능합니다
권한 확인	SaaS: 관리자가 BMC 정보를 등록해야 사용자가 제어 가능
네트워크 연결	BMC 관리 네트워크(IPMI)가 정상 연결되어 있어야 합니다

온프레미스 차이

온프레미스 환경에서는 관리자 권한으로 BMC 원격 제어가 가능합니다. SaaS 환경에서는 관리자가 BMC 정보를 먼저 등록해야 합니다.

상세 방법: 서버 카드 — BMC 원격 부팅, GPU 팬 제어

5단계: 기록 — 장애 이력 남기기

장애 내용과 조치 사항을 이슈 트래커에 기록합니다.

1. 이슈 트래커 진입
2. 새 이슈 등록 — 제목, 대상 서버, 설명 입력
3. 상태 관리 — 진행중 → 해결됨

상세 방법: 이슈 트래커

장애 유형별 대응 요약

장애 유형	확인 위치	대응 방법
서버 다운	알림 + 3D 서버실	BMC 원격 전원 재시작
GPU 과열	GPU 위젯 + 알림	GPU 팬 속도 수동 조절
디스크 부족	디스크 포화 예측 위젯	불필요 파일 정리 또는 증설
CPU 폭주	서버 상세 + 사용률 추이	프로세스 확인 및 조치
네트워크 이상	네트워크 위젯	네트워크 장비 점검
에이전트 수집 중단	Exporter 현황	에이전트 재시작