다크 모드
GPU 모니터링하기
이 화면은 GPU가 장착된 서버가 있을 때만 표시됩니다.
GPU 서버를 운영하면서 "온도가 너무 높은 건 아닌지", "오류가 나고 있는 건 아닌지", "누가 GPU를 쓰고 있는지" 확인해야 할 때 이 화면을 사용합니다.
GPU 사용률과 온도를 실시간으로 확인하고, 오류 발생 여부를 추적하며, 하드웨어 센서 데이터까지 한 곳에서 볼 수 있습니다. GPU가 과열되거나, 오류가 반복되거나, 특정 사용자가 GPU를 독점하는 상황을 빠르게 발견해서 대응할 수 있습니다.
추천 위젯 구성
아래 위젯을 켜두면 GPU 서버의 상태를 체계적으로 파악할 수 있습니다.
| 위젯 | 무엇을 알 수 있나요 | 필수 여부 |
|---|---|---|
| GPU 현황 | 전체 GPU의 사용률, 온도, GPU 메모리를 한눈에 | 필수 |
| GPU 노드별 상세 | 서버마다 GPU 사용률, 온도, GPU 메모리, 전력을 카드로 확인 | 필수 |
| GPU 오류 현황 | 메모리 오류 감지 결과와 GPU 오류 코드 발생 이력 | 필수 |
| GPU 하드웨어 정보 | GPU별 GPU 메모리, 전력, 온도, 사용률을 종합 확인 | 추천 |
| GPU 사용률 귀속 | 어떤 사용자나 작업이 GPU를 쓰고 있는지 | 추천 |
| 하드웨어 센서 | 서버별 CPU/시스템 온도, 팬 속도(RPM), 전력 소비량 | 추천 |
| 하드웨어 서버 상세 | 개별 서버의 하드웨어 센서 데이터를 상세하게 | 선택 |
| 하드웨어 이벤트 로그 | 하드웨어에서 발생한 과거 오류와 이벤트 이력 | 선택 |
화면 해설
1. GPU 현황
전체 GPU의 사용률, 온도, GPU 메모리를 사용률이 높은 순서로 정렬하여 보여줍니다. 대시보드를 열었을 때 가장 먼저 "지금 GPU가 전체적으로 얼마나 바쁜가", "온도가 높은 GPU는 없는가"를 파악할 수 있습니다.
온도 색상이 알려주는 것
GPU 이름 옆에 표시되는 온도는 색상으로 상태를 구분합니다. 색상만 보면 지금 GPU가 괜찮은지 바로 판단할 수 있습니다.
| 색상 | 의미 | 해야 할 일 |
|---|---|---|
| 녹색 | 정상 온도 범위입니다 | 조치가 필요 없습니다. 안심하셔도 됩니다. |
| 주황색 | 온도가 높은 편입니다 | 주의가 필요합니다. 주황색이 30분 이상 계속되면 관리자에게 알려주세요. |
| 빨간색 | 위험한 온도입니다 | 즉시 관리자에게 알리고, 해당 GPU의 작업 부하를 줄이는 조치가 필요합니다. |
이 숫자가 알려주는 것:
| 이런 상태면 | 의미 | 해야 할 일 |
|---|---|---|
| 모든 GPU가 녹색 | 전체 GPU가 정상 온도 범위입니다 | 없음 — 안정적입니다 |
| 사용률이 90% 이상인 GPU가 있음 | 해당 GPU가 쉴 틈 없이 작업을 처리하고 있습니다 | GPU 사용률 귀속에서 어떤 작업이 돌아가는지 확인 |
| GPU 메모리가 거의 꽉 참 | GPU 전용 메모리가 부족합니다 | 새 작업을 해당 GPU에 배치하면 실패할 수 있습니다. 다른 GPU를 사용하세요 |
| 주황색/빨간색 GPU가 여러 개 | 냉각에 문제가 있거나, 서버실 온도가 높을 수 있습니다 | 관리자에게 서버실 환경과 냉각 장치를 점검해달라고 요청하세요 |
온도 색상이 주황색으로 오랜 시간 유지된다면, 냉각 장치(팬)에 문제가 있거나 GPU에 과도한 작업이 집중되고 있을 수 있습니다. 하드웨어 센서 위젯에서 팬 RPM도 함께 확인해 보세요.
2. GPU 노드별 상세
GPU가 장착된 서버를 카드 형태로 보여줍니다. 각 카드에서 해당 서버에 장착된 개별 GPU의 사용률, 온도, GPU 메모리, 전력 소비량을 확인할 수 있습니다.
서버 한 대에 GPU가 여러 개 장착된 경우, 각 GPU의 상태를 카드 안에서 나란히 비교할 수 있어 편리합니다.
이 숫자가 알려주는 것
| 항목 | 의미 | 해야 할 일 |
|---|---|---|
| 사용률 | GPU가 얼마나 바쁘게 일하고 있는지 나타냅니다. 100%에 가까우면 GPU가 쉴 틈 없이 작업을 처리하고 있다는 뜻입니다. | 사용률이 지속적으로 95% 이상이면 작업을 다른 GPU로 분산하는 것을 검토하세요 |
| 온도 | GPU 칩의 현재 온도입니다. GPU 현황 위젯과 동일한 색상 기준(녹색/주황색/빨간색)으로 표시됩니다. | 빨간색이면 즉시 관리자에게 알려주세요 |
| GPU 메모리 | GPU 전용 메모리의 사용량입니다. GPU 메모리가 꽉 차면 작업이 실패하거나 느려질 수 있습니다. | 90% 이상이면 새 작업 배치를 피하세요 |
| 전력 | GPU가 현재 소비하고 있는 전력(W)입니다. 전력이 한도에 가까우면 GPU가 최대 성능으로 동작 중이라는 뜻입니다. | 전력이 한도에 지속적으로 도달하면 작업 부하를 점검하세요 |
같은 서버에 GPU가 여러 개인 경우
한 카드 안에서 GPU 번호(GPU 0, GPU 1, ...)별로 수치가 나뉘어 표시됩니다. 특정 GPU만 사용률이 높고 나머지는 낮다면, 작업이 한 GPU에 몰려 있는 것입니다. 작업을 고르게 분배하면 성능이 개선될 수 있습니다.
3. GPU 오류 현황
GPU에서 발생한 메모리 오류 감지 결과와 GPU 오류 코드 발생 건수 및 이력을 보여줍니다. 에러 가이드 화면에서 GPU 관련 오류 코드의 상세 원인과 대응 방법을 확인할 수 있습니다. GPU는 연산을 처리하면서 간헐적으로 오류가 발생할 수 있는데, 이 위젯에서 오류의 종류와 심각성을 구분해서 확인할 수 있습니다.
오류 유형이 알려주는 것
| 오류 유형 | 의미 | 해야 할 일 |
|---|---|---|
| 수정 가능한 오류 | GPU가 자체적으로 오류를 감지하고 수정했습니다. 작업 결과에는 영향이 없습니다. | 간헐적으로 발생하면 정상적인 범위입니다. 단, 같은 GPU에서 하루에 수십 건 이상 자주 발생하면 관리자에게 알려주세요. |
| 수정 불가능한 오류 | GPU가 감지했지만 자체적으로 수정할 수 없는 오류입니다. 작업 결과가 잘못되었거나, 작업이 중단되었을 수 있습니다. | GPU 교체를 검토해야 합니다. 데이터 오류나 작업 실패로 이어질 수 있으므로 관리자에게 즉시 알려주세요. |
| GPU 오류 코드 | GPU 드라이버에서 보고하는 오류 번호입니다. 오류의 구체적인 원인을 나타냅니다. | 오류 코드 번호와 발생 시각을 기록해서 관리자에게 전달하세요. 반복 발생하면 드라이버 재설치나 GPU 점검이 필요합니다. |
이 숫자가 알려주는 것:
| 이런 상태면 | 의미 | 해야 할 일 |
|---|---|---|
| 모든 항목이 0 | 오류가 발생하지 않았습니다 | 없음 — 정상입니다 |
| 수정 가능한 오류가 소수 발생 | 정상적인 범위입니다 | 특별한 조치 없이 지켜봐 주세요 |
| 수정 가능한 오류가 빠르게 증가 | GPU 메모리 상태가 나빠지고 있을 수 있습니다 | 관리자에게 알려서 점검을 요청하세요 |
| 수정 불가능한 오류가 1건 이상 | 해당 GPU에 하드웨어 문제가 있을 수 있습니다 | 해당 GPU의 상태를 주의 깊게 지켜보세요. 반복되면 GPU 교체가 필요합니다 |
| GPU 오류 코드가 반복 발생 | 드라이버나 GPU 하드웨어에 문제가 있습니다 | 오류 코드와 발생 시각을 기록해서 관리자에게 전달하세요 |
수정 불가능한 오류가 나오면
수정 불가능한 오류가 한 건이라도 발생했다면, 해당 GPU로 실행한 작업의 결과를 다시 확인해 보세요. 계산 결과가 잘못되었을 수 있습니다. 이 오류가 반복된다면 해당 GPU는 더 이상 신뢰할 수 없으므로 교체를 검토해야 합니다.
4. GPU 하드웨어 정보
각 GPU의 GPU 메모리 용량, 전력 한도, 현재 온도, 사용률을 종합적으로 보여줍니다. GPU 현황 위젯이 사용률 중심이라면, 이 위젯은 하드웨어 사양 정보까지 함께 확인할 수 있습니다.
이 숫자가 알려주는 것
- GPU 메모리 용량: 해당 GPU가 가지고 있는 전용 메모리의 총 크기입니다. 큰 데이터를 처리하는 작업은 GPU 메모리 용량이 큰 GPU에 배치해야 합니다.
- 전력 한도: GPU가 사용할 수 있는 최대 전력(W)입니다. 현재 전력이 한도에 가까우면 GPU가 최대 성능으로 동작 중이라는 뜻입니다.
- 현재 온도: GPU 칩의 실시간 온도입니다. 다른 위젯과 동일한 색상 기준으로 표시됩니다.
- 사용률: GPU가 얼마나 바쁘게 일하고 있는지를 백분율로 나타냅니다.
활용 방법
- GPU별 GPU 메모리 용량을 확인해서, 큰 메모리가 필요한 작업을 어떤 GPU에 배치할지 판단할 수 있습니다.
- 전력 소비가 한도에 가까운 GPU가 있는지 확인할 수 있습니다. 전력이 한도에 지속적으로 도달하면 GPU가 과부하 상태일 수 있습니다.
- 같은 종류의 GPU인데 온도 차이가 크다면, 냉각 상태나 작업 분배를 점검해야 합니다.
5. GPU 사용률 귀속
현재 어떤 사용자가, 어떤 작업으로 GPU를 사용하고 있는지 보여줍니다. GPU를 누가 쓰고 있는지, 어떤 작업이 GPU를 점유하고 있는지 한눈에 확인할 수 있습니다.
이 숫자가 알려주는 것
- 사용자명: GPU를 사용하고 있는 사용자의 계정입니다.
- 작업명/프로세스명: 해당 사용자가 실행 중인 작업의 이름입니다.
- GPU 사용률: 각 작업이 GPU를 얼마나 사용하고 있는지 백분율로 표시됩니다.
- GPU 메모리 사용량: 각 작업이 GPU 메모리를 얼마나 점유하고 있는지 표시됩니다.
활용 방법
| 이런 상황이면 | 해야 할 일 |
|---|---|
| GPU를 사용하고 싶은데 여유 GPU가 없음 | 누가 쓰고 있는지 확인하고, 급한 작업이라면 해당 사용자와 협의하세요 |
| 특정 사용자가 GPU를 과도하게 점유 | 자원 배분을 조정하는 근거로 활용할 수 있습니다. 관리자에게 알려주세요 |
| 이미 끝난 작업이 GPU를 계속 점유 | 해당 사용자에게 작업 종료를 요청하세요. 끝난 작업이 GPU를 잡고 있으면 다른 사용자가 쓸 수 없습니다 |
| 모르는 작업이 GPU를 사용 중 | 작업명과 사용자명을 확인해서 의도된 작업인지 관리자에게 문의하세요 |
6. 하드웨어 센서
서버에 내장된 하드웨어 센서에서 수집한 CPU 온도, 시스템 온도, 팬 속도(RPM), 전력 소비량을 보여줍니다. GPU뿐 아니라 서버 전체의 하드웨어 상태를 확인할 수 있는 위젯입니다.
이 숫자가 알려주는 것
| 항목 | 의미 | 해야 할 일 |
|---|---|---|
| CPU 온도 | 서버에 장착된 CPU의 현재 온도입니다 | 온도가 지속적으로 높으면 서버 내부 냉각에 문제가 있을 수 있습니다 |
| 시스템 온도 | 서버 내부(메인보드 주변)의 전체 온도입니다 | CPU 온도는 정상인데 시스템 온도가 높다면 서버실 환경을 점검하세요 |
| 팬 RPM | 냉각 팬의 회전 속도입니다. RPM 숫자가 클수록 팬이 빠르게 돌고 있다는 뜻입니다 | RPM이 0이면 팬이 멈춘 것이므로 즉시 관리자에게 알려주세요 |
| 전력 소비량 | 서버가 현재 사용하고 있는 전력(W)입니다 | 평소보다 전력이 급격히 높아졌다면 과부하 상태를 의심해 보세요 |
팬 RPM이 0이면 위험합니다
팬이 멈추면 서버 내부 온도가 빠르게 올라가서 GPU와 CPU 모두 손상될 수 있습니다. RPM이 0으로 표시되는 팬이 있다면 즉시 관리자에게 알려주세요.
7. 하드웨어 서버 상세
개별 서버의 하드웨어 센서 데이터를 상세하게 보여줍니다. 서버 카드를 클릭하면 CPU 사용률, 메모리, 네트워크 I/O, 디스크 파티션, GPU 상태를 한 화면에서 확인할 수 있습니다. 하드웨어 센서 위젯에서 이상이 확인된 서버를 더 자세히 살펴볼 때 사용합니다.
이 숫자가 알려주는 것
- 센서별 시계열 그래프: 온도, 팬 RPM, 전력의 시간별 변화를 그래프로 확인할 수 있습니다.
- 센서 목록: 해당 서버에 장착된 모든 센서의 현재 값과 상태를 한 줄씩 보여줍니다.
활용 방법
| 이런 상황이면 | 해야 할 일 |
|---|---|
| 특정 서버의 온도가 높아진 시점을 알고 싶음 | 시계열 그래프에서 온도가 올라간 시점을 확인하고, 그 시간에 어떤 작업이 실행되었는지 대조해 보세요 |
| 팬 속도가 갑자기 변한 것 같음 | 팬 RPM 그래프에서 변화 시점을 확인하세요. 팬 속도가 올라갔다면 온도 상승 때문일 수 있습니다 |
| 전력 변화를 추적하고 싶음 | 전력 그래프에서 평소 소비량과 비교해서 비정상적으로 높거나 낮은 구간이 있는지 살펴보세요 |
8. 하드웨어 이벤트 로그
서버 하드웨어에서 과거에 발생한 오류와 이벤트 이력을 시간순으로 보여줍니다. 온도 초과, 전원 문제, 팬 이상 등 하드웨어 관련 사건을 추적할 수 있습니다.
이 숫자가 알려주는 것
| 항목 | 의미 |
|---|---|
| 발생 시각 | 이벤트가 발생한 날짜와 시간입니다 |
| 서버 이름 | 이벤트가 발생한 서버입니다 |
| 이벤트 유형 | 온도, 전원, 팬, 메모리 등 어떤 종류의 이벤트인지 구분합니다 |
| 심각도 | 정보, 경고, 위험 등 이벤트의 심각성을 나타냅니다 |
| 상세 내용 | 이벤트의 구체적인 내용입니다 |
활용 방법
- 서버에 간헐적인 문제가 있을 때, 과거 이벤트를 확인해서 패턴을 파악할 수 있습니다. 예를 들어 매일 같은 시간에 온도 초과 이벤트가 나온다면, 그 시간대에 과도한 작업이 집중되고 있는 것입니다.
- 하드웨어 교체나 수리 후, 이전 오류가 재발하는지 모니터링할 수 있습니다.
- 관리자에게 문제를 보고할 때 이벤트 로그를 함께 전달하면 원인 파악에 큰 도움이 됩니다. 발생 시각과 이벤트 유형을 함께 알려주세요.
GPU 팬 제어
원격 관리 장치와 연동하여 GPU 냉각 팬의 속도를 원격으로 조절할 수 있습니다. GPU 온도가 높을 때 팬 속도를 높이거나, 소음을 줄이기 위해 팬 속도를 조정할 때 사용합니다.
제어 방식
| 방식 | 설명 | 언제 사용하나요 |
|---|---|---|
| 수동 제어 | 팬 속도를 원하는 비율(%)로 직접 설정합니다. 예를 들어, 80%로 설정하면 팬이 최대 속도의 80%로 회전합니다. | GPU 온도가 높아서 팬 속도를 즉시 올리고 싶을 때, 또는 특정 비율로 고정하고 싶을 때 |
| 자동 조절 | GPU 온도 기준값을 설정하면, 온도에 따라 팬 속도가 자동으로 올라가거나 내려갑니다. | 온도 변화에 따라 팬이 알아서 조절되기를 원할 때. 대부분의 상황에서 자동 조절을 권장합니다 |
현재 팬 속도(RPM)와 GPU 온도를 실시간으로 확인하면서 조절할 수 있습니다.
팬 속도 설정 참고 기준
| 팬 속도 | 소음 수준 | 냉각 효과 |
|---|---|---|
| 30% 이하 | 매우 조용 | 냉각 부족 — GPU 온도가 올라갈 수 있습니다 |
| 40~60% | 보통 | 일반적인 작업에 적합합니다 |
| 60~80% | 다소 시끄러움 | 높은 부하 작업에 적합합니다 |
| 80% 이상 | 시끄러움 | 최대 냉각 — GPU 온도가 높을 때 사용하세요 |
팬 속도를 낮게 설정할 때 주의하세요
팬 속도를 너무 낮게 설정하면 GPU 온도가 올라갈 수 있습니다. 팬 속도를 변경한 후에는 최소 10~15분 동안 GPU 온도 변화를 지켜봐야 합니다. 온도가 계속 오르면 팬 속도를 다시 높이세요. 팬 속도를 30% 미만으로 설정하는 것은 권장하지 않습니다.
사용 조건
GPU 팬 제어는 원격 관리 장치 정보가 사전에 등록되어 있어야 사용할 수 있습니다. 등록은 관리자에게 문의하세요.
이런 상황에서 확인하세요
| 상황 | 확인할 위젯 | 확인 방법 |
|---|---|---|
| "GPU 온도가 높아" | GPU 현황, 하드웨어 센서 | GPU 현황에서 주황색이나 빨간색으로 표시되는 GPU를 확인하세요. 하드웨어 센서에서 팬 RPM이 정상인지도 함께 확인하세요. 팬이 정상인데도 온도가 높다면 작업 부하를 줄이거나 관리자에게 알려주세요. |
| "GPU 오류가 발생했어" | GPU 오류 현황, 하드웨어 이벤트 로그 | GPU 오류 현황에서 수정 불가능한 오류가 있는지 확인하세요. 있다면 GPU 교체를 검토해야 합니다. 하드웨어 이벤트 로그에서 관련 시간대의 다른 이벤트도 함께 확인하면 원인 파악에 도움이 됩니다. |
| "GPU를 누가 쓰고 있는지 모르겠어" | GPU 사용률 귀속 | GPU 사용률 귀속 위젯에서 사용자별 GPU 점유 현황을 확인하세요. 이미 끝난 작업이 GPU를 계속 점유하고 있는지도 살펴보세요. |
| "팬 소리가 커졌어" | 하드웨어 센서, 하드웨어 서버 상세 | 하드웨어 센서에서 해당 서버의 팬 RPM을 확인하세요. RPM이 평소보다 높다면 온도 상승 때문일 수 있습니다. GPU 온도와 시스템 온도를 함께 확인해서 냉각 문제인지, 부하 증가 때문인지 판단하세요. |
| "GPU 메모리가 부족해" | GPU 현황, GPU 노드별 상세 | GPU 현황에서 GPU 메모리 사용률이 높은 GPU를 찾고, GPU 노드별 상세에서 해당 서버의 GPU 메모리 상태를 확인하세요. GPU 사용률 귀속에서 어떤 작업이 메모리를 많이 쓰는지도 살펴보세요. |
| "전력 소비가 평소보다 높아" | GPU 노드별 상세, GPU 하드웨어 정보 | GPU 노드별 상세에서 전력(W) 수치를 확인하고, GPU 하드웨어 정보에서 전력 한도 대비 현재 소비량을 비교하세요. 한도에 가까운 GPU가 많다면 전체적으로 부하가 높은 상태입니다. |
| "새 GPU를 추가했는데 잘 인식되나?" | GPU 현황, GPU 하드웨어 정보 | GPU 현황에서 새 GPU가 목록에 나타나는지 확인하세요. GPU 하드웨어 정보에서 GPU 메모리 용량과 사양이 올바르게 표시되는지 확인하세요. 보이지 않으면 관리자에게 문의하세요. |
| "서버 하드웨어에 문제가 있는 것 같아" | 하드웨어 이벤트 로그, 하드웨어 서버 상세 | 하드웨어 이벤트 로그에서 최근 오류 이벤트를 확인하세요. 하드웨어 서버 상세에서 해당 서버의 센서 값 변화를 시간대별로 추적하면 문제의 원인을 좁힐 수 있습니다. |
더 자세히 보고 싶다면
| 궁금한 내용 | 이 페이지를 보세요 |
|---|---|
| 위젯 크기 조절, 순서 변경, 내보내기 등 공통 기능 | 위젯 공통 조작법 |
| CPU, 메모리, 디스크 등 서버 전반의 성능 분석 | 성능 분석하기 |
| 매일 아침 빠르게 전체 현황을 확인하기 | 매일 출근하면 확인하기 |
| 서버 상태를 종합적으로 확인하기 | 서버 상태 한눈에 보기 |
| 알림 설정과 이력 확인 | 알림 관리 |
| 위젯을 대시보드에 배치하고 관리하기 | 대시보드 사용법 |