GPU 디바이스 관리
플릿(Fleet) 내 모든 물리 GPU 디바이스의 상태, 자원 할당 현황, 구동 모드 및 장애 관리를 수행합니다.
GPU 디바이스 목록 속성
| 테이블 항목 | 의미 및 설명 |
|---|---|
| 노드 / 클러스터 | 해당 GPU 카드가 장착된 노드 및 소속 클러스터 정보 |
| 모델 | GPU 드라이버가 보고하는 인식 문자열 (오퍼링 설정의 타겟 디바이스와 일치) |
| 별칭 (Alias) | 관리자가 카드 식별을 위해 부여한 임의의 명칭 |
| VRAM (사용/전체) · 코어 | 카드의 실시간 하드웨어 사용률이 아닌 예약/할당된 자원 수치 |
| 모드 | GPU 가동 모드 (분할, 전용, MIG 등) |
| 바인딩 세션 | 해당 GPU 카드의 자원(전체 또는 조각)을 점유하여 실행 중인 세션 목록 |
| 목표 풀 | 모드 변경 또는 노드 이동 등으로 전환 대기 중인 노드 풀 |
| 장애 관리 | 해당 카드의 수동 장애 처리(Fault) 및 정상 복구(Recover) 제어 |
특정 노드에 탑재된 GPU 디바이스만 세부 조회하려면 노드 관리 메뉴의 노드 상세 페이지를 참조하세요.
GPU 별칭 지정 (Device Alias)
기본 모델명 및 장치 순번 라벨 대신, 물리적 위치나 용도를 직관적으로 파악할 수 있도록 별칭(lab-4090-01, rack3-slot2 등)을 부여할 수 있습니다.
- 표시 범위: 설정된 별칭은 대시보드 타일, 세션 상세 페이지, 관제 UI 등 콘솔 전반에 공통 적용됩니다.
- 설정 규칙: 소속 클러스터 내에서 고유해야 하며, 최대 32자까지 지정 가능합니다. (값을 비울 경우 기본 시스템 명칭으로 원복)
- 운영 팁: 장비 랙 위치나 스티커 라벨과 일치하는 별칭을 부여하면 사용자 문의 발생 시 복잡한 UUID 대신 물리적 위치를 즉시 식별할 수 있습니다.
GPU 실행 모드 변경
GPU 카드는 워크로드 성격에 따라 다음 실행 모드 중 하나로 동작합니다.
- 분할 (Shared): HAMi 기반 vGPU 기술을 이용해 VRAM 및 코어를 여러 세션이 분할 점유
- 전용 (Exclusive): 카드 전체 자원을 단일 세션에 독점 할당
- MIG (Multi-Instance GPU): 하드웨어 차원의 MIG 분할 지원 (해당 하드웨어 지원 시)
모드 전환 프로세스 (Pending Switch)
콘솔 행에서 모드를 변경하면 전환 예약(Pending) 상태로 등록됩니다. 실행 중인 세션의 안정성을 보장하기 위해 즉시 카드가 재부팅되지 않고, 신규 세션 할당을 정지한 후 기존 세션이 모두 종료되면 자동으로 목표 모드로 전환됩니다. 전환 대기 중에는 모드 열에 현재 모드 → 목표 모드 형식으로 표시됩니다.
장애 관리 및 격리 (Fault Management)
물리적 오류가 의심되는 GPU 카드는 장애 표시 기능을 통해 수동으로 스케줄링에서 격리할 수 있습니다.
- 세션 강제 종료 및 정산: 카드에 장애를 표시하면 해당 GPU를 점유 중인 모든 세션이 즉시 종료(
gpu_fault)됩니다. 사용되지 않은 예약 크레딧은 자동 정산되어 소유자 지갑으로 환불되며 사용자에게 통보됩니다. (CUDA 컨텍스트가 손상된 프로세스를 유지하기보다 명확히 종료 후 재할당하는 것이 바람직함) - 장애 복구 (Recover): 수리 또는 장비 교체가 완료된 카드를 다시 자원 스케줄링 배치 풀로 복귀시킵니다.
DCGM Xid 자동 차단과의 차이: DCGM 모니터가 치명적 Xid 이벤트를 감지하면 노드 전체가 자동 차단(Cordon)됩니다. GPU 디바이스 단위의 장애 표시는 노드 내 일부 카드만 이상이 있고 나머지 카드는 정상일 때 특정 카드만 선택적으로 격리하기 위해 사용합니다.
자원 할당량(Reserved)과 실사용률(Metrics)의 구별
GPU 디바이스 목록 표의 VRAM 및 코어 수치는 원장 시스템에 의해 사전 **예약(Reserved)**된 자원 양을 의미합니다.