NVIDIA AIIO(AI Infrastructure and Operations) 및 최신 AI 데이터 센터 가이드라인에서 설비(Facility) 관점의 카테고리는 GPU의 엄청난 전력 소모와 발열을 감당하기 위한 ‘고밀도(High-Density) 인프라’ 대응 능력에 초점을 맞춥니다.
주요 카테고리는 다음과 같이 네 가지로 분류할 수 있습니다.
1. 전력 공급 및 분배 (Power Infrastructure)
AI 서버(DGX/HGX 등)는 일반 서버보다 몇 배 높은 전력을 소모하므로, 중단 없는 고출력 공급이 핵심입니다.
- 랙당 전력 밀도: 과거 랙당 5~10kW 수준이었던 설비를 랙당 40kW~100kW 이상으로 설계합니다.
- PDU(Power Distribution Unit): 3상 전원을 지원하고 랙 레벨에서 전력 사용량을 실시간 모니터링하는 지능형 PDU 배치.
- 백업 시스템(UPS 및 발전기): 전력 피크 시의 부하를 견디고, 정전 시 대규모 GPU 클러스터의 데이터 손실을 막기 위한 고용량 백업 설비.
2. 열 관리 및 냉각 시스템 (Thermal & Cooling)
GPU에서 발생하는 막대한 열을 제거하는 방식에 따라 물리적 설비를 구분합니다.
- 공랭식(Air Cooling): 차가운 공기를 공급하는 격차 구조(Hot/Cold Aisle Containment). 차폐벽을 설치하여 공기 섞임을 방지합니다.
- 액랭식(Liquid Cooling): 랙당 50kW가 넘어가는 경우 필수적입니다.
- DLC(Direct-to-Chip): 냉각판을 GPU에 직접 부착하여 냉각수를 순환시키는 방식.
- 침전 냉각(Immersion Cooling): 비전도성 액체에 서버를 통째로 담그는 방식.
- CDU(Cooling Distribution Unit): 냉각수를 랙 내부로 정밀하게 분배하고 온도를 조절하는 설비 계층.
3. 공간 설계 및 구조 (Space & Structural Design)
물리적인 무게와 공간 배치를 다룹니다.
- 바닥 하중(Floor Loading): 고밀도 랙과 수랭 설비는 매우 무겁기 때문에, 평당 하중 견딤 능력을 일반 데이터 센터보다 높게 보강합니다.
- 층고(Clear Height): 공기 순환용 덕트나 대형 냉각 파이프 설치를 위해 충분한 상부 공간을 확보합니다.
- 모듈형 배치: 필요에 따라 GPU 노드를 빠르게 확장할 수 있는 컨테이너형 또는 모듈형 룸 구성.
4. 물리적 환경 모니터링 및 안전 (Environmental Monitoring & Safety)
- 센서 네트워크: 랙별 유입/유출 온도, 습도, 누수 여부(수랭식의 경우)를 감지하는 센서 카테고리.
- DCIM(Data Center Infrastructure Management): 전력, 냉각, 자산 가동률을 통합 관리하는 소프트웨어와 연동된 물리 장치들.
- 특수 소방 설비: 고전압 및 정밀 기기에 적합한 가스계 소화 설비 및 조기 화재 감지 시스템.
시사점:
AIIO 자격증 과정에서 강조하는 설비의 핵심은 PUE(Power Usage Effectiveness) 최적화입니다. 단순히 장비를 배치하는 것을 넘어, 전력 효율을 극대화하기 위해 물리적 설비가 어떻게 지능적으로 제어되어야 하는지를 관리 항목으로 둡니다. 특히 최근에는 수랭식 냉각(Liquid Cooling) 인프라의 도입 여부가 설비 카테고리를 나누는 가장 큰 기준이 되고 있습니다.