AI가 바꾸는 컴퓨팅의 크고 작은 변화
AI의 연산 수요는 향후 5~10년 동안 대형 데이터 센터의 규모를 획기적으로 확장시킬 것입니다.
현재 하이퍼스케일 클라우드 서비스 제공업체가 운영하는 대형 데이터 센터는 50~200메가와트 수준이며, AI가 요구하는 막대한 부하로 인해 1기가와트 이상 규모의 데이터 센터로의 확장이 이루어질 것으로 보입니다.
이는 인프라 엔지니어링, 전력 생산, 냉각 시스템 등 데이터 센터를 지원하는 생태계에 막대한 영향을 미치며 시장 가치에도 변화를 줄 수 있습니다. 이러한 대형 센터를 위한 전력 및 냉각 밀도를 확보하기 위한 아키텍처 요건은 중소형 데이터 센터 설계에도 영향을 줄 것입니다.
AI의 보편화는 엣지 컴퓨팅(데이터를 중앙의 대형 데이터 센터나 클라우드가 아닌, 데이터가 생성되는 "가까운 곳, Edge"에서 처리하는 기술)의 개념도 변화시킵니다.
도메인 특화 언어 모델은 작고 단순하며 특정 목적에 최적화되어, 더 빠른 반응 속도와 낮은 지연 시간, 혹은 좁은 범위에 특화된 간단한 모델로 작업을 수행해야 하는 경우에 적합합니다.
엣지에서의 혁신은 사용자 기기의 형태에도 영향을 미치며, AI와 상호작용하는 사용자의 니즈에 맞춰 기기의 형태와 기능이 변화하게 됩니다.
이러한 변화는 기술 개발 속도, 산업 리더십, 전력 생산과 소비, 건설 및 공급망, 환경 문제, 경제 논리, 국가 안보, 투자 및 재정 등 여러 핵심 영역에서 변혁을 일으킬 것입니다.
상위 시장을 유지하려면 기술 인프라에 대한 전례 없는 수준의 투자가 필요합니다. 현재 대형 데이터 센터의 건설 비용이 10억~40억 달러 수준이라면, 5년 후에는 100억~250억 달러까지 증가할 수 있습니다.
자원에 대한 압박
이러한 대형 데이터 센터의 전력 수요와 비용은 건설 가능한 수량과 속도에 제한을 줄 수 있습니다. 이미 AI 자원을 확보하기 위한 경쟁은 고성능 시장에서 극심한 자원 확보 경쟁을 유발하고 있으며, 데이터 센터의 수요 증가로 인해 이러한 압박은 더욱 심화될 것입니다.
전력 소비는 대표적인 사례입니다. 전력 회사들은 이미 하이퍼스케일 고객들로부터 향후 5년간 전력 용량 확대 요청을 받고 있습니다. 이는 전기차 및 제조업의 리쇼어링 수요와 맞물려 전력망에 부담을 주고 있습니다.
지난 15~20년간 전력 수요는 거의 정체되어 있었지만, 이제는 그리드 확장과 새로운 전원(현장 발전 및 재생 에너지 포함) 확보를 위한 투자가 크게 증가해야 합니다.
네트워크, 메모리, 스토리지를 포함한 인프라 공급업체와 기술 공급망도 하이퍼스케일 기업, 디지털 서비스 기업, 일반 기업의 고성능 연산 수요에 맞춰 투자하고 있습니다.
대형 데이터 센터는 물리적 설계, 고급 액체 냉각, 실리콘 아키텍처, 고효율 하드웨어 및 AI 소프트웨어의 공동 설계 측면에서 한계를 넘어서고 새로운 혁신을 촉진하게 됩니다.
대형 데이터 센터는 5년 이상이 소요되는 대규모 건설 프로젝트이며, 최대 프로젝트에는 6,000~7,000명의 전문 인력이 필요합니다.
특히 전력 및 냉각 분야에서의 인력 부족이 심각하게 나타날 수 있습니다. 여러 프로젝트가 동시에 진행될 경우, 케이블 설치부터 백업 발전기 구축까지 전체 공급망에 스트레스를 줄 수 있습니다.
엣지에서의 혁신
기업들이 AI를 위한 클라우드와 엣지 컴퓨팅 사이에서 추론 작업을 어디서 처리할지 고민하는 가운데, 특정 도메인과 작업에 초점을 맞추는 전략이 중요해지고 있습니다. 이는 보다 선별되고 집중된 데이터를 기반으로 목표 모델을 구축해 연산 인프라 부담을 줄이려는 목적입니다.
또 다른 과제는 자율주행 등 지연 시간이 민감한 환경에서 더 많은 연산을 엣지로 이동시키는 것입니다. 작고 특화된 연산 모델이 엣지에서 실행될 수 있는 역량은 이 방향으로의 중요한 진전이며, 업계는 엣지용 AI 서버, AI PC, 로봇, 스피커, 웨어러블 등 새로운 형태의 디바이스를 빠르게 개발하고 있습니다.
확장 준비
데이터 센터와 엣지 컴퓨팅의 변화는 AI가 기술 산업 내 질서를 재편하고 다음 시대의 새로운 체계를 수립할 가능성을 높이고 있습니다. 업계 전반의 기업들은 자사의 시장 위치를 점검하고, 선택한 도메인 내 경쟁력을 유지하기 위한 전략적 목표 재설정이 필요합니다.
1. 클라우드 및 데이터
클라우드 및 데이터 센터 서비스 제공업체는 자사의 AI 역량이 고객의 미래 수요를 충족할 수 있도록 준비해야 합니다.
서비스로 제공할 것과 산업 전반에 기여할 기술로 무엇을 제공할지를 구분해야 하며, 모델 개발 속도 향상과 대규모 분산형 데이터 센터 구축을 위한 공급망 정비가 핵심 과제가 될 것입니다. 이는 강력한 파트너십 구축, 역량 확보, 플랫폼 강화에 집중하는 전략을 필요로 합니다.
예를 들어 Meta는 OpenAI, Alphabet 등과 경쟁하며 대형 언어 모델 분야에서 주도권을 확보하려 하고 있습니다. 이를 위해 지난 2년간 연산 인프라를 대폭 확장했으며, Llama를 오픈소스 언어 모델로 공개해 생태계 전체에 기여하고 있습니다.
2. 인프라
인프라 공급업체는 이전 세대보다 더 높은 수준의 전문화가 필요합니다. 서버, 네트워크, 스토리지, 냉각, 전력, 케이블 등 모든 구성 요소를 AI를 고려해 설계해야 하며, 연산 최적화와 성능 향상을 위한 대규모 솔루션이 요구됩니다.
이들은 AI 시대에 맞는 인프라와 서비스를 고객에게 제공하는 핵심 역할을 하게 됩니다.
3. 소프트웨어
소프트웨어 공급업체는 핵심 제품에 AI를 지속적으로 통합하며 경쟁력을 유지할 것입니다.
고객 데이터를 해석하고 이를 토대로 언어 모델을 최적화해 더 빠르고 나은 결과를 제공하는 것이 점점 더 중요해지고 있습니다. 이러한 기능들은 고객사의 역량을 강화하는 데 시너지를 낼 것으로 보입니다.
4. 엣지 디바이스
엣지 디바이스 제조사는 다양한 형태의 기기와 사용자 인터페이스를 실험하며, AI를 활용해 개인화된 경험을 제공할 수 있는 방법을 모색할 것입니다. 사용자 프라이버시 선호도를 정확히 파악하는 것도 채택률을 높이는 데 중요한 요소가 될 것입니다.
5. 데이터 센터
데이터 센터 공급망 업체는 메가센터의 확산과 엣지 컴퓨팅 진화에 따라 시장 내 역할을 재정의할 기회를 가지게 됩니다. 이들은 확장을 위한 역량 구축과 엔지니어링 기업과의 협업을 통해 대규모 데이터 센터와 고도화된 엣지 컴퓨팅에 필요한 과제를 해결하는 데 기여할 것입니다.
하이퍼스케일 기업을 포함한 대기업들이 AI 수요에 대응할 데이터 센터 구축을 계획하는 가운데, 고려해야 할 추가 요인들도 존재합니다.
그 중 핵심은 다수의 대규모 프로젝트가 동시에 추진되면서 발생하는 투자 경쟁입니다. 전력망에 대한 부담도 직접 통제하기 어려운 영역이며, 전력 소비 증가와 데이터 센터 확장이 탄소 배출과 친환경 약속에 미치는 영향 또한 기업이 관리해야 할 과제입니다.
도전은 광범위하고 복잡하지만, 글로벌 AI 경쟁이 본격화되는 지금은 어느 누구도 기다릴 여유가 없는 시점입니다. 지금이 바로 실행할 때입니다.
핵심 요약
▶ AI의 막대한 연산 수요는 현재 50~200메가와트 수준의 데이터 센터를 향후 1기가와트를 넘는 규모로 성장시킬 것으로 예상됩니다.
▶ AI는 엣지 컴퓨팅 또한 변화시킬 전망입니다. 작고 도메인 특화된 언어 모델이 낮은 지연 시간이 요구되는 작업을 지원하게 됩니다.
▶ 이러한 변화는 이미 부담이 큰 공급망에 추가적인 압박을 가할 것이며, 특히 인력과 전력 자원 확보를 두고 리더 간 경쟁이 심화될 것입니다.
▶ 데이터 센터와 엣지 컴퓨팅의 진화에 따라 기업들은 시장 내 위치를 재평가하고 전략적 목표를 재설정할 필요가 있습니다.
Bain & Company가 발행한 "Technology Report 2024" 내용의 일부를 번역하고 정리한 포스팅입니다.
자세한 내용은 Bain & Company의 리포트 원문을 살펴봐 주세요.
