베인앤드컴퍼니, AI 보고서 3

 

Five Functions Where AI Is Already Delivering 

 

초기 성공에 힘입어, 모든 규모의 기업들이 생성형 AI에 대한 지출을 늘리고 있다.

 

At a Glance

 

기업들은 생성형 AI에 대한 지출을 늘리고 있으며, 특히 소프트웨어 개발, 고객 지원 등 여러 분야에서 활발하게 투자하고 있다. 

 

AI는 다양한 기능에서 실제로 효율성을 높이고 있으며, 고객 지원 응답 시간을 3분의 1로 줄이고 일부 코드 생성 시간을 절반으로 단축하고 있다. 

 

대부분의 기술 혁신과 달리, AI는 가치를 실현하기 위해 어느 정도 비즈니스 재설계가 필요하다. 단순히 기술을 도입하는 것만으로는 투자 대비 효과가 크지 않다.

 

일부 혁신에서는 빠른 추종자들이 선도자의 실수를 지켜보고 경쟁 우위를 확보하지만, AI에서는 그런 현상을 보지 못하고 있다. 초기 도입자들은 이미 18~36개월 만에 최대 20%의 수익 개선을 실현하기 시작했다. 이들은 역량과 자신감을 구축하고 있으며, 이는 지속적인 경쟁 우위로 이어져 운영을 재정의하고 새로운 비즈니스 모델을 개발하는 데 도움이 될 것이다. 마지막으로 이렇게 강력한 기술 혁신을 본 것은 1990년대 인터넷이 등장했을 때였으며, 이번 변화는 더 빠르게 진행되고 있다.

동시에 일부 투자자와 분석가들은 AI 투자 수익률에 대해 회의적인 입장을 유지하고 있다. 이는 AI에서 가치를 창출하는 것이 단순히 시험을 하거나 기술을 도입하는 것만으로는 충분하지 않기 때문일 수 있다. 인터넷이나 클라우드 같은 이전의 혁신보다, AI는 비즈니스 프로세스의 변화를 요구한다. 비즈니스 진단을 수행하고, 비즈니스 목표를 설정하며, 프로세스를 재설계한 후 AI 도구를 개발하고 배포하는 기업들은 엄청난 가치를 창출하고 있다.

이러한 초기 성공은 더 큰 투자를 이끌고 있다. AI 구현을 위해 1억 달러 이상을 투자한 대기업의 수는 지난 1년 동안 두 배 이상 증가했다(그림 1 참조). 이 투자는 수백 가지의 다양한 사용 사례에서 실험을 촉진하고 있지만, 우리의 연구에 따르면 오늘날 대부분의 가치는 다섯 가지 핵심 영역에서 발견되고 있다.

 

Software and product development

생성형 AI의 주요 활용 사례는 코드 생성, 문서화, 리팩토링, 디버깅, 테스트, 실행 및 유지보수 등이 포함된다. 일부 개발 조직은 코드 생성과 문서화에서 15%에서 40%의 비용 절감 효과를 보고 있으며, 리팩토링, 선택적 테스트 및 디버깅 사례에서 30%에서 50% 이상의 비용 절감을 이루고 있다. 금융 기술 플랫폼인 Intuit은 소비자와 중소기업을 위한 30개 이상의 다양한 사례를 테스트하고 확장하여, 생성형 AI를 통해 소프트웨어 개발 수명 주기 전반에서 개발 속도를 높이고 있다. Intuit는 생성형 AI 기술과 도구를 개발 플랫폼에 통합함으로써 소프트웨어 개발자, 디자이너, 제품 관리자, 데이터 엔지니어 및 분석가, 기술 프로그램 관리자 등 제품 팀의 생산성을 향상시키고 있다. 코드 생성에 있어서는 Intuit 고유의 코드 맥락 패턴과 저장소에 맞춘 코딩 보조 도구를 통해 평균 이상의 효율성 향상을 이루었다. 또한 리팩토링 작업에 집중하여 코드 베이스 현대화를 가속화하고 개발 속도를 더욱 높였다.

 

Customer support

 

생성형 AI는 고객 지원을 자동화하고 최적화하는 것뿐만 아니라, 처음부터 지원이 필요한 양을 줄이는 데도 기여할 수 있다. 생성형 AI의 고객 지원 적용 사례에는 고객 문제를 예측하고 방지하며 해결하는 분석 기능, 디지털 셀프서비스를 확장하고 상호작용을 자동화하는 챗봇, 고객을 가장 적합한 담당자와 연결하는 알고리즘, 상담사가 더 효율적으로 일할 수 있도록 돕는 지식 보조 도구 등이 있다. 생성형 AI는 상담사의 응답 시간을 최대 35% 줄이고, 여러 지식 소스를 관리해 지원 과정에서 컨설턴트를 돕고, 결과 품질을 최대 40% 향상시킬 수 있다. 예를 들어, 한 기술 및 제조 회사는 현장 서비스용으로 두 가지 최첨단 생성형 AI 프로토타입 애플리케이션을 개발했다. 이 회사는 유지보수 작업을 수행하는 현장 기술자의 생산성을 높이기 위해 유지보수 지원 코파일럿을 출시하고, 방대한 양의 비정형 건물 센서 데이터를 분석하여 비상 대응자들의 정보 및 의사 결정을 조정하는 새로운 시스템을 개발했다.

일부 기업에서는 AI 배포가 소프트웨어 개발 생산성을 평가하는 계기가 되어, 제품 관리, 데이터 기반 우선순위 결정, 프로세스 단계 게이트 규율, 애자일(Agile), QA 시프트 레프트(Shift-Left) 노력과 같은 전통적인 개선 영역으로 초점을 확장하고 있다.

 

Sales and marketing

 

영업 및 마케팅 분야에서 생성형 AI는 동적이고 개인화된 콘텐츠 생성, 개인 맞춤형 이메일 마케팅, 소셜 미디어 참여 자동화, 자동 계정 계획 및 고급 교육과 지원에 사용되고 있다. 이러한 고객 상호작용을 자동화하고 최적화함으로써 생성형 AI는 영업 사원과 기타 마케팅 직원의 생산성을 높이고, 사이클 시간을 단축하며, 이탈률을 줄이고, 하이퍼 개인화를 통해 더 나은 클릭률을 제공하고 있다. 예를 들어, 한 기술 하드웨어 회사는 콘텐츠 관리 시스템을 개선하기 위해 생성형 AI 도구를 도입하여 콘텐츠 생성 과정을 간소화하고, 콘텐츠를 종합하고 게시하는 시스템과 워크플로를 자동화하고 있다. 이 회사는 콘텐츠 작업에 소요되는 시간을 30% 줄이는 것을 목표로 하며, 여러 파일럿 프로그램에서 이 목표를 달성하거나 초과하는 결과를 보여주고 있다.

New products and features

 

기업들은 생성형 AI를 제품 및 기능 개발에 활용하여 더 간단하고 사용하기 쉬운 제품과 인터페이스를 제공하고, 더 큰 맞춤화와 개인화를 실현하고 있다. 예를 들어, 헬스케어 분야에서는 AI가 환자 데이터를 빠르게 분석하여 개인 맞춤형 치료 계획을 제공할 수 있다. 다른 산업에서는 생성형 AI가 음성 또는 텍스트 채팅 인터페이스를 통해 제품과의 상호작용을 더욱 간단하게 만든다. 예를 들어, Carrefour는 고객 정보와 입력을 기반으로 쇼핑 목록과 메뉴 제안을 생성하는 생성형 AI 쇼핑 도우미를 제공하여 고객의 쇼핑 경험을 더 간단하고 흥미롭게 만들고 있다.

Back office

 

백오피스 운영은 상대적으로 자동화하기 쉬운 수많은 반복적인 프로세스를 포함하고 있어 생성형 AI를 통해 크게 개선될 수 있다. 예를 들어, 재무 기능에서는 생성형 AI가 내부 감사 보고서 작성, 세무 감사 문서 준비, 맞춤형 재무 분석 실행의 효율성을 높일 수 있다. Deutsche Telekom은 자사의 조달 부서를 위해 회사의 정책 및 기존 조달 전략에 대한 학습을 마친 챗봇을 개발했다. 이 챗봇은 팀의 정책 준수 여부에 대한 질문에 답하고, 공급업체, 계약서, 또는 특정 입찰 요청에 대한 적정 가격을 제안할 수 있다. 회사 전반에서 파일럿 결과는 이 챗봇이 비즈니스 사용자에게 매달 최대 2,000시간, 조달 사용자에게는 최대 5,000시간을 절약할 수 있음을 시사하고 있다.

 

Anticipating challenges

 

AI를 도입하는 것은 생산성의 큰 성장을 목표로 하는 혁신적인 여정이지만, 기술 통합, 업무 방식에서의 인간 적응, 그리고 재구성된 비즈니스 프로세스와 관련된 여러 도전 과제를 해결해야 한다.

- Preparing business processes. 비즈니스 프로세스 준비: AI를 도입할 때 기존의 복잡성을 그대로 자동화하는 실수를 피해야 한다. 이를 위해서는 자동화 전에 프로세스를 개선하고, 불필요한 단계를 간소화하고 제거하여 운영을 현대화하는 과정에서 에너지와 역량을 확보할 수 있다.

- Modernizing data and application environments. 데이터 및 애플리케이션 환경 현대화: 방대한 데이터베이스, 여러 진실의 출처, 복잡한 애플리케이션 환경은 신뢰할 수 있고 생산적인 AI를 빠르게 배포하는 데 방해가 된다. AI 애플리케이션을 확장하기 전에 현대화 및 데이터 거버넌스에 투자하면 추가적인 생산성 향상을 얻을 수 있다.

- Finding technology and services support. 기술 및 서비스 지원 찾기: 클라우드와 온프레미스에서 AI를 구현하는 기업은 참조 디자인, 대형 언어 모델(LLM) 추천, 프롬프트 엔지니어링, 애플리케이션 개발 지원이 필요하다. 이러한 리소스들은 많은 기술 제공업체들이 자신의 제품에 기반 모델 AI를 도입하고 있기 때문에 현재 공급이 부족하다. 특히 그래픽 처리 장치(GPU) 인프라의 수요가 매우 높다.

 

Leading an AI transformation

 

AI의 전략적 구현은 조직의 비즈니스 목표와 일치하는 이니셔티브를 조정하는 것을 의미합니다. 변화가 점진적이든 혁신적이든 몇 가지 모범 사례가 나타나고 있습니다.

- CEO부터 시작해 AI를 가치 창출의 방법으로 우선시합니다. 투자 수익률(ROI)에 대한 명확한 목표를 설정하고, 예산 과정에서 팀들이 절감 효과와 가치 창출을 달성하도록 책임을 묻습니다.

- 비즈니스 진단을 수행합니다. 나쁜 프로세스를 자동화하지 마십시오. 자동화 전에 가치 창출 기회를 평가하고 비즈니스 프로세스를 재설계하는 데 투자하십시오. 기술이 배포되면서 효율성을 향상시키기 위해 목표를 설정하고 변화를 관리하십시오.

- 사용 사례에 대한 명확한 로드맵을 정의합니다. 판매 및 마케팅, 고객 지원, 소프트웨어 개발, 운영 등 가치 잠재력이 높은 기능적 영역에 집중하십시오.

- Microsoft 365 Copilot과 같은 셀프 서비스 지식 근로자 도구, 벤더의 사전 구축된 상업용 AI 시스템, 그리고 데이터의 민감도와 차별화가 중요한 경우 맞춤형 AI 모델을 포함한 다양한 AI 제공 모델을 활용하십시오.

- 솔루션 전반에서 규모의 경제를 실현하기 위해 공유 데이터 세트, AI 모델, 기술 구성 요소 및 플랫폼을 구축하십시오. 고속 AI 개발을 지원하기 위해 제품 관리, 애자일 및 데브옵스 프로세스를 개선하십시오.

- 적절한 위험 관리, 책임 있는 AI 및 거버넌스 역할을 개발하고, 직원들을 위한 명확한 소통 및 인재 전략을 마련하십시오.

모든 기업의 AI 여정은 고유할 것입니다. 하지만 업계와 시장 전반에서 AI의 급격한 부상은 일시적인 유행이 아님이 분명합니다. AI의 전략적이고 혁신적인 사용은 향후 10년 이상 경쟁 우위를 달성하는 데 중요한 역할을 할 것입니다. 뒤늦게 도입하는 기업들은 시간이 부족하며, 지나치게 뒤처진 기업들은 현재 위치를 유지하거나 되찾는 것이 어려울 것입니다.

 

 

 

AI’s Trillion-Dollar Opportunity

 

The market for AI products and services could reach between $780 billion and $990 billion by 2027.

 

At a Glance

 

대형 클라우드 제공업체들은 오늘날 연구 개발, 인재, 그리고 혁신의 가장 큰 집합체로, 대규모 모델과 첨단 인프라의 한계를 확장하고 있습니다.  

소규모 모델(오픈소스 및 독점), 엣지 인프라, 상업용 소프트웨어와 관련된 혁신은 기업, 주권국, 연구 기관에 도달하고 있습니다.  

 

상업용 소프트웨어 공급업체들은 최고의 사용 사례를 제공하고, 데이터 자산을 최대한 활용하기 위해 기능 세트를 빠르게 확장하고 있습니다.

 

기술 변화의 속도는 그 어느 때보다 빠르며, 고위 경영진들은 이러한 변화가 산업을 어떻게 재편할지 이해하려고 노력하고 있습니다. 생성형 AI는 현재 변화의 주요 원동력이지만, 포스트 글로벌화의 변화와 비즈니스 프로세스를 적응시켜 가치를 창출해야 하는 필요성 때문에 복잡해지고 있습니다.  

가속화된 시장 성장: Nvidia의 CEO인 젠슨 황은 2024년 3분기 실적 발표에서 이 잠재력을 다음과 같이 요약했습니다. "생성형 AI는 지난 수십 년간 우리가 본 소프트웨어 및 하드웨어의 최대 총 주소 가능 시장(TAM) 확장입니다." 베인앤드컴퍼니는 AI 관련 하드웨어 및 소프트웨어의 총 주소 가능 시장이 향후 최소 3년 동안 연간 40%에서 55%까지 성장하여 2027년에는 7,800억 달러에서 9,900억 달러에 이를 것으로 예상합니다. 공급과 수요의 변동으로 인해 그 과정에서 변동성이 발생할 수 있지만, 장기적인 견고한 성장 궤도는 계속될 것으로 보입니다.

 

Three centers of innovation.

 

세 가지 혁신 중심: 지금까지는 주요 클라우드 서비스 제공업체(CSP)들이 연구개발(R&D) 지출, 인재 배치, 혁신 측면에서 시장을 이끌어 왔습니다. 이들은 계속해서 시장을 선도할 것이지만, 차세대 성장 동력을 위해 두 번째 계층의 CSP, 소프트웨어 서비스 제공업체(SaaS), 주권 국가, 기업, 그리고 독립 소프트웨어 벤더(ISV)들로부터 더 많은 혁신을 기대할 것입니다.

 

• High end: bigger models, better intelligence, more compute. 주요 기업들은 더 크고 강력한 모델을 개발하며 성능과 지능에서 지속적인 향상을 이끌어낼 것입니다. 이들의 대형 모델은 더 많은 계산 능력, 인프라, 에너지를 요구하게 되어, 현재 100메가와트 수준의 대형 데이터 센터 규모를 기가와트 단위의 더 큰 데이터 센터로 확장할 것입니다. 이는 전력망에 부담을 주고, GPU, 기판, 실리콘 포토닉스, 전력 생성 장비 등 공급망에서 다양한 입력 요소들에 대한 준비성과 복원력 과제를 초래할 것입니다.

 

• Enterprises and sovereigns: smaller models, RAG implementations, devices, tailored silicon. 생성형 AI 추론은 기업들이 공급업체를 관리하고, 데이터를 보호하며, 총 소유 비용을 통제하려는 노력 속에서 엣지 컴퓨팅의 핵심 애플리케이션이 될 것입니다. 지연 시간, 보안, 비용은 실시간 처리와 자체 데이터 세트를 사용하는 추론 작업에 점점 더 중요한 요소가 될 것입니다. RAG(검색 증강 생성) 및 벡터 임베딩(데이터의 수치 표현)을 사용하는 알고리즘은 데이터가 저장된 가까운 곳에서 많은 컴퓨팅, 네트워킹 및 스토리지 작업을 처리할 수 있어 지연 시간을 줄이고 비용을 낮추며 데이터를 비공개로 유지하고 안전하게 보호할 수 있습니다. 특정 도메인이나 작업에 맞춰 훈련된 소형 언어 모델은 더 크고 범용적인 언어 모델보다 비용과 에너지를 절약할 수 있어 점점 더 중요해질 것입니다. 메타의 Llama, Mistral, TII의 Falcon과 같은 오픈 소스 모델과 Anthropic의 Claude, 구글 AI의 Gemini와 같은 독점 모델이 빠르게 성장하면서 비용 및 에너지 효율적인 옵션의 범위가 확장되고 있습니다.

 

• Independent software vendors (ISVs): racing to incorporate AI capabilities. 대형 언어 모델(LLM)을 탑재한 소프트웨어 서비스는 이미 Adobe, Microsoft, Salesforce 등 여러 기업에서 AI 기반 애플리케이션을 제공하고 있습니다. 이는 앞으로 수년간 새로운 기능을 대거 창출할 것이며, 기업들은 맞춤형 애플리케이션을 개발하기보다 기존 애플리케이션 제품군의 일부로 생성형 AI를 배포할 수 있는 선택권을 가지게 될 것입니다.

 

Disrupted industry structure with more verticalization. AI 작업 부하는 매우 까다로우며 계속해서 증가할 것입니다. 기본적인 행렬 대수와 데이터 집약적인 계산은 병렬 처리, 메모리 및 시스템 대역폭, 네트워킹, 인프라, 애플리케이션 소프트웨어에 큰 부담을 줍니다. 기술 공급업체들은 더 많은 효율성을 제공하기 위해 기술 스택을 수직적으로 최적화하여 이에 대응하고 있습니다. 

 

예를 들어, 대부분의 하이퍼스케일러들은 아마존의 Trainium과 Graviton, 구글의 TPU, 메타의 MTIA처럼 학습과 추론을 위한 자체 실리콘을 개발했습니다. Nvidia는 GPU에만 의존하지 않고 이제는 패브릭, 하이브리드 메모리, DGX, 클라우드 제공을 통합한 '컴퓨팅 단위'를 확장했습니다. Nvidia는 또한 소프트웨어 스택을 강화하고 호스팅된 서비스를 제공하여 하드웨어를 활용한 맞춤형 솔루션을 제공하고, 개발자와 사용자에게 더 효율적인 생태계를 조성하고 있습니다. 애플 또한 자체 실리콘을 보유하고 있으며, 자체 온디바이스 LLM을 개발하고 있습니다.

 

 

다른 세그먼트별 변화에는 다음이 포함됩니다:

 

• Large language models (LLMs): 기초 모델이 급증하고 있습니다. OpenAI의 ChatGPT는 2023년까지 생산 등급의 생성형 AI 솔루션 중에서 거의 독점적인 위치를 차지했으나, 그 이후로 오픈 소스와 독점 모델의 성장이 다양한 옵션을 제공하게 되었으며, OpenAI의 솔루션에서도 세분화된 버전이 나타나고 있습니다.

 

• Storage: 생성형 AI의 요구를 충족하기 위해 스토리지 기술이 발전할 것입니다. 여기에는 데이터 사일로의 가속화된 통합, 객체 저장소와 파일 및 블록 저장소의 증가된 사용, 고도로 벡터화된 데이터베이스 기능의 선택적 업그레이드가 포함됩니다.

 

• Data management and virtualization: 데이터 준비 및 이동성에 대한 증가하는 수요는 데이터 관리 소프트웨어의 성장을 촉진할 것입니다. 이는 공공 클라우드에 저장된 데이터를 사용하는 데이터 집약적인 AI 애플리케이션이 증가하면서 특히 중요해질 것입니다.

 

• Tech services: 중기적으로, 고객들이 AI 배포 및 데이터 현대화를 위해 필요한 기술과 전문 지식이 부족한 상황에서 기술 서비스에 대한 수요가 높을 것입니다. 시간이 지나면서 기술 서비스의 상당 부분은 소프트웨어로 대체될 가능성이 큽니다. 이러한 도메인의 고객들은 성장 궤도를 유지하기 위한 새로운 서비스를 설계하기 위해 경쟁하고 있습니다.

 

AI의 파괴적인 성장은 기술 부문을 계속해서 재편할 것이며, 혁신은 하이퍼스케일러(현재 혁신의 중심)에 머물지 않고, 더 은 CSP, 기업, 주권 국가, 소프트웨어 공급업체 등으로 확산될 것입니다. 더 큰 모델은 계속해서 한계를 확장하는 한편, 더 작은 모델은 특정 분야 및 도메인에서 새로운 기회를 창출할 것입니다.

 

AI 작업 부하의 요구는 스토리지, 컴퓨팅, 메모리 및 데이터 센터에서의 혁신을 촉발할 것입니다. 시장이 더욱 경쟁적이고 복잡해짐에 따라, 기업들은 이 잠재적인 수조 달러 규모의 시장에서 몫을 차지하기 위해 신속하게 적응해야 할 것입니다.

 

 

AI Changes Big and Small Computing

 

Data centers will get bigger, while more processing will move closer to the edge.

 

At a Glance

 

AI의 엄청난 컴퓨팅 파워 수요는 현재의 50~200메가와트 규모의 데이터 센터를 기가와트 이상으로 성장시킬 것이다.  

AI는 또한 엣지 컴퓨팅을 변화시킬 것이며, 소형 도메인 특화 언어 모델이 낮은 지연 시간이 요구되는 작업을 지원할 수 있다.  

이러한 변화는 리더들이 특히 노동력과 전력을 확보하기 위해 경쟁하면서 이미 부담을 겪고 있는 공급망에 더욱 큰 압박을 가할 것이다.  

데이터 센터와 엣지 컴퓨팅이 진화함에 따라 기업들은 시장 위치를 재평가하고 전략적 목표를 재검토해야 할 수 있다.

 

AI의 컴퓨팅 파워 수요는 향후 5~10년 동안 대형 데이터 센터의 규모를 급격히 확장시킬 것이다. 현재 하이퍼스케일 클라우드 서비스 제공업체가 운영하는 대형 데이터 센터는 50메가와트에서 200메가와트를 넘는 범위에 있다. AI가 요구하는 막대한 부하로 인해 이러한 회사들은 1기가와트 이상 범위의 데이터 센터를 탐색하게 될 것이다. 

 

이는 데이터 센터를 지원하는 생태계(인프라 엔지니어링, 전력 생산, 냉각 등)에 큰 영향을 미치고, 시장 평가에도 영향을 미칠 것이다. 기가와트 데이터 센터에 필요한 컴퓨팅, 전력, 냉각 밀도를 달성하기 위한 설계 요건은 더 작은 데이터 센터의 설계에도 영향을 줄 수 있다.

 

 

 

AI의 보편화는 엣지 컴퓨팅의 성격도 변화시킬 것이다. 특정 도메인에 맞춘 언어 모델은 더 작고 간단하며 특정 목적에 최적화되어, 더 빠른 반응 시간이나 낮은 지연 시간을 요구하는 컴퓨팅 부하를 처리하거나 좁은 초점으로 인해 더 간단한 모델을 사용할 수 있게 될 것이다. 엣지에서의 혁신은 사용자 기기의 형태에도 영향을 미쳐, AI와 상호작용하는 사람들의 요구에 맞추어 변할 것이다.

이러한 변화는 기술 개발 속도, 산업 리더십, 전력 생산 및 소비, 건설 및 산업 공급망, 환경적 고려 사항, 시장 경제, 국가 안보 이익, 금융 및 투자에 걸쳐 전반적으로 변혁적인 영향을 미칠 것이다. 시장의 상위 계층에 남으려면 리더들은 기술 인프라에 전례 없는 수준의 투자를 해야 할 것이다. 현재 대형 데이터 센터의 비용이 10억 달러에서 40억 달러 사이인 반면, 5년 후 데이터 센터의 비용은 100억 달러에서 250억 달러 사이로 증가할 수 있다.

 

Strain on resources 자원에 대한 압박

 

이 대형 데이터 센터의 전력 수요와 비용은 얼마나 많이, 얼마나 빨리 건설될 수 있는지에 한계를 부과할 것이다. AI 자원을 확보하기 위한 경쟁은 이미 고급 시장에서 극심한 자원 경쟁을 불러일으키고 있으며, 증가하는 데이터 센터 요구 사항은 능력을 더욱 압박할 것이다.  

전력 소비는 그중 하나의 중요한 예이다. 유틸리티 회사들은 향후 5년 동안 하이퍼스케일 고객들로부터 전력 용량을 크게 확장해달라는 요청을 이미 받고 있다. 이들의 요구는 전기차와 제조업의 리쇼어링(국내 복귀)으로 인한 증가하는 수요와 경쟁하게 될 것이며, 전력망에 대한 부담을 가중시킬 것이다. 지난 15~20년간 전력 수요의 성장은 사실상 정체되었지만, 전력망을 확장하고 강화하며 새로운 전력원을 추가하기 위한 투자(현장 발전 및 재생 가능 에너지를 포함한)가 크게 증가해야 할 것이다.  

네트워킹, 메모리, 스토리지를 포함한 인프라 제공자와 기술 공급망도 하이퍼스케일러, 디지털 서비스 회사, 기업의 고성능 컴퓨팅 수요를 충족하기 위해 투자하고 있다. 대형 데이터 센터는 물리적 설계, 고급 액체 냉각, 실리콘 아키텍처, 그리고 AI의 성장을 지원하기 위한 매우 효율적인 하드웨어와 소프트웨어의 공동 설계에서 혁신을 촉발할 것이다.  

대형 데이터 센터 건설은 주요 건설 작업으로, 5년 이상의 시간이 소요된다. 전력과 냉각 분야에서의 노동력 부족은 특히 심각할 수 있다. 많은 프로젝트가 동시에 진행되면 케이블 설치부터 백업 발전기 설치에 이르기까지 전체 공급망에 대한 부담이 가중될 것이다.

 

Innovation at the edge

 

기업들이 AI를 위한 클라우드와 엣지 컴퓨팅 간의 균형을 고려할 때, 추론을 어디에서 처리할 것인지 결정하는 것이 매우 중요하다. 하나의 고려 사항은 특정 도메인과 특정 작업에 얼마나 집중할 것인지이며, 이를 통해 보다 선별된 데이터와 집중된 데이터를 사용하여 목표 모델을 구축하고 컴퓨팅 인프라의 부담을 줄일 수 있다.  

또 다른 문제는 자율 주행과 같은 낮은 대기 시간을 요구하는 환경에서 AI를 위해 더 많은 컴퓨팅 파워를 엣지에 가까이 이동시키는 방법이다. 엣지에서 실행할 수 있는 작은 모델과 특화된 컴퓨팅의 등장은 이 방향으로 중요한 단계가 될 것이다. 한편, 업계는 엣지 AI 서버, AI PC, 로봇, 스피커, 웨어러블 등 엣지를 위한 새로운 폼팩터를 빠르게 개발하고 있다.

 

Preparations for expansion

 

데이터 센터와 엣지 컴퓨팅의 변화는 AI가 기술 분야를 재편하고 새로운 질서를 확립할 가능성을 높이고 있다. 이로 인해 각 기업은 시장 내 자신의 위치를 검토하고 전략적 목표를 재구성해야 경쟁력을 유지할 수 있다.  

 

• Cloud and data center service providers 클라우드 및 데이터 센터 서비스 제공업체: 이 시장의 주요 플레이어들이 해결해야 할 가장 큰 과제는 AI 역량을 통해 고객의 미래 요구를 충족시키는 것이다. 제공업체는 어떤 서비스를 제공할지, 어떤 기술을 산업 수준에서 제공할지 결정해야 하며, 모델 개발을 가속화하고 공급망을 통해 대규모 및 분산형 데이터 센터를 구축하는 데 집중할 것이다. 이를 위해 매력적인 기회를 재평가하고 빠르게 역량을 구축하며 플랫폼을 강화하는 파트너십을 형성하는 것이 필요하다. 예를 들어, 메타(Meta)는 오픈AI(OpenAI), 알파벳(Alphabet)과 함께 대규모 언어 모델에서 리더십을 확보하기 위해 경쟁하고 있으며, 이를 지원하기 위해 지난 2년 동안 컴퓨팅 용량을 대폭 확장했다. 메타는 또한 Llama를 오픈소스 언어 모델로 출시하여 더 넓은 생태계의 촉진자로 역할을 하고 있다.  

 

• Infrastructure providers 인프라 제공업체: AI 워크로드는 이전 세대의 컴퓨팅보다 더 많은 전문화를 요구한다. 서버, 네트워크, 스토리지, 냉각, 전력, 케이블 등 데이터 센터 구축에 필요한 모든 요소를 설계하고 제조하는 회사들은 AI를 지원할 수 있는 제품을 설계해야 한다. 이들은 AI 소프트웨어의 성능을 최적화하고 컴퓨팅을 효율화하는 규모의 솔루션을 개발할 것이다. 또한 이들 기업은 고객에게 인프라와 서비스를 제공하는 데 중요한 역할을 하며, AI의 시장 출시 시간을 단축하는 것은 중요한 기회로 작용할 것이다.  

 

• Software providers 소프트웨어 제공업체들은 경쟁력을 유지하기 위해 AI를 핵심 제품에 계속해서 통합할 것이다. 이들의 비즈니스는 데이터 인사이트를 포착하고 해석하며, 고객에게 더 나은 결과를 제공하기 위해 언어 모델을 최적화하는 데 점점 더 중점을 두게 될 것이다. 이러한 비즈니스 측면은 소프트웨어 제공업체들이 고객의 업무 능력을 증강하기 위한 역량을 구축함에 따라 서로 보완적인 역할을 할 것이다.  

 

• Edge device makers 엣지 장치 제조업체들은 생태계 전반의 혁신을 활용해 새로운 폼팩터와 인터페이스를 테스트하고, AI를 통해 장치 전반에서 개인화를 높이는 방법을 모색할 것이다. 사용자 프라이버시 설정을 해결하는 것은 AI 채택률을 높이는 데 중요한 요소가 될 것이다.  

 

• Data center supply chain providers 데이터 센터 공급망 제공업체들은 메가 센터의 확산과 엣지 컴퓨팅의 진화 속에서 시장 내 역할을 재편할 수 있는 중요한 기회를 맞이하고 있다. 이들은 확장할 수 있는 용량을 구축하고 대형 데이터 센터와 더 정교한 엣지 컴퓨팅의 과제를 해결할 수 있는 엔지니어링 기업과의 의미 있는 파트너십을 개발하는 데 집중할 것이다.  

 

하이퍼스케일러와 기타 대기업들이 AI의 요구를 수용할 대규모 데이터 센터를 계획하면서 추가적인 요소들도 고려해야 한다. 그중 가장 중요한 것은 투자 요건일 수 있는데, 이는 여러 대형 프로젝트가 한꺼번에 자금을 두고 경쟁하게 될 것이기 때문이다. 전력망에 대한 압박도 기업들이 직접적으로 통제하기 어려운 영역이다.

 

또한 데이터 센터 확장과 전력 사용이 환경에 미치는 영향, 탄소 발자국과 배출량 감소 약속에 대한 영향도 관리해야 할 것이다. 이러한 과제는 광범위하고 복잡하지만, AI 경쟁에서 승리하기 위한 글로벌 경쟁이 가열됨에 따라 이 생태계에 속한 어느 기업도 기다릴 여유가 없다. 지금이 행동할 때이다.