빅테크는 왜 엔비디아를 이길 수 없나

 

 

(WSJ, Aug/9/2024) Nvidia는 AI 칩을 만드는 것으로 유명하지만, Nvidia의 가장 중요한 건축물은 고객을 지키고 경쟁자를 막아내는 비즈니스 방벽이다. 이 방벽은 실리콘만큼이나 소프트웨어로도 만들어져 있다.

지난 20년 동안 Nvidia는 기술 업계에서 "Walled Garden"이라고 불리는 것을 만들어냈는데, 이는 애플이 만든 것과 다르지 않다. 애플의 소프트웨어와 서비스 생태계가 소비자를 대상으로 한다면, Nvidia의 초점은 오랫동안 AI 시스템과 기타 소프트웨어를 자사 칩으로 구축하는 개발자들에 맞춰져 있다.

Nvidia의 Walled Garden은 왜 다른 칩 제조업체들과 구글, 아마존 같은 기술 대기업들의 경쟁에도 불구하고 Nvidia가 향후 몇 년 동안 의미 있는 AI 시장 점유율을 잃을 가능성이 거의 없는지를 설명해 준다.

또한, 장기적으로 Nvidia가 지배하고 있는 영역에 대한 싸움이 단순히 회로 설계를 넘어서, 회사의 코딩 능력에 초점을 맞추게 될 이유와, 경쟁사들이 Nvidia의 보호벽을 우회할 수 있는 소프트웨어 개발에 박차를 가하는 이유를 설명해 준다.

 

 

Nvidia의 Walled Garden을 이해하는 열쇠는 CUDA라는 소프트웨어 플랫폼이다. 2007년 출시된 이 플랫폼은 당시 아무도 직면하지 않았던 문제, 즉 암호화 알고리즘이나 암호화폐 채굴과 같은 비그래픽 소프트웨어를 Nvidia의 특수 칩을 사용해 실행하는 방법에 대한 솔루션이었다. 이 칩들은 원래 3D 그래픽과 비디오 게임 같은 고도의 연산 작업을 위해 설계되었다.

CUDA는 그래픽 처리 장치(GPU)로 알려진 이 칩들에서 다양한 컴퓨팅 작업을 수행할 수 있게 했으며, 그중에서도 최근 몇 년간 급성장한 AI 소프트웨어를 실행할 수 있게 했다. 이로 인해 Nvidia는 세계에서 가장 가치 있는 기업 중 하나로 자리매김했다.

또한 중요한 점은, CUDA는 단지 시작에 불과했다는 것이다. Nvidia는 매년 소프트웨어 개발자들의 요구에 부응하여 특수 코드 라이브러리를 지속적으로 출시함으로써, Intel과 AMD 같은 일반 목적 프로세서로는 불가능했던 속도로 GPU에서 다양한 작업을 수행할 수 있게 했다.

Nvidia의 소프트웨어 플랫폼의 중요성은 Nvidia가 수년간 하드웨어 엔지니어보다 소프트웨어 엔지니어를 더 많이 고용해 온 이유를 설명해 준다. Nvidia의 CEO 젠슨 황은 최근 자사의 하드웨어와 소프트웨어의 결합에 대한 강조를 "풀스택 컴퓨팅"이라고 불렀으며, 이는 Nvidia가 AI 구축을 위한 칩부터 소프트웨어까지 모든 것을 제작한다는 의미이다.

경쟁업체가 Nvidia와 경쟁할 AI 칩을 발표할 때마다, 그들은 Nvidia의 고객들이 15년 이상 사용해온 시스템에 맞서게 되는 것이다. 이 소프트웨어는 경쟁 업체의 시스템으로 전환하기가 어려울 수 있다.

 

쿠다(CUDA·Compute Unified Device Architecture)

2006년 당시 엔비디아는 게임용 GPU의 고속 병렬 계산이 게임뿐 아니라 다양한 분야에도 쓰일 수 있을 것이라 자각하고 쿠다라는 소프트웨어를 내놨다고 한다. 쿠다는 쉽게 말하자면 ‘번역가’다.

인간이 AI 알고리즘을 새로 개발하려면 이를 코딩해야 한다. 알고리즘은 파이선(Python) 같은 코딩 언어로 표현되는데, 이 언어들은 인간 언어와 유사하다.

하지만 GPU 같은 반도체는 ‘1’과 ‘0’으로 이뤄 진 2진수 언어인 ‘기계어’만 이해한다. 쿠다는 이렇게 인간 수준의 언어를 기계어로 자동 번역하는 기능을 한다.

더구나 쿠다는 초거대 생성형 AI 학습에 필요한 행렬 계산을 위한 최적의 스케줄과 역할 분담이란 ‘비서’ 역할도 해준다. 이에 AI 개발자들은 편리하고 신뢰성 있는 쿠다를 쓰는 것이 이미 습관화됐다.

AI 개발은 시간과의 싸움이라 개발자들은 개발 중 사소한 위험도 감수하려 하지 않는다. 따라서 엔비디아 GPU를 쓰려는 이유는 바로 쿠다에 있다는 평이 나온다. 쿠다가 곧 엔비디아의 핵심 경쟁력인 셈이다. (매경 LUXMEN)

 

 

Nvidia는 6월 주주총회에서 CUDA가 이제 300개 이상의 코드 라이브러리와 600개의 AI 모델을 포함하며, 약 40,000개 기업에서 500만 명 이상의 개발자가 사용하는 3,700개의 GPU 가속 애플리케이션을 지원한다고 발표했다.

AI 컴퓨팅 시장의 거대한 규모는 다양한 기업들이 Nvidia에 도전하기 위해 협력하도록 했다. Citi Research의 반도체 및 네트워킹 장비 분석가인 Atif Malik은 2027년까지 AI 관련 칩 시장이 연간 4,000억 달러에 이를 것으로 예상하고 있다. (Nvidia의 1월에 끝난 회계연도의 수익은 약 610억 달러였다.)

Intel의 클라우드 컴퓨팅 고객을 위한 AI 부문 부사장인 빌 피어슨은 이러한 협력의 많은 부분이 CUDA에 대한 오픈 소스 대안을 개발하는 데 초점을 맞추고 있다고 말한다. Intel 엔지니어들은 Arm, Google, Samsung, Qualcomm을 포함한 두 개의 프로젝트에 기여하고 있으며, ChatGPT의 개발사인 OpenAI도 자체 오픈 소스 프로젝트를 진행 중이다.

투자자들은 CUDA의 대안을 개발하는 스타트업에 몰리고 있다. 이러한 투자 중 일부는 세계의 거대 기술 기업들의 엔지니어들이 협력하여 기업들이 원하는 칩을 사용할 수 있도록 하고, 업계에서 'CUDA 세금'이라고 부르는 비용을 지불하지 않게 될 가능성에 의해 촉진되고 있다.

이 모든 오픈 소스 소프트웨어를 활용할 수 있는 한 스타트업인 Groq는 최근 28억 달러의 평가를 받으며 6억 4천만 달러의 투자를 발표했으며, Nvidia와 경쟁할 칩을 개발하기 위해 자금을 모았다.

기술 대기업들도 Nvidia 칩에 대한 자체 대안을 개발하는 데 투자하고 있다. Google과 Amazon은 각각 AI를 교육하고 배포하기 위한 자체 맞춤형 칩을 제작하고 있으며, Microsoft는 2023년에 이를 따라갈 것이라고 발표했다.

Nvidia의 AI 칩 지배에 가장 성공적으로 도전하고 있는 경쟁자 중 하나는 AMD이다. AMD는 여전히 Nvidia에 비해 시장에서의 규모가 작지만, 2024년에 Instinct 라인 AI 칩에서 45억 달러의 수익을 예상하고 있다. AMD의 부사장인 앤드류 디크만은 AMD가 소프트웨어 엔지니어를 고용하기 위해 막대한 투자를 하고 있다고 말했다.

디크만은 "우리는 소프트웨어 자원을 크게 확장했다"고 말하며, AMD는 지난달 6억 6천 5백만 달러에 Silo AI를 인수하여 300명의 AI 엔지니어를 추가할 것이라고 발표했다.

Microsoft와 Meta Platforms는 주요 Nvidia 고객임에도 불구하고, AMD의 AI 칩을 구매하고 있는데, 이는 기술 대기업들의 예산에서 가장 비용이 많이 드는 항목 중 하나에 대한 경쟁을 장려하고자 하는 의도를 반영한다.

그럼에도 불구하고, Citi Research의 Malik은 Nvidia가 향후 2~3년 동안 AI 관련 칩 시장에서 약 90%의 시장 점유율을 유지할 것으로 예상하고 있다.

대안의 장단점을 이해하려면, Nvidia의 하드웨어나 소프트웨어를 사용하지 않고 ChatGPT 스타일의 AI를 구축하는 데 필요한 것이 무엇인지 이해하는 것이 도움이 된다.

 

스타트업 NinjaTech AI의 CEO인 바박 파라반(Babak Pahlavan)은 회사 설립 초기 Nvidia의 하드웨어와 소프트웨어를 사용하고 싶었지만, 비용을 감당할 수 없었다고 말한다. Nvidia의 강력한 H100 칩의 부족으로 인해 가격이 높게 유지되고 접근이 어려웠기 때문이다.

 

 

결국 파라반과 공동 설립자들은 AI 학습을 위한 맞춤형 칩을 제작하는 Amazon으로 눈을 돌렸다. 이 학습 과정은 시스템이 방대한 데이터에서 '학습'하는 과정이다. 몇 달간의 노력 끝에 팀은 Amazon의 Trainium이라는 칩에서 AI를 학습시키는 데 성공했다. 그러나 이는 쉬운 일이 아니었다.

NinjaTech AI의 팀이 몇 달 동안 주 4회 Amazon의 소프트웨어 팀과 협력하면서 수많은 문제와 버그를 해결해야 했다고 파라반은 말한다. 결국 두 회사는 문제를 해결했고, 사용자를 대신해 작업을 수행하는 NinjaTech의 AI '에이전트'는 5월에 출시되었다. 이 회사는 100만 명 이상의 월간 활성 사용자를 보유하고 있으며, 이들 모두가 Amazon의 칩에서 학습되고 실행되는 모델에 의해 서비스를 제공받고 있다.

Amazon Web Services의 임원 가디 허트(Gadi Hutt)는 "초기에는 양측에 몇 가지 버그가 있었다"고 말하지만, "이제 우리는 본격적으로 달려가고 있다"고 덧붙인다.

Amazon의 맞춤형 AI 칩을 사용하는 고객으로는 Anthropic, Airbnb, Pinterest, Snap 등이 있다. Amazon은 클라우드 컴퓨팅 고객에게 Nvidia 칩을 제공하지만, Amazon 자체 AI 칩보다 비용이 더 많이 든다. 그럼에도 불구하고 고객들이 전환하는 데는 시간이 걸릴 것이라고 허트는 말한다.

NinjaTech AI의 경험은 Nvidia의 울타리 친 정원 밖에서 AI를 구축하는 데 필요한 추가 개발 시간과 어려움을 겪고 있는 스타트업들이 그럼에도 불구하고 이를 감수하는 큰 이유 중 하나인 비용을 잘 보여준다.

파라반에 따르면, 매달 100만 명 이상의 사용자를 지원하기 위해 NinjaTech의 Amazon 클라우드 서비스 비용은 약 25만 달러이다. Nvidia 칩에서 동일한 AI를 실행했다면 비용은 75만 달러에서 120만 달러 사이가 되었을 것이라고 덧붙였다.

Nvidia는 이러한 경쟁 압력을 잘 알고 있으며, 자사 칩을 구매하고 운영하는 데 비용이 많이 든다는 사실도 인지하고 있다. CEO 젠슨 황은 다음 세대의 AI 중심 칩이 엔비디아의 하드웨어에서 AI를 학습시키는 비용을 낮출 것이라고 약속했다.

당분간 Nvidia는 일종의 관성 inertia과 같은 힘을 가지고 고객들을 자신의 Walled Garden에 Lock-in 되도록 만들 것으로 전망된다. 지금의 애플과 같이.