에릭 슈미트, 스탠포드 대학 AI 강연 전문

사회자:  괜찮으시면 AI가 단기적으로 어디로 향할 것 같은지, 즉 앞으로 1-2년 동안 어떻게 될 것 같은지 말씀해 주시겠어요? 변화가 너무 빨라서 6개월마다 이야기를 해주셔야할지도 모르겠습니다.

에릭: 컴퓨터 과학 엔지니어 중에 백만 토큰 컨텍스트 윈도우 million-token context window가 무엇인지 설명해줄 수 있는 사람 있나요? 네, 거기 계신 분. 이름을 말씀해 주시고 설명해 주세요.
 
학생: 기본적으로 백만 개의 토큰이나 단어 a million tokens(텍스트 데이터에서 의미를 가지는 최소한의 덩어리, The smallest units of data used by a language model to process and generate text. Imagine each word, punctuation mark, or even part of a word in a sentence being broken down into individual pieces; these are tokens) or a million words로 프롬프트를 입력할 수 있게 해주는 겁니다. 즉, 백만 단어짜리 질문을 할 수 있는 거죠.

에릭:  네, 이것이 1월부터 매우 큰 방향성이었습니다. 앞으로 천만 토큰까지 갈 것이라 생각합니다. Anthropic은 20만에서 백만으로 가고 있고 OpenAI도 비슷한 목표를 가지고 있을 거라고 생각합니다. 여기 계신 분들 중에 AI 에이전트에 대한 기술적 정의를 내려주실 수 있는 분 계신가요? 
 
학생: 에이전트는 어떤 종류의 작업을 수행하는 것입니다. 
 
에릭: 다른 정의로는 메모리에 있는 LLM 상태라고 할 수 있겠죠. 다시 한 번, 컴퓨터 과학자분들, 텍스트 투 액션을 정의해주실 수 있는 분 계신가요?

학생: 네, 텍스트를 받아서 더 많은 텍스트로 바꾸는 대신, 텍스트를 받아서 AI가 액션을 트리거하도록 하는 겁니다.
 
에릭: 다른 정의로는 언어를 파이썬으로 바꾸는 것이라고 할 수 있겠죠. 파이썬은 제가 살아남기를 바라지 않았던 프로그래밍 언어인데 AI의 모든 것이 파이썬으로 이루어지고 있습니다. Mojo라는 새로운 언어가 나왔는데, 마침내 AI 프로그래밍을 다룬 것 같습니다. 하지만 이것이 실제로 파이썬의 지배력을 뛰어넘을 수 있을지는 두고 봐야 할 것 같습니다.
 
기술적인 질문을 하나 더 하겠습니다. NVIDIA가 2조 달러의 가치를 지니고 있는 반면 다른 회사들은 왜 고전하고 있을까요? 기술적인 답변 부탁드립니다.
 
학생: 결국은 대부분의 코드가 현재 NVIDIA GPU만 지원하는 CUDA 최적화로 실행되어야 한다는 점으로 귀결되는 것 같습니다.

에릭: 다른 회사들이 무엇을 만들든 간에, 10년간의 소프트웨어가 없다면 기계 학습 최적화를 할 수 없습니다. 저는 CUDA를 GPU를 위한 C 프로그래밍 언어라고 생각하고 싶습니다. 그게 제가 생각하는 방식입니다. 2008년에 설립되었죠. 저는 항상 그것이 끔찍한 언어라고 생각했지만 지배적인 언어가 되었습니다.

또 다른 통찰이 있습니다. CUDA에 고도로 최적화되어 있고 다른 것에는 최적화되어 있지 않은 일련의 오픈 소스 라이브러리들이 있는데, 이 스택들을 만드는 모든 사람들이 이를 완전히 놓치고 있습니다. 이는 기술적으로 VLM이라고 불리며 그와 같은 많은 라이브러리들이 있습니다. CUDA에 고도로 최적화되어 있어 경쟁자가 이를 복제하기가 매우 어렵습니다. 그래서 이 모든 것이 무엇을 의미할까요?

앞으로 1년 동안, 매우 큰 컨텍스트 윈도우, 에이전트, 텍스트 액션을 보게 될 것입니다. 이들이 대규모로 제공될 때, 아직 아무도 이해하지 못하는 규모로 세상에 영향을 미칠 것입니다. 제 견해로는 소셜 미디어가 끼친 끔찍한 영향보다 훨씬 더 큰 영향을 미칠 것입니다. 그 이유는 이렇습니다. 컨텍스트 윈도우에서는 기본적으로 그것을 단기 기억으로 사용할 수 있는데, 컨텍스트 윈도우가 이렇게 길어진다는 사실에 충격을 받았습니다.
 
이와 관련된 기술적인 이유는 처리하기도 어렵고, 계산하기도 어렵다는 점들입니다. 단기 기억 short-term memory에 대해 흥미로운 점은 다음과 같습니다. 20권의 책을 읽고 내용을 설명해 달라고 하면, 중간 부분을 잊어버리곤 합니다. 이는 사실 인간의 뇌가 작동하는 방식과 매우 유사하죠. 우리가 현재 그런 수준에 도달해 있다고 볼 수 있습니다.

에이전트에 관해 말씀드리자면, 최근에는 LLM 에이전트를 개발하고 있습니다. 이들의 방식은 화학과 같은 분야를 학습하여 원리를 발견하고, 이를 검증한 뒤 그 결과를 다시 이해의 폭을 넓히는 데 활용하는 것입니다. 이는 매우 강력한 방법이라고 할 수 있습니다.

제가 언급한 세 번째는 텍스트로 행동을 유발하는 것입니다. 예를 들어 보겠습니다. 정부가 현재 틱톡을 금지하려는 움직임을 보이고 있죠. 실제로 그렇게 될지는 지켜봐야 할 것 같습니다.

만약 틱톡이 실제로 금지된다면, 여러분께 이런 제안을 드리고 싶습니다. AI에게 다음과 같이 요청해 보시는 것은 어떨까요? "틱톡과 유사한 앱을 만들어 주세요. 기존 사용자들과 음악을 모두 가져오고, 제 선호도도 반영해서 30초 안에 프로그램을 개발해 출시해 주세요. 그리고 한 시간 내에 인기를 얻지 못하면 비슷한 컨셉으로 다시 시도해 주세요." 이런 식으로 말이죠.

이것이 얼마나 강력한 힘을 가질 수 있는지 이해하실 수 있으시겠죠? 우리의 언어를 컴퓨터가 이해하고 실행할 수 있다면, 세상 모든 이가 자신만의 프로그래머를 가진 것과 다름없습니다. 그것도 우리가 원하는 바를 정확히 실행해주는 프로그래머 말입니다. 제가 고용한 프로그래머들처럼 지시를 제대로 따르지 않는 것이 아니라요. 여기 계신 프로그래머분들은 제 말씀을 이해하실 겁니다. 거만하지 않고 정말로 우리가 원하는 것을 실행해주는 프로그래머를 상상해 보세요. 비용도 들지 않고 이런 프로그램을 무제한으로 사용할 수 있는 거죠. 이 모든 것이 향후 1-2년 내에 현실화될 것으로 보입니다.

매우 가까운 미래의 일입니다. 이 세 가지, 그리고 저는 이 세 가지의 결합이 다음 큰 변화를 이끌 것이라고 확신합니다. 그래서 또 어떤 일이 일어날지 궁금해하셨죠? 저는 6개월마다 의견이 변하곤 합니다. 우리는 지금 짝수와 홀수를 오가는 중이라고 할 수 있겠네요.
 
현재로서는 선두 모델들(지금은 3개밖에 없습니다만, 누군지는 말씀드리지 않겠습니다)과 나머지 사이의 격차가 더 벌어지고 있는 것 같습니다. 6개월 전에는 그 격차가 줄어들고 있다고 확신했었죠. 그래서 작은 회사들에 많은 투자를 했습니다. 하지만 지금은 잘 모르겠어요. 큰 회사들과 이야기를 나눠보면, 그들은 100억, 200억, 500억, 1000억 달러가 필요하다고 말합니다.

스타게이트는 1000억 달러 규모죠, 맞죠? 이는 정말 어마어마한 일입니다. 제 친한 친구인 샘 알트만과 이야기를 나눠봤는데, 그는 약 3000억 달러, 어쩌면 그 이상이 필요할 거라고 믿고 있더군요. 저는 그에게 필요한 에너지양을 계산해봤다고 말했습니다.

그리고 솔직히 말씀드리자면, 지난 금요일에 백악관에 가서 우리가 캐나다와 가장 친한 친구가 되어야 한다고 말했습니다. 캐나다는 정말 좋은 사람들이 있고, AI 발명을 도왔으며, 수력 발전도 많이 하고 있거든요. 우리나라에는 이를 위한 충분한 전력이 없기 때문입니다. 다른 대안은 아랍 국가들의 자금 지원을 받는 것인데, 저는 개인적으로 아랍 사람들을 좋아합니다. 그곳에서 많은 시간을 보냈거든요, 그렇죠?

하지만 그들은 우리의 국가 안보 규칙을 따르지 않을 겁니다. 반면 캐나다와 미국은 모두가 동의하는 삼자 동맹의 일부니까요. 그래서 이런 1000억 달러, 3000억 달러 규모의 데이터 센터에서는 전기가 희소 자원이 되기 시작합니다. 그런데, 이런 추론을 따라가보면, 제가 왜 CUDA와 엔비디아에 대해 언급했을까요?
 
3000억 달러가 모두 엔비디아로 간다면, 주식 시장에서 어떻게 해야 할지 아시겠죠. 하지만 이건 투자 조언은 아닙니다. 제가 자격이 있는 건 아니니까요. 그런데 일부는, 우리가 훨씬 더 많은 칩이 필요할 거라는 거죠. 인텔은 미국 정부로부터 많은 자금을 받고 있고, AMD도 있고, 그들은 한국에서 공장을 지으려고 하고 있죠.
 
여러분 중 컴퓨팅 기기에 인텔 칩이 들어있는 분 손들어 보세요. 네, 그렇군요. 독점에 대해서는 이 정도로 하죠. 하지만 그게 중요한 점이에요. 그들은 한때 독점을 했었죠. 맞아요. 그리고 지금은 엔비디아가 독점하고 있고요. 그래서 CUDA 같은 진입 장벽이, 다른 회사들이 극복하기 어려운 건가요? 저는 얼마 전 퍼시 랜디 Percy Landy와 이야기를 나눴는데, 그는 모델 학습을 위해 TPU와 엔비디아 칩 사이를 오가며 사용한다고 하더군요. 그건 선택의 여지가 없어서 그래요. 만약 그에게 무한한 자금이 있다면, 오늘날에는 엔비디아의 B200 아키텍처를 선택할 거예요. 더 빠르니까요.
 
경쟁이 있는 건 좋죠. AMD의 리사 수와 깊이 있게 대화를 나눠봤어요. 그들은 당신이 설명한 CUDA 아키텍처를 자신들의 것으로 번역할 수 있는 'Rockum'이라는 걸 만들었어요. 아직 완벽하게 작동하지는 않지만, 계속 노력 중이에요.

---

 

 

사회자: 당신은 구글에서 오랫동안 일하셨고, 구글은 트랜스포머 아키텍처를 발명했죠. 하지만 지금은 구글이 주도권을 OpenAI나 심지어 Anthropic에게 뺏긴 것 같아요. 최근 리더보드를 보니 Anthropic의 Claude가 1위더라고요. 이에 대해 순다르에게 물어봤지만 명확한 답변을 듣지 못했어요. 혹시 당신이 더 날카롭거나 객관적인 설명을 해주실 수 있을까요? 제가 더 이상 구글 직원이 아니라는 걸 밝혀둡니다.
 
에릭: 구글은 일과 삶의 균형, 일찍 퇴근하는 것, 재택근무가 승리보다 더 중요하다고 판단한 것 같습니다. 반면 스타트업이 성공하는 이유는 사람들이 열정적으로 일하기 때문입니다. 솔직히 말씀드리자면, 여러분이 대학을 졸업하고 회사를 설립한다면, 직원들에게 재택근무나 주 1일 출근을 허용하기는 어려울 것입니다. 다른 스타트업들과 경쟁하려면 말이죠. 구글 초창기에 마이크로소프트도 그랬습니다.

우리 업계의 역사를 보면, 회사들이 창의적인 방식으로 성공하고 시장을 지배하다가 다음 단계로의 전환에 실패하는 경우가 많았습니다. 이는 잘 알려진 사실입니다. 제 생각에는 창업자들이 특별한 역할을 한다고 봅니다. 창업자들이 주도권을 가져야 하며, 그들과 일하기는 쉽지 않을 수 있습니다.

그들은 직원들에게 높은 기대치를 가지고 있죠. 일론의 개인적인 행동에 대해 의견이 분분할 수 있지만, 그가 직원들로부터 이끌어내는 성과는 주목할 만합니다. 제가 그와 저녁 식사를 했을 때, 그는 밤 10시에 비행기를 타고 x.ai와 자정에 회의를 하러 가고 있었습니다.

대만에서의 경험을 말씀드리자면, TSMC는 매우 인상적인 회사입니다. 그들은 우수한 물리학 박사 신입사원들이 공장 지하에서 일하도록 하는 규정이 있습니다. 미국의 물리학자들이 이런 방식으로 일할 수 있을지는 의문입니다.

직업 윤리가 다르죠. 제가 일에 대해 이렇게 강조하는 이유는 이 시스템들이 네트워크 효과를 가지고 있기 때문입니다. 그래서 시간이 매우 중요합니다. 대부분의 사업에서는 시간이 그렇게 중요하지 않지만, 이 분야는 다릅니다.

코카콜라와 펩시의 경쟁은 계속되겠지만, 그 변화는 매우 느립니다. 제가 통신사들과 일할 때는, 계약 체결에 18개월이나 걸렸습니다. 하지만 지금은 그렇게 오래 걸릴 이유가 없습니다. 빠르게 진행해야 합니다. 우리는 최대의 성장과 이익을 얻을 수 있는 시기에 있습니다.

또한 혁신적인 아이디어가 필요합니다. 마이크로소프트가 OpenAI와 제휴했을 때, 처음에는 매우 의아했습니다. AI 리더십을 OpenAI와 샘의 팀에 맡기는 것은 상당히 파격적인 결정이었죠. 마이크로소프트나 다른 어느 곳에서도 쉽게 하지 않을 결정이었습니다.
 
그래도 지금 마이크로소프트는 가장 가치 있는 회사가 되어가고 있습니다. 애플과 어깨를 나란히 하고 있어요. 애플은 좋은 AI 솔루션이 없는 것 같은데, 마이크로소프트는 잘 해낸 것 같습니다.

 

 

---

국가 안보나 세계 정세 측면에서 AI가 어떤 역할을 할 것 같으신가요? 중국과의 경쟁에서도요?

제가 AI 위원회 의장을 맡아 이 문제를 자세히 살펴봤는데요, 보고서가 752페이지나 됩니다. 간단히 말씀드리면 우리가 앞서 있고, 계속 앞서 있어야 하며, 그러려면 많은 투자가 필요하다는 겁니다. 이 보고서를 바탕으로 칩스 법안 같은 여러 정책이 나왔어요.

대략적으로 보면, 최첨단 모델들과 일부 오픈소스 모델이 발전한다고 할 때, 아주 소수의 국가만이 이 분야에서 경쟁할 수 있을 것 같습니다. 돈도 많고 인재도 풍부하며, 교육 시스템이 잘 갖춰져 있고 승리에 대한 의지가 강한 나라들이요. 미국이 하나고 중국이 또 하나죠.

다른 나라들도 있을까요? 글쎄요, 어쩌면요. 하지만 확실한 건, 여러분 평생 동안 미국과 중국의 지식 패권 다툼이 가장 큰 이슈가 될 거예요.

미국 정부가 NVIDIA 칩의 중국 수출을 사실상 금지했습니다. 공식적으로 그렇게 말하진 않았지만요. 우리가 칩 기술에서 약 10년 정도 앞서 있거든요. 특히 5나노미터 이하 칩에서요. 지금도 중국보다 몇 년 앞서 있고, 앞으로 더 벌어질 것 같습니다. 중국은 이 때문에 많이 불만스러워하고 있어요.
 
중국은 이 상황에 대해 정말 많이 화가 났습니다. 이건 큰 문제입니다. 트럼프 행정부에서 결정하고 바이든 행정부에서 추진한 거죠. 

현 행정부와 의회가 당신의 조언을 듣고 있다고 보시나요? 그 정도 규모의 투자를 할 것 같으신가요? 칩스 법 말고도, 대규모 AI 시스템을 구축하는 데 말입니다.

아시다시피 제가 비공식적이고 임시적인, 비법적인 그룹을 이끌고 있습니다. 불법이 아니라 비법적인 거예요. 정확히 그렇습니다. 명확히 하자면요.

여기에는 모든 주요 인사들이 포함돼 있습니다. 지난 1년간 이 주요 인사들이 바이든 행정부의 AI 법안의 기초가 된 논리를 만들어냈죠. 이건 역사상 가장 긴 대통령 지침입니다. 특별 경쟁 연구 프로젝트를 말씀하시는 건가요? 아니요, 이건 행정부에서 나온 실제 법안입니다. 그들은 지금 세부 사항을 구현하느라 바쁩니다.

지금까지는 잘 하고 있어요. 예를 들어, 지난 1년간 우리가 토론한 주제 중 하나는 이거였습니다. 시스템이 뭔가를 배웠는데 우리가 뭘 물어봐야 할지 모를 때, 그 위험을 어떻게 감지할 수 있을까요? 다시 말해, 이게 핵심 문제입니다. 시스템이 나쁜 걸 배웠는데, 뭘 배웠는지 말해줄 수도 없고 우리도 뭘 물어봐야 할지 모르는 거죠. 위협이 너무 많습니다.

예를 들어, 시스템이 우리도 모르는 새로운 방식으로 화학물질을 혼합하는 법을 배웠다고 해봐요. 사람들이 이 문제를 열심히 연구하고 있습니다. 결국 우리는 그들에게 보낸 메모에 임의로 10의 26승 플롭스라고 이름 붙인 임계값을 넘으면 정부에 보고해야 한다고 썼어요. 이게 규칙의 일부가 됐죠. EU는 달라 보이려고 10의 25승으로 했지만요.

하지만 다 비슷합니다. 이런 구분들은 곧 의미가 없어질 것 같아요. 기술적으로 '연합 학습'이라고 하는데, 기본적으로 조각들을 모아서 합칠 수 있거든요. 그래서 이런 새로운 것들로부터 사람들을 안전하게 지키는 게 어려울 수 있습니다. 소문에 의하면 OpenAI가 그렇게 학습을 했다고 해요, 부분적으로는 전력 소비 때문입니다. 한 곳에서 모든 걸 하지 않았대요.

---

 

 

 
네, 현재 진행 중인 실제 전쟁에 대해 이야기해 보겠습니다. 제가 알기로는 우크라이나 전쟁에 많이 관여하셨고, 특히 화이트 스토크 프로젝트와 50만 달러짜리 드론으로 500만 달러짜리 탱크를 파괴하는 목표에 대해 말씀해 주실 수 있을까요? 이것이 전쟁 양상을 어떻게 바꾸고 있나요?

저는 7년 동안 국방장관을 위해 일하면서 우리 군대 운영 방식을 바꾸려고 노력했습니다. 군대를 특별히 좋아하지는 않지만, 너무 비용이 많이 들어서 도움이 될 수 있는지 보고 싶었어요. 제 생각에는 대체로 실패했습니다. 메달을 줬으니 실패자에게도 메달을 주나 봅니다. 하지만 자기 비판을 하자면 실제로 바뀐 것은 없고, 미국 시스템은 진정한 혁신으로 이어지지 않을 것 같아요.

러시아가 탱크로 노인과 아이들이 있는 아파트 건물을 파괴하는 걸 보면서 정말 화가 났습니다. 그래서 전 스탠포드 교수인 세바스찬 트룬과 여러 스탠포드 사람들과 함께 회사를 만들기로 했어요.

기본적으로 두 가지를 하려고 합니다. AI를 복잡하고 강력한 방식으로 사용해 본질적으로 로봇 전쟁을 하는 것과, 로봇의 비용을 낮추는 것입니다. 제가 왜 이런 일을 하는지 의아해하실 수 있겠죠? 그 이유는 군대의 전체 이론이 탱크, 포병, 박격포에 기반하는데, 우리가 이 모든 것을 제거하고 적어도 육지를 통해 국가를 침공하는 것을 사실상 불가능하게 만들 수 있기 때문입니다. 이는 육지 전투의 형태를 없앨 수 있습니다.

이것이 방어와 공격 중 어느 쪽에 더 유리한가요? 그런 구분이 가능한가요? 지난 1년간 이 일을 하면서 전쟁에 대해 정말 알고 싶지 않았던 많은 것을 배웠습니다. 전쟁에 대해 알아야 할 한 가지는 공격이 항상 유리하다는 것입니다. 방어 시스템을 항상 압도할 수 있기 때문이죠. 그래서 국가 방어 전략으로는 필요할 때 사용할 수 있는 매우 강력한 공격력을 갖추는 것이 더 낫습니다.
 
제가 만들고 있는 시스템들이 바로 그런 역할을 할 것입니다. 시스템 작동 방식 때문에 저는 이제 공인된 무기 중개인이자 컴퓨터 과학자, 사업가가 되었습니다. 이게 발전인지는 모르겠네요. 여러분에게는 추천하고 싶지 않습니다.

저는 AI에 집중하고 있습니다. 법률 때문에 우리는 이를 privately 하고 있고, 정부의 지원을 받아 합법적으로 진행하고 있습니다. 이는 바로 우크라이나로 가서 전쟁에 사용됩니다. 세부사항은 제쳐두고, 상황이 꽤 나쁩니다. 5월이나 6월에 러시아가 예상대로 세력을 확장하면 우크라이나는 영토의 상당 부분을 잃고 전체 국가를 잃어가는 과정이 시작될 것 같습니다.

상황이 매우 위급합니다. Marjorie Taylor Greene을 아시는 분이 계시다면, 연락처에서 삭제하시길 권합니다. 그녀 한 사람이 중요한 민주주의를 지키기 위한 수십억 달러의 지원을 막고 있거든요.

사회자: 철학적인 질문으로 넘어가겠습니다. 지난해 헨리 키신저, 단 후텐로커와 함께 쓰신 글에서 지식의 본질과 그 진화에 대해 다루셨죠. 저도 얼마 전 이에 대해 토론을 했습니다. 역사적으로 인류는 우주에 대해 신비주의적 이해를 가졌다가 과학 혁명과 계몽주의를 거쳤습니다. 그런데 이제 이 모델들이 너무 복잡해져서 우리가 그 안에서 무슨 일이 일어나는지 정말 모르게 되었다고 주장하셨죠. 리처드 파인만의 말을 인용하면 "내가 만들 수 없는 것은 이해하지 못한다"고 합니다. 하지만 이제 사람들은 만들 수는 있지만 그 안에 뭐가 들어있는지 정말 이해하지 못하는 것들을 만들고 있습니다. 지식의 본질이 바뀌고 있는 걸까요? 우리가 이 모델들의 말을 그대로 받아들여야 하는 상황이 올까요?

에릭: 제가 드리고 싶은 비유는 십대들입니다. 십대 자녀가 있다면, 그들이 인간이라는 건 알지만 무슨 생각을 하는지 정확히 파악하기 어렵죠. 그래도 우리 사회는 십대들의 존재에 적응해왔고, 결국 그들도 그 시기를 지나갑니다. 진지하게 말씀드리자면, 우리가 완전히 특성화할 수 없는 지식 시스템을 갖게 될 가능성이 높습니다. 하지만 우리는 그것의 경계와 할 수 있는 일의 한계는 이해할 수 있겠죠. 그게 아마 우리가 얻을 수 있는 최선의 결과일 것 같습니다.

사회자: 그 한계를 우리가 이해할 수 있을 거라고 생각하시나요?
 
에릭: 우리는 그 한계를 꽤 잘 이해하게 될 것 같습니다. 제가 매주 만나는 그룹의 의견을 종합해보면, 결국에는 이른바 '적대적 AI'를 다루는 방식이 이렇게 될 거라고 봅니다. AI 시스템을 공격하고 취약점을 찾아내는 일을 전문으로 하는 회사들이 생길 거예요. 레드팀처럼 말이죠. 지금은 사람들이 레드팀 역할을 하지만, 앞으로는 기존 AI 시스템을 공격하고 취약점을 찾아내는 것이 주 업무인 AI 시스템과 회사들, 그리고 전체 산업이 생길 겁니다. 특히 우리가 파악하기 어려운 지식들에 대해서요. 이 말은 일리가 있어 보입니다.

이것은 스탠포드에서 여러분이 할 수 있는 훌륭한 프로젝트가 될 수도 있겠네요. 대학원생이 이런 대규모 모델을 공격하고 그 작동 방식을 이해하는 방법을 알아내야 한다면, 그건 다음 세대를 위한 훌륭한 기술이 될 테니까요. 이 두 가지가 함께 발전할 것 같습니다.

자, 이제 학생들의 질문을 들어볼까요. 저기 뒤에 있는 분, 이름을 말씀해 주세요.

질문자: 앞서 말씀하신 내용과 관련이 있는데요, 원하는 대로 작동하는 AI에 대해 언급하셨습니다. 방금 적대적 AI에 대해서도 말씀하셨는데, 이에 대해 좀 더 자세히 설명해 주실 수 있을까요? 컴퓨터 언어적인 이유로 더 성능 좋은 모델을 만드는 것 외에, 원하는 대로 AI를 작동시키는 문제는 아직 해결되지 않은 것 같아서요.

에릭:  네, 현재의 환각 문제(Hallucination , 없는 사실을 있는 것처럼 꾸며내거나 내용을 왜곡해서 답변하는 현상)가 기술 발전에 따라 줄어들 것이라고 가정해야 합니다. 완전히 없어질 거라고 말씀드리는 건 아닙니다. 그리고 효과를 검증할 수 있는 테스트도 있어야 할 겁니다. 목표를 초과 달성했는지 알 수 있는 방법이 있어야 하죠.

제가 틱톡 경쟁자 예시를 들었을 때, 불법적으로 모든 사람의 음악을 훔치라고 주장한 게 아닙니다. 여러분이 실리콘밸리 기업가가 된다면 - 여러분 모두가 그렇게 되길 바랍니다 - 만약 제품이 성공한다면 변호사들을 고용해서 그 문제를 해결하겠죠. 하지만 아무도 여러분의 제품을 사용하지 않는다면, 모든 콘텐츠를 가져왔다는 게 문제가 되지 않습니다.
 
제 요점을 아시겠죠. 다시 말해, 실리콘밸리는 이런 테스트를 하고 문제를 정리할 겁니다. 보통 그렇게 일을 처리하죠. 제 생각에는 앞으로 더 나은 테스트와 결국에는 적대적 테스트를 갖춘 성능 좋은 시스템들이 더 많이 나올 겁니다. 그리고 그것이 시스템을 일정 범위 내에 유지시킬 거예요. 기술적 용어로는 '사고 연쇄 추론'이라고 합니다.

사람들은 앞으로 몇 년 안에 천 단계의 사고 연쇄 추론을 생성할 수 있을 거라고 믿어요. 이걸 하고, 저걸 하고... 레시피를 만드는 것과 비슷하죠. 레시피를 실행해보고 정확한 결과가 나왔는지 테스트할 수 있잖아요. 시스템이 그렇게 작동할 겁니다.

질문자: 전반적으로 AI의 잠재력에 대해 매우 긍정적으로 보시는 것 같습니다. 그런데 무엇이 이를 가능하게 할까요? 단순히 더 많은 컴퓨팅 파워? 더 많은 데이터? 아니면 근본적이거나 실질적인 변화일까요?

에릭: 투자되는 금액이 정말 어마어마합니다. 저는 누가 이길지 모르겠어서 거의 모든 곳에 투자하기로 했어요. 그리고 저를 따라오는 돈의 규모가 엄청나죠. 초기에 돈을 번 사람들이 있고, 무엇을 하는지 잘 모르는 큰 돈을 가진 사람들이 AI 부문에 투자해야 한다고 생각하기 때문인 것 같아요.

 

 

---

이제 모든 것이 AI 투자라서 그들은 구분을 못 하고 있어요. 저는 AI를 실제로 학습하는 시스템, 즉 학습 시스템으로 정의합니다. 그게 하나의 이유라고 봅니다.
 
두 번째로는 트랜스포머 이후의 매우 정교한 새로운 알고리즘들이 있습니다. 제 오랜 동료이자 친구가 새로운 비트랜스포머 아키텍처를 발명했어요. 제가 파리에서 투자하고 있는 그룹도 같은 일을 했다고 주장하고 있습니다. 그 분야에서 엄청난 발명이 일어나고 있고, 스탠포드에서도 많은 일들이 진행되고 있죠.

마지막으로, 시장에서는 지능의 발명이 무한한 수익을 가져다줄 것이라는 믿음이 있습니다. 예를 들어, 한 회사에 500억 달러를 투자한다면, 그 돈을 회수하기 위해서는 지능으로부터 엄청난 돈을 벌어야 합니다. 아마도 우리는 거대한 투자 버블을 겪고 나서 그것이 정리될 것 같아요. 과거에도 항상 그랬고, 이번에도 그럴 가능성이 높습니다.

앞서 말씀하신 대로, 지금 선두 주자들이 나머지를 따돌리고 있다고 보시는 거죠. 

프랑스에 Mistral이라는 회사가 있는데, 그들이 정말 잘하고 있어요. 저도 당연히 투자자고요. 그들은 두 번째 버전을 출시했습니다. 세 번째 모델은 아마 비공개가 될 텐데, 너무 비용이 많이 들고 수익이 필요해서 모델을 무료로 제공할 수 없기 때문입니다.

우리 업계에서 오픈소스와 클로즈드소스 논쟁이 큰 이슈입니다. 제 전체 경력은 사람들이 오픈소스로 소프트웨어를 공유하려는 의지에 기반을 두고 있었어요. 저와 관련된 모든 것이 오픈소스였죠. 구글의 근간 대부분도 오픈소스였고요. 제가 기술적으로 한 모든 일들이 그랬습니다. 

하지만 엄청난 자본 비용 때문에 소프트웨어 제작 방식이 근본적으로 바뀔 수도 있습니다. 우리가 얘기했듯이, 제 생각에는 소프트웨어 프로그래머의 생산성이 최소한 두 배는 늘어날 겁니다. 그걸 목표로 하는 소프트웨어 회사가 세 네 개 있어요. 저는 그 정신에 공감해서 다 투자했죠. 그들은 모두 소프트웨어 프로그래머의 생산성을 높이려고 노력하고 있습니다.

제가 최근에 만난 가장 흥미로운 회사는 Augment라는 곳인데요. 저는 항상 개인 프로그래머를 생각했는데, 그들은 그게 자신들의 목표가 아니라고 하더라고요.
 
네, 그들의 목표는 수백만 줄의 코드를 다루는 100명 규모의 소프트웨어 프로그래밍 팀이라고 하더군요. 거기서는 아무도 전체적인 상황을 알지 못하죠. 그건 정말 AI에 적합한 분야예요. 그들이 돈을 벌 수 있을까요? 그러길 바랍니다.

질문자: 안녕하세요. 처음에 컨텍스트 윈도우 확장, 에이전트, 텍스트 투 액션의 조합이 상상할 수 없는 영향을 미칠 거라고 하셨는데요. 첫째, 왜 이 조합이 중요한가요? 둘째, 미래를 정확히 예측할 순 없겠지만, 왜 우리가 상상할 수 있는 그 이상이라고 생각하시나요?

에릭: 주로 컨텍스트 윈도우가 최신성 문제를 해결할 수 있기 때문이라고 봅니다. 현재 모델들은 훈련에 약 18개월이 걸리는데, 6개월은 준비, 6개월은 훈련, 6개월은 미세조정에 쓰이죠. 그래서 항상 구식이에요. 하지만 컨텍스트 윈도우를 통해 최근에 일어난 일을 입력할 수 있습니다. 

예를 들어, 하마스-이스라엘 전쟁에 대해 맥락을 가지고 질문할 수 있죠. 이는 매우 강력합니다. 구글처럼 현재 정보를 다룰 수 있게 되는 거예요.

에이전트의 경우, 예를 들어 제가 비영리 단체에 자금을 지원하는 재단을 설립했는데요. 여기 화학자가 계신지 모르겠지만, 저는 화학을 잘 이해하지 못합니다. ChemCrow라는 도구가 있는데, 이건 화학을 학습한 LLM 기반 시스템입니다. 이 시스템은 단백질에 대한 화학 가설을 생성하고, 실험실에서 밤새 테스트를 실행한 뒤 그 결과를 학습합니다. 이는 화학, 재료과학 등에서 엄청난 가속제 역할을 하죠.

이게 바로 에이전트 모델입니다. 텍스트 투 액션은 많은 저렴한 프로그래머를 가진 것으로 이해할 수 있겠죠. 우리는 모든 사람이 자신만의 프로그래머를 갖게 될 때 어떤 일이 일어날지 아직 이해하지 못하고 있습니다. 이건 여러분의 전문 분야이기도 하죠.

예를 들어, 어떤 이유로 구글을 좋아하지 않는다고 가정해봅시다. 그래서 "구글 경쟁자를 만들어줘"라고 말하는 거예요. 개인적으로 여러분이 직접 만드는 게 아니라, AI에게 "웹을 검색하고, UI를 만들고, 좋은 복사본을 만들고, 흥미로운 방식으로 생성형 AI를 추가해"라고 지시하는 겁니다.

결론적으로 CEO들은 대체로 수익을 극대화하려고 합니다. 수익을 극대화하려면 참여도를 높여야 하고, 참여도를 높이려면 분노를 극대화해야 합니다. 알고리즘은 더 많은 수익을 내기 때문에 분노를 선택하죠. 그래서 미친 듯한 내용에 편향되는 겁니다. 이건 모든 측면에서 그래요. 당파적인 말을 하는 게 아닙니다.

이건 민주주의에서 해결해야 할 문제입니다. 틱톡에 대한 제 해결책은, 우리가 앞서 개인적으로 이야기했듯이, 제가 어렸을 때 있었던 '동등 시간 규칙'과 비슷합니다. 틱톡은 사실 소셜 미디어가 아니라 텔레비전에 가깝거든요. 프로그래머가 당신을 위해 콘텐츠를 만들어내는 거죠. 참고로 미국에서 틱톡 사용자들은 하루에 90분 동안 200개의 틱톡 동영상을 봅니다.

많죠, 그렇죠? 정부가 동등 시간 규칙을 만들진 않겠지만, 그게 옳은 일입니다. 어떤 형태로든 균형이 필요해요.

사회자: 자, 더 질문을 받아볼까요. 두 가지 빠른 질문이 있습니다.

첫째, 언어 모델의 경제적 영향에 대해서요. 시장 영향이 더 느리다고 보시나요? 처음에는 CHEG와 몇몇 서비스 업종에 대해 예상하셨죠.

둘째, 학계가 AI 보조금을 받아야 한다고 생각하시나요? 아니면 그냥 큰 기업들과 협력해야 할까요?

에릭: 저는 대학들을 위한 데이터 센터 확보를 정말 강하게 밀어붙였습니다. 제가 여기 컴퓨터 과학과 교수라면, 대학원생들과 함께 박사 연구에 필요한 알고리즘을 만들 수 없다는 사실에 정말 화가 났을 거예요. 회사들이 이 점에서 충분히 관대하지 않았다고 봅니다.

제가 아는 많은 교수들이 Google Cloud 크레딧을 기다리느라 많은 시간을 허비하고 있어요. 이건 끔찍한 일이죠. 우리는 미국이 이 폭발적인 발전에서 승리하길 원합니다. 미국 대학들이 이길 수 있게 해야 해요. 그들에게 기회를 주는 게 옳다고 생각할 이유가 많습니다.

그래서 저는 그 일에 열심히 노력하고 있어요. 

첫 번째 질문이었던 노동 시장 영향에 대해서는, 여기 계신 진짜 전문가에게 맡기겠습니다. 에릭에게 배운 아마추어 경제학자로서 제 생각은, 대학 교육을 받은 고숙련 직종은 괜찮을 거라고 봅니다. 사람들이 이런 시스템과 함께 일할 테니까요. 이 시스템들은 다른 기술 혁명과 다르지 않아요. 위험한 직업과 인간의 판단이 거의 필요 없는 직업들이 대체될 겁니다.
 
학생 : 안녕하세요. 저는 텍스트 투 액션이 컴퓨터 과학 교육에 미치는 영향에 대해 궁금합니다. CS 교육이 이 시대에 맞춰 어떻게 변화해야 할지에 대한 귀하의 생각이 궁금합니다.

에릭: 음, 제 생각에는 대학 학부의 컴퓨터 과학자들이 항상 프로그래머 동반자를 갖게 될 것 같습니다. 첫 번째 for 루프를 배우고 그 이후에도 계속 그렇게 될 텐데, 이 도구가 자연스러운 파트너가 될 거예요.

교육도 그렇게 진행될 것 같습니다. 교수님이 개념을 설명하시겠지만, 여러분은 그런 방식으로 이해하게 될 거예요. 그게 제 추측입니다. 네, 뒤에 계신 분 말씀해 주세요.

귀하께서 관심 있어 하시는 비트랜스포머 아키텍처에 대해 더 말씀해 주시는 것 같습니다. 제가 알기로는 상태 모델 같은 것들이 논의되고 있고, 이제는 더 긴 컨텍스트 클래스도 있다고 들었습니다. 이 경우에 귀하께서 어떤 점을 보고 계신지 더 궁금합니다.

저는 수학을 잘 이해하지 못합니다. 이 분야의 수학이 너무 복잡해서 수학자들을 위한 일자리가 생겼다는 점이 정말 기쁩니다. 하지만 기본적으로 그래디언트 하강법, 행렬 곱셈을 더 빠르고 더 잘하는 다양한 방법들입니다.

아시다시피 트랜스포머는 일종의 체계적인 동시 곱셈 방식이죠. 제가 그렇게 이해하고 있습니다. 이것과 비슷하지만 수학이 다릅니다. 자, 여기 계신 분 말씀해 주세요.

학생: 국가 안보에 관한 귀하의 논문에서 중국과 미국, 그리고 오늘날의 현대적 아키텍처의 도움에 대해 언급하셨습니다. 그 다음 10개국과 그 다음 그룹은 모두 미국의 동맹국이거나 미국 동맹국들을 통해 잘 연결되어 있다고 하셨죠.

 

 

 
공식적인 동맹국은 아니지만 중간에 있는 그 10개국에 대한 귀하의 견해가 궁금합니다. 그들이 우리의 안보 기한을 확보하는 데 동참할 가능성이 얼마나 되며, 그들이 동참하지 않으려는 이유는 무엇일까요? 

에릭: 가장 흥미로운 나라는 인도인데, 최고의 AI 인재들이 인도에서 미국으로 오기 때문입니다. 우리는 인도가 일부 최고 인재를 유지할 수 있게 해야 합니다. 모두는 아니더라도 일부는요. 그들은 우리가 여기서 풍부하게 가지고 있는 종류의 훈련 시설과 프로그램을 갖고 있지 않습니다. 제게 인도는 이런 면에서 큰 스윙 스테이트입니다.
 
중국은 이미 졌습니다. 돌아오지 않을 겁니다. 사람들이 바라는 만큼 중국이 체제를 바꾸지는 않을 것입니다. 
 
일본과 한국은 확실히 우리 편입니다. 대만은 훌륭한 나라지만 소프트웨어가 좋지 않아서 잘 되지 않을 겁니다. 하드웨어는 놀랍죠. 세계의 다른 지역에서는 규모가 큰 좋은 선택지가 많지 않습니다.

유럽은 브뤼셀 때문에 문제가 있습니다. 이건 새로운 사실이 아닙니다. 저는 10년 동안 그들과 싸웠죠. EU 법을 고치도록 열심히 노력했지만, 여전히 우리 같은 연구를 하기 어렵게 만드는 제한들이 있습니다. 프랑스 친구들은 브뤼셀과 싸우는 데 시간을 다 보냈고, 제 개인적 친구인 마크롱도 이를 위해 열심히 싸우고 있습니다.

그래서 프랑스는 기회가 있다고 봅니다. 독일은 가능성이 보이지 않고 나머지는 규모가 충분하지 않습니다. 네, 말씀해 주세요.

학생: 귀하께서 컴파일러를 다루시는 것처럼 엔지니어 훈련을 받으셨다고 들었습니다. 이런 모델들이 가질 것으로 예상되는 능력을 고려할 때, 우리가 여전히 코딩을 배우는 데 시간을 써야 할까요? 결국 영어를 말할 수 있다면 왜 영어를 공부하냐는 오래된 질문과 비슷한데요. 더 잘하게 되니까요. 이 시스템들이 어떻게 작동하는지 이해하는 것이 정말 중요하다고 강하게 느낍니다. 네, 선생님.

에릭: 분산 환경에 대해 탐구해 보셨는지 궁금합니다. 큰 클러스터를 만드는 것은 어렵지만 맥북도 강력하고, 전 세계에 작은 기계들이 많이 있잖아요. 'Folding at Home' 같은 아이디어가 학습에도 적용될 수 있을까요? 그렇지 않습니다.

네, 우리가 이를 열심히 살펴봤습니다. 알고리즘이 작동하는 방식은 매우 큰 행렬과 기본적으로 곱셈 함수를 가지는 것입니다. 이를 앞뒤로 왔다갔다 하는 것으로 생각하세요. 이 시스템들은 메모리에서 CPU나 GPU로의 속도에 완전히 제한됩니다. 사실 다음 세대 엔비디아 칩은 이 모든 기능을 하나의 칩에 통합했습니다.

칩들이 너무 커서 이들을 모두 붙여놓았죠. 실제로 패키지가 너무 민감해서 칩 자체와 마찬가지로 클린룸에서 조립됩니다. 따라서 답은 슈퍼컴퓨터와 빛의 속도, 특히 메모리 상호 연결이 정말 중요하다는 것입니다. 당분간은 어려울 것 같습니다. 
 
학생: LLM을 분할할 방법이 있을까요?
 
에릭: 네, 제프 딘이 작년에 여기서 연설할 때, 각 부분을 따로 훈련시킨 다음 연합하는 방식에 대해 말씀하셨죠. 그렇게 하려면 1천만 개 정도의 그런 것들이 필요할 텐데, 그렇게 되면 질문하는 방식이 너무 느려질 겁니다. 그는 8개나 10개, 혹은 12개의 슈퍼컴퓨터에 대해 말씀하시는 거죠. 네, 맥북 수준이 아닙니다. 그 정도 수준은 아니에요.

뒤쪽에 계신 분, 네 말씀해 주세요. 
 
학생: GQQ가 뉴욕 타임즈에서 공개되어 그들의 작품을 훈련에 사용할 수 있게 된 후, 이것이 어떻게 진행될 것 같으며 데이터 처리에 어떤 의미가 있을까요?

에릭: 저는 음악 라이선싱 관련 일을 많이 했었습니다. 60년대에 일련의 소송으로 인해 노래가 재생될 때마다 정해진 로열티를 받는 협약이 만들어졌다는 걸 알게 됐죠. 심지어 누구인지도 모르는 상태에서 그냥 은행에 지불됩니다. 제 생각에는 이것도 비슷할 겁니다.

많은 소송이 있을 테고, 결국 어떤 합의가 이루어질 겁니다. ASCAP BMI를 사용하려면 수익의 X%를 지불해야 한다는 식으로요. ASCAP BMI를 찾아보세요. 오래된 이야기라 여러분에게는 아주 옛날 얘기처럼 들리겠지만, 그렇게 번갈아 가며 진행될 거라고 봅니다.

학생: 몇몇 기업들이 AI를 지배하고 있고 계속 지배할 것 같죠? 그리고 그 기업들은 반독점 규제의 대상이 되는 대기업들과 겹치는 것 같습니다. 이 두 가지 경향을 어떻게 보시나요? 규제 기관이 이 기업들을 분할할 것 같나요? 그리고 그것이 어떤 영향을 미칠까요?
 
에릭: 제 경력에서, 저는 마이크로소프트가 분할되도록 도왔지만 결국 분할되지 않았습니다. 그리고 구글이 분할되지 않도록 싸웠고 실제로 분할되지 않았죠. 제가 보기에는 분할되지 않는 추세인 것 같습니다. 기업들이 존 D. 록펠러 시니어처럼 되지 않는 한 말이죠. 저는 이것을 연구했습니다. 한번 찾아보세요. 반독점법이 그렇게 만들어졌습니다.
 
정부가 나서지 않을 것 같습니다... 이런 대기업들이 지배하는 이유는 이 데이터 센터들을 지을 자본이 누구에게 있느냐의 문제죠. 제 친구 리드와 무스타파... 그가 1-2주 후에 올 겁니다. 리드에게 인플렉션을 마이크로소프트에 편입시키기로 한 결정에 대해 들어보세요.

기본적으로 그들은 수백억 달러를 모금할 수 없다고 판단했습니다. 제가 앞서 언급한 그 숫자가 공개된 건가요? 아니요. 리드에게 그 숫자를 물어보세요. 아마 리드가 말해줄 수 있을 겁니다.

학생: 최첨단 모델 개발과 컴퓨팅 접근에 참여하지 않는 국가들은 어떻게 될지 궁금합니다.

에릭:

---

부자는 더 부자가 되고 가난한 사람들은 최선을 다할 뿐이죠. 그들은... 사실 이건 부유한 국가들의 게임입니다, 맞죠? 거대한 자본, 기술력 있는 인재들, 강력한 정부 지원이 필요하죠? 두 가지 예가 있습니다.

다른 많은 국가들은 여러 가지 문제를 안고 있습니다. 그런 자원이 없죠. 그들은 파트너를 찾아야 할 겁니다. 다른 누군가와 협력해야 할 거예요. 그런 식으로요. 마지막으로...

지난번 만났을 때 AGI 하우스에서 해커톤을 하고 계셨죠. 젊은이들이 많은 부를 창출하도록 돕는 데 많은 시간을 쏟고 계신 걸로 알고 있습니다. 그에 대해 열정적으로 말씀하셨고요. 여기 계신 분들이 사업 계획이나 정책 제안, 연구 제안을 작성하는 이 단계에서 앞으로의 경력을 위해 조언해 주실 만한 것이 있을까요? 저는 경영대학원에서 이에 대한 수업을 가르치고 있으니 제 수업에 오세요. 새로운 아이디어의 시연을 얼마나 빨리 만들어낼 수 있는지에 놀랐습니다.

제가 했던 해커톤 중 하나에서 우승 팀의 과제는 "두 타워 사이로 드론을 날려라"였고 가상 드론 공간이 주어졌습니다. 그들은 드론을 어떻게 날리는지, '사이'라는 단어가 무슨 뜻인지 파악하고, 파이썬으로 코드를 생성해 시뮬레이터에서 드론을 타워 사이로 날렸습니다. 숙련된 전문 프로그래머들이 1-2주 걸릴 일을 해낸 거죠. 빠르게 프로토타입을 만드는 능력이 중요하다는 걸 말씀드리고 싶습니다... 기업가의 문제 중 하나는 모든 일이 더 빨리 진행된다는 겁니다.
 
자, 이제 이런 다양한 도구들을 사용해서 하루 만에 프로토타입을 만들지 못한다면 그에 대해 생각해 봐야 합니다, 그렇죠? 왜냐하면 그게 바로 경쟁자들이 하고 있는 일이니까요. 그래서 제가 드릴 수 있는 가장 큰 조언은 회사를 구상하기 시작할 때, 사업 계획을 작성하는 것도 좋지만 실제로는 컴퓨터에게 사업 계획을 작성해 달라고 요청해야 한다는 겁니다. 물론 합법적인 범위 내에서요. 아니, 아니...

사실 여러분이 떠난 후에 그것에 대해 이야기해야겠네요. 하지만 이런 도구들을 사용해 가능한 한 빨리 아이디어의 프로토타입을 만드는 것이 매우 중요하다고 생각합니다. 왜냐하면 다른 회사, 다른 대학, 여러분이 가본 적 없는 곳에서 누군가가 정확히 같은 일을 하고 있을 것이 확실하기 때문입니다. 좋습니다. 에런, 정말 감사합니다. 여러분 모두 감사합니다.

이만 가봐야겠습니다. 감사합니다. 그럼, 실제로 마지막 부분에 대해 조금 더 이야기해 보겠습니다. 첫 수업에서 LLM 사용에 대해 언급하지 않은 것 같은데, 이 수업의 과제에서는 환영하지만 전체 공개가 필요합니다. 따라서 주간 과제나 최종 프로젝트 등에 LLM을 사용할 때는 친절한 삼촌이나 반 친구, 또는 다른 누군가에게 조언을 구할 때처럼 해야 합니다. 거기에 포함된 메모가 있다면 그것도 마찬가지고요. 그래서 제가 생각한 것은 GPT로서의 AI에 대해 조금 이야기하고 그것이 비즈니스와 그 영향에 대해 무엇을 의미하는지 논의하는 것입니다.

하지만 그 전에 에릭이 언급한 내용 중 질문하고 싶은 것이 있는지 확인하고 싶습니다. 제가 그의 생각을 전달해 보겠습니다. 그리고 나온 내용에 대해 이야기한 다음 계속 진행하겠습니다. 네, 말씀해 주세요.

제가 묻고 싶은 질문 중 하나는 규제와 관련된 것입니다. 우위를 유지하는 것이 목표라면, 동맹국과 비동맹국 모두가 그것을 따르도록 동기를 부여할 수 있는 올바른 인센티브를 어떻게 만들 수 있을까요? 서로 경쟁하는 기업들 사이에서 말씀하시는 건가요? 기업들은 미국이나 EU 같은 국가에 있고, 규제를 따르기로 선택한 기업들의 발전을 방해하거나 저해하는 것은 아니죠?

그건 정말 까다로운 문제입니다. 메리 네일보우가 쓴 'Co-Opetition'이라는 책이 있는데, 규제가 기업들을 도울 수 있고 산업이 생존하는 데 도움이 되는 경우가 분명히 있기 때문입니다. 따라서 규제가 반드시 일을 늦추는 것은 아닙니다. 표준이 좋은 예시죠. 그것을 명확히 하면 기업들이 경쟁하기 더 쉬워질 수 있습니다.
 
이 회사들의 임원들과 많이 대화해 봤는데, 그들도 일부 분야에서 공통 표준이 있었으면 좋겠다고 생각하는 부분이 있더라고요. 때로는 위험한 영역에서 '바닥을 향한 경쟁'도 있습니다. 구글 사람들이 말하길, 그들이 빠르게 움직이지 않은 이유 중 하나는 이런 언어 모델들이 오용되거나 위험할 수 있다고 생각했기 때문이라고 해요. 하지만 결국 어쩔 수 없이 대응하게 됐죠.

다른 대기업 관계자와 얘기해 보니 "우리는 이 기능을 출시할 생각이 없었는데, 경쟁사들이 하고 있어서 우리도 출시해야 할 것 같다"고 하더라고요. 이런 상황에서 규제에 대한 조율이 필요할 수 있지만, 한편으로 규제가 경쟁을 방해하는 데 쓰이기도 합니다. 예를 들어 일부 대기업들이 오픈소스에 반대하는 이유가 경쟁사들의 발전을 늦추려는 목적이라고 보는 사람들도 많아요. 두 가지 측면이 다 있는 거죠.

코딩을 계속 배워야 하나요? 영어 공부는 계속해야 하나요? 이런 것들이 여전히 유용할까요? 에릭의 대답은 '그렇다'였어요. 대학 교육을 받은 고숙련 직종은 여전히 안전할 거라고 했죠. 하지만 이미지 편집 같은 분야는 그렇지 않을 수 있대요.

흥미로운 지점이네요. 이에 대해 좀 더 얘기해 볼 텐데, AI 시스템이 사람들의 일을 대체하는 부분과 보완하는 부분을 생각해 보면 재밌어요. 현재 코딩에서는 최고 수준의 프로그래머들에겐 그다지 도움이 안 되는 것 같아요. 중간 수준의 코더들에겐 매우 유용하지만, 코딩을 전혀 모르는 사람들에겐 별 도움이 안 돼요.

일종의 역 U자 형태인 거죠. 왜 그런지 이해할 수 있어요. 지금 AI가 생성하는 코드가 종종 버그가 있거나 정확하지 않을 수 있는데, 그 코드를 이해하고 해석할 수 없다면 효과적으로 사용하기 어려울 테니까요. 지금으로서는 최고 수준의 코더들이 작성하는 코드에 AI가 미치지 못하는 것 같아요. 그래서 U자 형태가 나오는 거죠. 하지만 이는 코딩을 전혀 모른다면 AI를 유용하게 쓰기 위해서라도 어느 정도는 배워야 한다는 뜻이기도 해요.

지금 많은 애플리케이션에서도 마찬가지예요. 제대로 활용하려면 기본적인 이해가 필요합니다. 이게 앞으로도 계속 그럴지는 흥미로운 열린 질문이에요. 지난 수업에서 자율주행차의 레벨 0부터 5까지를 간단히 보여드렸는데, 이 패러다임을 경제의 모든 과업에 적용하면 어떨까 하는 생각을 해보고 있어요. 얼마나 많은 단계를 거칠까요?
 
자율주행차의 경우, 아직 레벨 5에 완전히 도달하지는 못했어요. Waymo 차를 타보신 분이 계신지 모르겠네요. 꽤 좋아 보이긴 하지만, 제가 함께 탔던 세바스찬 트룬에 따르면 지금은 엄청나게 비싸대요. 아마 한 번 운행에 50달러에서 100달러 정도 손해를 보고 있을 거예요. 그는 지금 그 프로그램에 없지만 처음에 시작했죠.

운영 비용을 고려하면 아직 실용적이지 않아요. 시간이 지나면 비용이 내려갈 수 있겠죠. 라이다도 싸질 테고요. 하지만 지금은 레벨 2, 3, 심지어 4 수준의 자율주행차가 많이 있고, 여기에는 여전히 인간이 관여하고 있어요. 코딩 같은 다른 작업들도 마찬가지예요.

한편 체스의 경우, 이전 슬라이드에서 언급했던 고급 체스나 프리스타일 체스라고 불리는 걸 보면, 1997년 개리 카스파로프가 딥 블루에 패배한 후 인간과 기계가 협력하는 대회를 시작했어요. 2012-2013년 제 TED 강연 때만 해도 인간과 기계의 조합이 딥 블루나 다른 체스 컴퓨터를 이길 수 있었죠. 그래서 당시 최고의 체스 플레이어는 이런 조합이었어요. 하지만 지금은 그렇지 않아요.

 
알파제로 같은 프로그램들은 인간의 기여로부터 아무것도 얻지 못해요. 오히려 체스 기계에게는 방해가 될 뿐이죠. 이렇게 20년 정도 만에 기계가 아무것도 못하는 단계에서 인간과 협력하는 단계를 거쳐 완전 자율 단계로 발전했어요.

경제의 어떤 종류의 작업들이 이 중간 단계에 머물 것인지, 그 기준이 무엇일지 연구해보면 재미있을 것 같아요. 이 중간 단계는 우리 인간에게 좋은 단계예요. 기계가 우리를 돕지만 여전히 인간이 가치 창출에 필수적이죠. 이 단계에서는 생산성과 부, 성과가 높아질 수 있고, 노동이 본질적으로 분산되어 있어 번영을 공유할 가능성도 더 높아요. 반면 에릭이 말했듯이 기술과 자본은 매우 집중될 수 있죠. 이에 대해 어떻게 생각하세요?

관련된 질문을 하려고 했어요. 그는 우리가 10년 정도의 칩 제조 우위를 가지고 있다고 말했는데, 저는 그 점이 놀라웠어요. 노동 경제학자로서 흥미로웠던 건, 이런 칩 제조업이 확대되면 블루칼라 일자리의 부활을 가져올 수 있지 않을까 하는 거예요. 지능형 로봇 모델이나 인간 노동에 대해 어떻게 생각하시나요?

 
글쎄요, 큰 영향은 없을 것 같습니다. 여러분 중 칩 제조 공장을 방문해 보신 분이 계신가요? 몇 분 계시네요. 그 공장에 근로자가 몇 명이나 있었나요? 네, 맞아요. 답은 0명입니다.

사람들을 들여보내지 않는 이유는 우리 인간이 너무 서툴고 지저분해서예요. 모든 게 로봇으로 운영되고 내부는 밀봉되어 있죠. 물품을 공급하는 등의 작업은 있지만, 로봇이 쓰러지거나 문제가 생기면 우주복 같은 걸 입고 들어가서 조정하고 나옵니다. 아무것도 망가뜨리지 않았기를 바라면서요. 기본적으로 무인 공장이에요.

더 정교한 노동력이 필요한 부분이 있긴 하지만, 블루칼라 일자리는 아닙니다. 애플이 맥북 생산을 텍사스로 옮긴 이유도 텍사스의 노동력이 싸서가 아니라, 실제로 많은 노동력이 필요하지 않기 때문이에요. 미국 제조업은 생산량 측면에서는 급증하고 있지만, 고용 측면에서는 그다지 크게 성장하지 않고 있습니다.

여기 질문 있나요? 네, 말씀해 주세요. 내년에 에이전트나 텍스트 액션 모델에 대한 전환점이 올 것 같나요? 아, 네.

아니요, 에릭이 말한 대로 저도 비슷한 얘기를 들었어요. 그가 세 가지 트렌드를 정리한 방식이 정말 좋았어요. 전에 따로따로 들었지만, 모두 연결해서 설명한 게 좋았죠. 오늘 앤드류 응과 이야기했는데, 그는 특히 에이전트가 2024년의 물결이 될 거라고 강조하더라고요. 앤드류는 이를 설명하는 좋은 방식이 있었어요. 여러분도 아시다시피 LLM이 에세를 쓸 때 한 번에 한 단어씩 써내려가잖아요.

꽤 괜찮지만, 백스페이스도 없고 개요도 먼저 못 짜는 상황을 상상해 보세요. 그냥 쭉 써내려가는 거예요. 하지만 에이전트는 이제 "먼저 개요를 짜자"고 할 겁니다. 에세이를 쓸 때 첫 단계로 하는 일이죠.

그 다음 각 문단을 채우고, 다시 돌아가서 흐름이 맞는지 확인하고, 어조를 체크하고 독자에게 적절한 수준인지 확인하죠. 이런 식으로 반복하면 훨씬 더 나은 에세이나 다른 작업을 할 수 있어요. 이건 정말 혁명적입니다.

이런 방식으로 하면 모든 걸 더 잘할 수 있어요. 컨텍스트 윈도우에 대한 것도 정말 중요합니다. 제가 아는 똑똑한 사람들의 말을 인용해 볼게요. GSB에서 에릭 호르비츠와 패널에 참여했는데, 여러분 중 일부가 거기 계셨을 수도 있겠네요.

지난주였어요. 그가 좋은 분류법을 제시했죠. 사람들이 파인튜닝에 대해 물었어요. 수잔이 물었던 것 같은데, 그는 모델을 더 맞춤화할 수 있는 방법이 세 가지 있다고 했어요.

하나는 파인튜닝으로 기본적으로 더 훈련시키는 거고, 다른 하나는 점점 더 큰 컨텍스트 윈도우를 사용하는 거예요. 세 번째는 RAG나 그런 기술로, 외부 데이터에 접근해서 생성을 보강하는 거죠. 하지만 이 컨텍스트 윈도우가 지금 놀라울 정도로 효과적인 것 같아요. 에릭이 말했듯이, 우리는 이게 어려울 거라고 생각했죠.

 

 

네, 피터가 설명해줄 수 있을 것 같아요. 어떤 이유에선지 우리는 훨씬 더 큰 컨텍스트 윈도우를 만들 수 있게 되었어요. 이제 책 한 권이나 여러 권의 책, 온갖 정보를 한꺼번에 넣을 수 있죠. 이를 통해 모든 맥락을 파악할 수 있게 되었어요. 이는 정말 큰 혁명입니다.

에릭이 말했듯이, 이전에는 없었던 여러 가지 능력을 갖게 되었고, 훨씬 더 최신 정보를 다룰 수 있게 되었어요. 이에 대해 더 말씀하실 건가요?

좋은 질문이에요. 확실히 더 많은 자본이 투입되고 있지만, 왜 다른 곳이 아닌 이쪽으로 자본이 몰리는지 의문이 들죠. 역사를 보면 때로는 매끄럽게 보이지만, 자세히 보면 많은 도약이 있었어요. 큰 발명과 작은 발명들이 있었죠.

앤드류 카파시는 물리학을 가지고 놀았다고 했어요. 물리학에서 진전을 이루려면 엄청나게 똑똑하고 많이 공부해야 해요. 운이 좋으면 작은 기여를 할 수 있고, 실제로 그런 사람들도 있죠.

하지만 그는 지금 AI 기계학습 분야에서는 손쉽게 딸 수 있는 과일이 많은 시대라고 말해요. 몇 가지 돌파구가 생겼고, 나무의 모든 열매를 따는 것처럼 공간을 소진하는 게 아니라 조합론적인 접근이 가능하다는 거죠. 두 개의 블록을 합치면 더 많은 것을 만들 수 있어요. 지금은 기회가 많은 시대이고, 사람들이 그걸 인식하고 있어요.

한 발견이 다른 발견을 낳고, 또 다른 기회를 만들어내죠. 그래서 투자를 끌어들이고 더 많은 사람들이 참여하게 됩니다. 경제학에서는 더 많은 자원을 투입할 때 수확체감이 일어나는 경우가 있지만, 어떤 분야에서는 수확체증이 일어나요.

실리콘밸리에 더 많은 엔지니어가 오면 기존 엔지니어들의 가치가 떨어지지 않고 오히려 높아지죠. 우리는 지금 그런 시대에 있는 것 같아요. 추가 투자와 훈련을 위한 추가 자금이 계속해서 더 강력한 결과를 만들어내고 있어요. 얼마나 오래 계속될지는 모르겠지만, 어떤 기술들은 정말 비옥한 시기를 맞이하고 긍정적인 피드백을 받는 것 같아요. 지금이 그런 시기인 것 같습니다.

 
이 분야에서 훈련받은 사람들은 다른 분야보다 더 빠른 시간에 중요한 기여를 하고 있어요. 여러분 모두 지금 잘하고 계신 것 같아요. 

질문 몇 개 더 받아볼까요? 이쪽에 계신 분?

모든 사람이 이런 AI 토론에 참여할 수 있는 건 아니잖아요. 비기술적 이해관계자들을 위한 AI 리터러시에 대해 어떻게 생각하세요? 정책 입안자들이나 일반 대중들을 위해 기술적 기초를 설명하는 것과 추상적인 함의를 논의하는 것에 대해 어떻게 생각하시나요?

어려운 질문이네요. 최근 의회나 다른 곳에서 이 주제에 대한 관심이 크게 늘어났어요. 예전에는 관심 없어 하던 주제였는데, 이제는 모두가 조금이라도 더 이해하려고 노력하고 있죠. 사람들이 기여할 수 있는 여지가 많다고 봐요. 기술적인 측면에서도 기여할 수 있지만, 제 생각에는 지금 가장 큰 병목이 비즈니스와 경제 측면에 있는 것 같아요.

 
네, 아무리 기술 측면에서 큰 기여를 한다 해도 그것을 정책 변화로 연결하는 데는 여전히 간극이 있습니다. 정치학자나 정치인이라면 AI가 민주주의, 허위정보, 권력 집중 등에 미치는 영향을 이해하는 것이 중요합니다. 이런 부분들은 아직 잘 이해되지 않고 있죠. 컴퓨터 과학자가 이를 이해하기에 가장 적합한 사람은 아닐 수 있지만, 기술이 무엇을 가능하게 할지 정도는 이해해야 합니다.

그리고 헨리 키신저와 에릭 슈미트가 그들의 책에서 했던 것처럼 역학 관계를 생각해봐야 합니다. 경제학자라면 노동 시장, 집중화, 불평등, 일자리, 생산성 등에 미치는 영향을 고민해볼 수 있겠죠. 이런 주제들이 지금 아주 중요합니다. 다양한 분야에서 기술이 무엇을 할 수 있는지 이해하고 그 영향을 생각해보는 것, 이것이 가장 큰 성과를 낼 수 있는 부분이라고 봅니다.

구체적인 예를 들어볼게요. 지난주에 이야기하려 했던 건데, 전기도 범용 기술이었습니다. 범용 기술은 그 자체로도 중요하지만, 가장 큰 힘은 보완적 혁신을 일으킨다는 점입니다. 전기가 발명되면서 전구, 컴퓨터, 전동기가 나왔고, 이는 다시 압축기, 냉장고, 에어컨을 만들어냈죠. 하나의 혁신에서 연쇄적으로 추가 혁신이 일어나는 거예요. 대부분의 가치는 이런 보완적 혁신에서 나옵니다. 

사람들이 간과하는 점은 가장 중요한 보완적 혁신 중 일부가 조직과 인적 자본의 상호보완성이라는 거예요. 스탠포드의 폴 데이비드가 연구한 바에 따르면, 공장에 전기가 처음 도입되었을 때 놀랍게도 큰 변화가 없었습니다. 전기화된 공장이 증기 기관으로 움직이던 이전 공장보다 크게 생산적이지 않았어요. 이런 중요한 기술인데 이상하지 않나요? 단순한 유행일까요?

전기 이전의 공장은 증기 기관으로 움직였습니다. 보통 중앙에 큰 증기 기관이 있고, 크랭크축과 도르래로 모든 장비를 움직였죠. 가능한 한 증기 기관 가까이에 두려고 했는데, 크랭크축이 너무 길면 비틀림이 생기기 때문이었어요.
 
전기가 도입되었을 때, 공장마다 증기 기관을 빼고 가장 큰 전기 모터를 찾아와 증기 기관이 있던 자리에 설치했습니다. 하지만 생산에는 큰 변화가 없었죠. 그래서 완전히 새로운 공장을 처음부터 지었는데, 어떻게 됐을까요?

옛날 공장과 똑같았습니다. 같은 모델을 사용했고, 엔지니어가 설계도를 그릴 때 증기 기관 자리에 큰 X표를 하고 전기 모터를 넣었죠. 새 공장을 지었지만, 생산성은 크게 향상되지 않았습니다.

 

 

약 30년이 지나서야 근본적으로 다른 형태의 공장이 나타났습니다. 중앙에 큰 동력원 하나 대신, 분산된 전력을 사용했어요. 전기 모터는 크기를 다양하게 만들 수 있고 여러 방식으로 연결할 수 있거든요. 각 장비마다 개별 모터를 달았죠. 이를 '단위 구동'이라고 불렀습니다. 1914년경 하버드 경영대학 베이커 도서관의 책들을 보면 단위 구동과 그룹 구동에 대한 논쟁이 있었어요.

이렇게 바뀌면서 공장 구조도 바뀌었습니다. 한 층에 모든 것을 배치하고, 기계 배치를 동력 필요량이 아닌 재료의 흐름에 따라 했죠. 조립 라인 시스템이 생겼고, 이로 인해 생산성이 2배에서 3배까지 증가했습니다. 

여기서 배울 점은 전기가 유행이나 과대 평가된 것이 아니라는 겁니다. 전기는 근본적으로 가치 있는 기술이었죠. 하지만 생산 방식을 재고하는 과정 혁신, 조직 혁신이 있어야 큰 성과를 얻을 수 있었습니다.

이런 이야기는 많습니다. AI도 비슷할 거예요. 많은 조직 혁신, 새로운 비즈니스 모델, 경제 조직 방식의 변화가 있을 겁니다. 지금은 대부분 기존 시스템에 맞추는 수준이지만요. 

초기 컴퓨터의 경우, 하드웨어와 소프트웨어 투자의 10배나 되는 투자가 조직 자본과 인적 자본에 이루어졌습니다. 

하지만 ChatGPT 같은 도구들은 더 빨리 채택되고 변화를 만들어내고 있어요. 파이썬을 깊이 배우지 않아도 되고, 영어로 많은 일을 할 수 있으니까요. 기존 조직에 얹는 것만으로도 큰 가치를 얻을 수 있죠. 그래서 일부는 더 빨리 진행되고 있고, 15-30% 정도의 생산성 향상이 빠르게 이루어지고 있습니다.
 
하지만 제 생각에는 사람들이 이러한 보완적 혁신을 알아내면 더 큰 영향이 있을 거예요. 그래서 이게 당신 질문에 대한 긴 대답입니다. 단순히 기술적 기술만이 아니에요. 다른 모든 것들, 모든 것을 재고하는 방법을 알아내는 거죠. 그래서 경영대학이나 경제학에 계신 분들, 이 놀라운 기술들이 주어졌으니 여러분의 분야를 재고할 기회가 많이 있습니다.

네, 질문 있나요? 에릭보다 변화 속도에 대해 더 조심스러운 입장을 취하시는 것 같아요. 제가 맞게 이해한 건가요? 음, 두 가지를 구분하고 싶네요. 기술 측면에서는 그와 다른 분들의 의견을 따르겠습니다.

우리는 여러 다른 분들의 이야기를 들을 거예요. 그만큼 낙관적이거나 심지어 더 낙관적인 사람들도 있고, 덜 낙관적인 사람들도 있죠. 하지만 기술만으로는 생산성을 만들어내기에 충분하지 않아요. 놀라운 기술이 있다고 해도 말이죠.

여러 이유로, A, 사람들이 그걸 효과적으로 사용하는 방법을 알아내지 못할 수도 있어요. 또 다른 이유는 규제 문제일 수 있고요. 제 컴퓨터 과학 동료들 중 일부가 의료 영상을 읽는 더 나은 방사선 시스템을 도입하고 개발했지만, 문화적인 이유로 채택되지 않았어요. 사람들이 그걸 원하지 않았죠. 안전상의 이유도 있고요.

 
제가 어떤 작업을 가장 많이 도울 수 있고 어떤 직업이 가장 영향을 많이 받을지 분석했을 때, 항공기 조종사가 상위권 근처에 있어서 놀랐어요. 하지만 많은 사람들이 조종사가 함께 내려가지 않는 것에 대해 불편함을 느낄 거라고 봐요. 그래서 거기에 인간이 있기를 원하는 거죠. 그래서 이를 크게 늦출 수 있는 여러 가지 요인들이 있어요. 우리가 이를 인식해야 한다고 봅니다.

그리고 이런 병목 현상들을 해결할 수 있다면, 기술만 발전시키는 것보다 생산성에 더 도움이 될 거예요. 네, 질문 있나요?

에릭이 대학의 데이터 센터에 대해 흥미로운 언급을 했어요. 이건 더 큰 문제인 것 같은데, 그에게 왜 수표를 쓰지 않느냐고 물어보려고 했어요. 사람들이 그에게 그런 질문을 하고 있죠.

대학 생태계의 역할이 뭘까요? 물론 여기 모든 CS 교수님들이 계시죠. 제 생각에는 더 많은 자금 지원이 있으면 좋을 것 같아요. 연방 정부가 국가 AI 자원이라는 걸 만들어서 조금 도움을 주고 있지만, 수백만 달러, 수천만 달러 수준이지 수십억 달러나 수천억 달러 수준은 아니에요. 에릭이 수업 전에 말하길 훨씬 더 큰 규모의 무언가를 준비하고 있다고 하더라고요.

 
그는 훨씬 더 큰 규모의 무언가를 추진하고 있어요. 그게 실현될지는 모르겠네요. 그건 정말 큰 모델을 훈련시키기 위한 거예요. 저는 한번 제프 힌튼과 정말 흥미로운 대화를 나눴어요. 아시다시피 제프 힌튼은 딥러닝의 대가 중 한 분이죠.

 
그리고 저는 그에게 어떤 종류의 하드웨어가 그의 작업에 가장 유용한지 물었어요. 그는 노트북에 앉아서 그냥 맥북을 톡톡 쳤죠. 이것은 대학들이 경쟁 우위를 가질 수 있는 또 다른 연구 영역이 있다는 걸 상기시켰어요. 천억 달러짜리 모델을 훈련시키는 게 아니라, 트랜스포머 이후에 올 새로운 알고리즘을 혁신하는 것처럼 말이에요. 사람들이 기여할 수 있는 다른 방법들도 많고요. 그래서 약간의 분업이 있을 수 있겠네요. 저는 동료들이 GPU에 더 많은 예산을 요구하는 걸 전적으로 지지하지만, 그게 항상 학계가 가장 큰 기여를 할 수 있는 곳은 아니에요.

일부는 아이디어와 사물을 바라보는 새로운 관점, 새로운 접근 방식에서 나오죠. 그게 우리가 우위를 가질 수 있는 부분일 거예요. 지난주에 센담 멜라나톤과 저녁을 먹었어요. 그는 시카고에서 MIT로 막 옮겼죠. 그는 연구원이었어요.

 

 

우리는 대학의 비교 우위가 무엇인지에 대해 이야기했어요. 그는 인내심이 그 중 하나라고 주장했죠. 대학에는 매우 장기적인 프로젝트에 매달리는 사람들이 있어요. 핵융합에 대해 연구하는 사람들이 있죠. 그들은 오랫동안 핵융합을 연구해 왔어요. 올해나 10년 후, 혹은 20년 후에 핵융합 발전소를 지어서 많은 돈을 벌 수 있어서가 아니에요. 핵융합이 얼마나 걸릴지 모르겠네요.

하지만 이건 사람들이 시간이 좀 더 걸리더라도 기꺼이 연구하려는 거죠. 기업들은 이런 긴 시간을 감당하기 어려워요. 그래서 대학이 할 수 있는 일에 대해 비교 우위나 분업이 있는 거죠. 시간이 몇 분 남지 않았네요. 재미있군요.

한두 가지 질문만 더 받을게요. 그리고 나서 프로젝트에 대해 조금 이야기하고 싶어요. 네, 말씀하세요. 저는 케빈입니다.

AI의 새로운 능력에 대해 궁금했어요. 에릭은 구조적 차이와 더 나은 모델 설계에 더 기울어진 것 같았고, 지난 수업에서는 무어의 법칙에 대해 이야기했잖아요. 그래서 어떻게... 음, 그는 세 가지 모두라고 했어요. 스케일링 법칙 기억하시나요?

세 부분으로 구성되어 있었죠. 제가 다리오와 팀의 스케일링 법칙을 올렸던 것 같아요... 더 많은 컴퓨팅 파워, 더 많은 데이터, 그리고 더 많은 매개변수를 포함한 알고리즘 개선이 있어요. 에릭이 말하길 이 세 가지 모두 중요하다고 했어요. 하지만 마지막 것, 새로운 아키텍처도 무시할 수 없죠. 세 가지 모두 중요하다고 봅니다.

거기에 또 다른 질문이 있었던 것 같아요. AGI 같은 시스템에 얼마나 가까워졌나요? 에릭은 우리가 AGI 유형의 시스템에 그렇게 가깝다고 생각하지 않아요. 물론 명확한 정의는 아니지만요. 사실, 그게 제가... 그에게 그 질문을 하려고 했는데 시간이 부족했어요.
 
그가 어떻게 설명했을지 들어보면 좋았을 텐데요. 그와 이야기해 보니 명확하게 정의된 개념은 아닌 것 같아요. 어떤 면에서는 AGI가 이미 여기 있다고 볼 수 있죠. 피터 노빅이 "AGI는 이미 여기 있다"라는 글을 썼어요. 읽기 자료에 있는지 모르겠네요. 없다면 추가해 놓겠습니다. 블레이즈 아이아르카와 함께 쓴 재미있는 짧은 글이에요. 20년 전 사람들이 "이게 AGI다"라고 말했던 많은 것들을 지금의 LLM이 어느 정도 하고 있어요. 인간만큼 잘하진 못할지 모르지만, 더 일반적인 방식으로 문제를 해결하고 있죠.

반면에 인간보다 훨씬 못하는 부분들도 분명히 있어요. 아이러니하게도 물리적인 작업은 현재 인간이 비교우위를 가지고 있는 분야 중 하나예요. 모라벡의 역설을 아실 거예요. 한스 모라벡은 3-4살 아이가 할 수 있는 일, 예를 들어 셔츠 단추를 끼우거나 계단을 오르는 것을 기계가 하게 만드는 게 매우 어렵다고 지적했어요. 반면에 많은 박사들이 어려워하는 볼록 최적화 문제 같은 건 기계가 꽤 잘 해내죠.

그래서 인간에게 쉽고 컴퓨터에 어려운 것, 인간에게 어렵고 컴퓨터에 쉬운 것, 이렇게 같은 척도로 비교할 수 없는 거예요. 다음 주에는 OpenAI의 최고기술책임자이자 잠시 CEO를 맡았던 미라 무라티가 올 예정입니다. 그녀에게 물어볼 질문들을 준비해 오세요. 그럼 다음에 뵙겠습니다.

 

관련글

 

https://stockmarketlab.tistory.com/1197

에릭 슈미트, 스탠포드 대학 강연

 

관련글

 

https://stockmarketlab.tistory.com/1198

Stanford ECON295⧸CS323 I 2024 I The Age of AI, Eric Schmidt