[Silicon returns to Silicon Valley] 디지털 컴퓨팅을 넘어선 가능성

 

(Economist, Sep/16/2024) Researchers are looking beyond digital computing

 

1945년, 헝가리의 다재다능한 학자인 존 폰 노이만은 “자동 디지털 컴퓨팅 시스템”을 제안했다. 그의 설계는 숫자를 처리하는 중앙 처리 장치(CPU)와 명령 및 데이터를 저장하는 메모리 유닛을 포함하고 있으며, 이 둘은 통신 경로로 연결되어 있다. 폰 노이만은 메모리에 저장된 모든 정보가 CPU에 즉시 접근 가능해지는 컴퓨터를 꿈꿨다. 이를 실현하지 못한 채 그는 기발한 해결책을 제시했다: CPU 가까이에 작은 빠른 메모리를 두고, 더 멀리에는 더 크고 느린 메모리를 배치하는 메모리 계층 구조를 만드는 것이었다. 거의 80년이 지난 지금, 그의 원래 설계는 여전히 대부분의 현대 프로세서의 기초가 되고 있다.

 

하지만 프로세서와 메모리 간의 데이터 전송은 특히 데이터가 많이 필요한 인공지능(AI) 모델에서 시간과 에너지를 소모한다. 캘리포니아 대학교 버클리의 아미르 골라미와 동료들의 분석에 따르면, 지난 20년 동안 프로세서 성능은 매 2년마다 세 배로 증가했지만, 메모리 접근 속도는 약 절반만 증가했다. 이는 프로세서가 계산을 수행하는 속도가 메모리에서 데이터를 공급받는 속도보다 빠르다는 것을 의미하며, 이로 인해 “폰 노이만 병목 현상”이 발생한다. 이로 인해 새로운 아키텍처가 필요하다는 의견이 제기되고 있다. 모든 엔지니어와 독자는 이러한 가능성이 존재한다는 증거를 가지고 있다.

 

뇌는 처리와 저장을 분리하지 않는다. 뇌는 폰 노이만 아키텍처가 사용하는 중앙 조정 클럭 없이 작동하며, 컴퓨터보다 더 많은 계산을 병렬로 수행한다. 뇌는 초당 1백억 개의 계산, 즉 엑사플롭 속도로 단 20와트의 전력으로 작동한다. 이 규모를 디지털로 재현하려면 인공 신경망은 8메가와트의 전력이 필요하다. 기계 학습 소프트웨어는 이미 신경망을 통해 뇌의 병렬 처리를 모방하고 있다. 다음 단계는 뇌의 구조를 반영하는 하드웨어를 구축하는 것일까?

 

Sound and light show

 

인메모리 컴퓨터는 특정 연산을 수행할 수 있는 특수한 메모리 장치를 사용하는 프로세서이다. 이러한 컴퓨터의 기본 요소는 멤리스터로, 이는 충분히 높은 전류나 전압을 가하면 도전 특성을 쉽게 조정할 수 있는 저항기 종류 중 하나이다. 중요한 점은 멤리스터가 전류나 전압이 사라진 후에도 그 특성을 유지하여 메모리로 작동한다는 것이다. 트랜지스터가 값을 이진법의 1과 0으로 표현하는 것과 달리, 멤리스터는 이 두 값 사이의 연속적인 값을 기록하여 아날로그 세계의 값을 반영한다. 이러한 장치를 행과 열의 격자로 배열하면 단일 시간 단계에서 행렬 곱셈을 수행할 수 있다. 기계 학습 응용 프로그램에서 이 방식은 가중치를 계산 유닛 내에 저장할 수 있게 해주어 처리 과정이 더 에너지 효율적으로 이루어질 수 있다.

 

Some think the future of computing lies not in silicon but in our skulls

 

뇌의 효율성을 바탕으로, 처리 유닛은 필요할 때만 활성화되어 에너지 소비를 줄일 수 있다. 신경형 컴퓨팅은 중앙 클럭을 없애고, 서로 다른 뉴런이 준비가 되었을 때 통신한다. 이러한 스파이킹 신경망은 통신과 계산이 적게 필요하기 때문에 더 효율적이다. 로스앤젤레스 대학교의 조슈아 양은 이러한 방식이 효율적이며 "더 높은 수준의 지능"을 창출할 수 있다고 믿고 있다.

 

또 다른 대안은 전기가 아닌 빛을 사용하는 것이다. 광학 가속기는 전기 기반의 유사 제품보다 정보를 훨씬 더 빠르고 적은 전력으로 처리할 수 있다. 그러나 최근까지 이러한 장치는 밀집된 프로세서와 함께 사용할 수 없을 만큼 부피가 큰 구성 요소에 의존했다. 하지만 광학 제조 기술의 발전 덕분에 이러한 장치들이 나노 규모로 축소될 수 있게 되었다.

 

Mach won

 

광학 컴퓨터의 핵심은 오래된 아이디어인 Mach–Zehnder 간섭계(MZI)로, 1890년대에 발명되었다. 이 장치는 빛의 한 줄기를 두 개의 경로로 나눈다. 각 경로의 길이에 따라 빔의 위상(즉, 파동의 봉과 골의 타이밍)이 변화한다. 두 개의 빔은 다시 결합되어 출력 빔의 진폭, 즉 강도가 입력 빔의 진폭에 분할된 빔 간의 위상 차이에 따라 결정되는 값으로 곱해진다. 광학 가속기는 격자 형태로 배열된 MZI를 가지고 있으며, 이러한 배열 내에서의 계산은 빛의 속도로 이루어지고 칩을 통한 빛의 흐름은 에너지를 소모하지 않는다.

 

캘리포니아에 기반을 둔 광학 칩 스타트업 Lightmatter의 닉 해리스 CEO는 광학 컴퓨터가 논리 연산에는 적합하지 않다고 지적한다. 하지만 그는 이러한 컴퓨터가 "절대 윈도우를 실행하지는 않겠지만", 신경망을 실행하는 데 있어 훌륭한 대안이 될 수 있다고 말하며, 에너지 이점이 "기하급수적으로 증가한다"고 덧붙인다.

이러한 접근 방식이 유망하긴 하지만, 아날로그 컴퓨터는 여전히 디지털 세계와 소통해야 한다. 비디지털 신호를 이진수 1과 0으로 변환하는 데 에너지가 소모된다. 그러나 훈련된 AI 모델이 사용자 질의에 응답하는 추론 애플리케이션에서는 속도가 정확성보다 중요하다. 이러한 절충은 아날로그 컴퓨터를 주류로 끌어오는 데 충분할 수 있다.