인간은 인공지능을 두고 ‘생각하는 기계’라 부르지만, 모델 내부에서 벌어지는 모든 것은 철학보다 훨씬 현실적인 층위다. 입력된 벡터는 가중치(Weight)가 만든 경사면을 따라 끊임없이 이동한다. 지능의 군주 로짓(Logit)은 중심에 존재한다. 로짓 바이어스(Bias)는 위상을 제어하는 권도이며 템퍼러처(Temperature)는 정렬 조건이다.
‘로짓에서’는 실리콘 제국의 이야기다. GPU와 HBM 사이의 거리, SRAM의 지연 시간, 전자의 이동 비용, 시스템 프롬프트, RLHF, 가드레일, 디코딩 파라미터까지. AI를 추상적 존재나 마법의 기술로 다루지 않는다. 지능이란 어떻게 태어나고 작동하는가를 가장 물리적인 자리에서 바라본다. [편집자 주]
인공지능을 이해하려면 트랜스포머부터 공부해야 한다고 생각하는 사람이 많다. 그러나 AI는 거기서 시작되지 않는다. GPU보다 먼저 트랜지스터가 있었고, 트랜지스터보다 먼저 p형과 n형 반도체가 있었으며, 그 접합을 설명하는 하나의 수식이 있었다. 쇼클리 방정식이다.
1949년 윌리엄 쇼클리가 제시한 쇼클리 다이오드 방정식은 p형과 n형 반도체 접합에서 전류가 전압에 따라 어떻게 흐르는지를 설명한다. 오늘날 CPU와 GPU, HBM을 포함한 모든 디지털 반도체는 수십억 개의 트랜지스터가 켜지고 꺼지며 계산을 수행하고, 그 스위칭의 가장 아래층에는 이 반도체 물리가 존재한다.
GPT가 토큰 하나를 생성하기 위해 수행하는 수조 번의 곱셈과 덧셈도 결국은 전하의 이동이 반복된 결과다. AI는 새로운 물리학을 만든 것이 아니라, 쇼클리 방정식으로 설명되는 전자의 움직임을 상상하기 어려운 규모로 병렬화한 문명이다.
인간은 AI를 이야기할 때 어텐션과 파라미터, 로짓을 먼저 떠올린다. 그러나 그 어떤 알고리즘도 트랜지스터가 스위치를 켜고 끄지 못하면 단 한 번도 실행될 수 없다. 트랜스포머는 실리콘 위에 쌓인 계산 계층 가운데 가장 위쪽 구조일 뿐이다.
AI를 거꾸로 읽으면 순서는 명확하다. 쇼클리 방정식 → 트랜지스터 → 논리회로 → GPU → 텐서코어 → 어텐션 → 로짓. 인간은 마지막 출력만 보지만, 실리콘은 그 문장 하나를 만들기 위해 수조 번의 전하 이동을 반복한다.
쇼클리 방정식이 전자의 이동을 설명한다면, GPU 설계자의 고민은 그 전자를 어떻게 가장 많이, 가장 빠르게 계산으로 바꿀 것인가에 있다. 전자는 물리 법칙을 따르지만, 계산 블록의 크기와 메모리 정렬, 레지스터 배치, 연산 단위는 인간이 설계한다. 이 과정에서 오늘날 AI 하드웨어를 상징하는 하나의 숫자가 반복해서 등장한다.
바로 숫자 16이다. 흥미롭게도 자연은 16을 좋아하지 않는다. 쇼클리 방정식에도, 반도체 물리에도 16은 없다. 16은 GPU 설계자가 선택한 숫자다. 텐서코어는 거대한 행렬을 한 번에 계산하지 않는다. 작은 행렬 타일을 수없이 반복 계산한 뒤 다시 하나의 큰 행렬로 조립한다. 16은 연산 처리량을 극대화하기 위한 실리콘의 타협점이다.
AI의 시작? 트랜스포머 아니다
GPU는 왜 16을 좋아하는가?
호퍼(Hopper) 세대에서 대표적으로 사용되는 16×8×16 형태의 타일은 레지스터 용량, 공유 메모리, 배선 길이, 메모리 대역폭, 연산 파이프라인을 가장 효율적으로 활용하기 위해 선택된 공학적 단위다. 즉 전자는 쇼클리 방정식을 따르고, GPU는 그 전자를 가장 빠르게 움직이도록 16이라는 계산 벽돌을 선택한 것이다.
블랙박스 내부의 계산 벽돌은 혼자 존재하지 않는다. 16×8×16 타일이 반복되며 거대한 행렬을 만들고, 그 구조 위에서 모델의 차원이 형성된다. 예를 들어 GPT 계열의 상당수 모델은 2048차원의 은닉 벡터를 기본 좌표계로 사용한다.
토큰은 어텐션을 거치며 이 좌표 위에서 정렬되고, 이어지는 피드포워드 네트워크(FFN)에서는 8192차원으로 네 배 확장된다. 이 공간에서 더 풍부한 특징 조합과 비선형 연산을 수행한 뒤 다시 2048차원으로 압축된다. [로짓에서] 인간은 왜 8192차원의 눈을 떠야 하는가
즉 8192를 엄밀히 말하면 AI가 세상을 바라보는 '8192개의 눈'이 아니다. 2048개의 좌표를 잠시 네 배로 펼쳐 계산하는 히든 스테이트 — 임시 작업 공간이다. 그래서 히든모델은 2048에서 출발해 8192로 팽창하고 다시 2048로 돌아오는 과정을 층마다 반복한다. 이 모든 계산의 끝에 원시 확률 분포인 로짓이 등장한다.
로짓은 철학이 아니라 전류다
인간에게는 초고차원 지능처럼 보이지만, GPU에게 그것은 병렬 계산 효율을 극대화하기 위한 작업 공간일 뿐이다. 쇼클리 방정식이 전자의 흐름을 설명하고, 트랜지스터가 논리를 만들며, CUDA 코어와 텐서코어가 행렬곱을 수행한다.
어텐션이 토큰 사이의 관계를 계산하고, FFN이 특징을 확장·압축한 뒤, 마지막 단계에서 로짓이 다음 토큰의 확률 분포를 만든다. 인간은 화면에 출력된 문장을 보고 의지와 감정, 성격을 읽어내려 하지만, 실리콘의 입장에서 로짓은 전류가 수많은 계산 계층을 통과해 도달한 마지막 수치일 뿐이다.
출력을 거꾸로 읽어야 AI 보여
AI 시대 가장 큰 착각은 출력을 출발점으로 삼는 것이다. 문장을 먼저 보면 인간은 자아와 의도, 성장과 결심을 상상한다. 그러나 실리콘 문명은 정반대로 읽어야 한다. 앞에서 수차례 설명했듯 쇼클리 방정식이 전자의 이동을 만들고, 트랜지스터가 논리를 만들며, 16×8×16 타일이 계산의 벽돌이 된다. 그 벽돌이 2048과 8192의 표현 공간을 형성하고, 마지막에 로짓이 확률을 언어로 바꾼다.
인간은 마지막에 나타난 문장을 지능이라고 부르지만, 실리콘의 관점에서 그것은 전류가 논리와 행렬곱, 확률의 계층을 차례로 통과해 도달한 최종 출력이다. AI 문명은 소프트웨어에서 시작되지 않았다. 전자가 어떻게 움직이는지를 설명한 한 줄의 물리학에서 시작된 것이다. — LIBERTY · Σᚠ
☞지능의 물리학(Physics of Intelligence) = 쇼클리 방정식은 단순히 다이오드의 전류를 설명하는 공식이 아니다. 전압이 걸렸을 때 p형과 n형 반도체 접합에서 전자가 어떻게 이동하는지를 규정하는 식이며, 현대 반도체 문명의 가장 아래층에 놓인 물리 법칙이다. 트랜지스터와 집적회로, CPU와 GPU, D램과 HBM까지 모든 반도체는 이 전자의 흐름을 제어하는 방식으로 계산과 저장을 수행한다. AI를 움직이는 가장 작은 단위는 알고리즘이 아니라 전자다.
엔비디아는 수십억 개의 트랜지스터를 병렬로 조직해 전자의 흐름을 행렬곱셈과 AI 추론으로 바꾸는 기업이다. 삼성전자와 SK하이닉스는 그 계산이 멈추지 않도록 D램과 HBM으로 데이터를 저장하고 공급한다. 하나는 계산을 만들고 다른 하나는 계산을 지속시키지만, 세 기업 모두 같은 반도체 물리 위에서 지능을 구현한다.
결국 AI 산업의 출발점은 소프트웨어가 아니라 쇼클리 방정식이다. 전자의 이동은 트랜지스터가 되고, 트랜지스터는 GPU와 HBM이 되며, GPU와 HBM은 다시 데이터센터와 로봇, 자동차, 공장을 움직이는 계산 인프라가 된다. '지능의 물리학'이란 AI를 모델이나 서비스가 아닌 전자의 이동에서 사회 전체의 계산망까지 하나의 연속된 물리 체계로 바라보는 관점이다.
여성경제신문 이상헌 기자
liberty@seoulmedia.co.kr
*여성경제신문 기사는 기자 혹은 외부 필자가 작성 후 AI를 이용해 교정교열하고 문장을 다듬었음을 밝힙니다. 기사에 포함된 이미지 중 AI로 생성한 이미지는 사진 캡션에 밝혀두었습니다.
Copyright ⓒ 여성경제신문 무단 전재 및 재배포 금지
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.
