뉴스에 나오는 ‘AI 칩’이란? 일반 프로세서와 무엇이 다를까

뉴스에서 흔히 말하는 ‘AI 칩’은 AI를 돌리기 위한 전용 칩을 통틀어 부르는 말이다. AI 칩이 가장 잘하는 일은 아주 간단한 곱셈과 덧셈을 엄청나게 많이, 동시에 하는 것이다. 일반 프로세서(CPU)는 이 일을 훨씬 느리게 한다. 데이터센터의 그래픽 처리 장치(GPU), AI 전용으로 설계한 가속기, 휴대폰 속의 작은 NPU를 뉴스에서는 모두 AI 칩이라고 부를 수 있고, AI 반도체라고 부르기도 한다. 먼저 AI가 무엇을 계산하는지부터 살펴보자.

AI는 대체 무엇을 계산할까?

AI 모델 안에는 엄청나게 많은 숫자가 들어 있다. 모델을 쓸 때 하는 일은 계산대에서 합계를 내는 일과 아주 비슷하다. 물건마다 수량에 단가를 곱한 뒤 전부 더하는 것이다.

사진 인식을 예로 들어 보자. 컴퓨터에게 사진은 점 하나하나의 밝기와 색을 기록한 긴 숫자 열이다. 모델은 점마다 그 숫자에 자신이 가진 숫자 하나를 곱하고, 모두 더해 점수 하나를 얻는다. 다른 숫자 묶음을 쓰면 또 다른 점수가 나온다. 다음 층은 이 점수들을 새로운 ‘수량’으로 삼아 다시 곱하고 더한다. 이렇게 층을 하나씩 거쳐 나온 마지막 점수가 ‘이 사진이 고양이일’ 가능성이 얼마나 되는지를 나타낸다.

이런 계산에는 세 가지 특징이 있다.

• 한 단계 한 단계가 아주 간단하다: 한 번 곱하고 한 번 더한다.
• 횟수가 엄청나게 많다: 큰 모델에는 수십억 개가 넘는 숫자가 들어 있다. 챗봇이 글을 조금 내놓을 때마다 수많은 숫자를 각각 한 번씩 곱하고 더해야 한다.
• 대부분 서로 상관이 없다: 이 계산서는 저 계산서가 끝나기를 기다릴 필요가 없으므로 동시에 계산할 수 있다.

그래서 AI에 필요한 것은 ‘하나를 아주 빨리 계산하는 것’이 아니라 ‘한 번에 많이 계산하는 것’이다.

일반 프로세서(CPU)는 무엇을 잘할까? AI에는 왜 느릴까?

CPU는 중앙 처리 장치(central processing unit)로, 컴퓨터와 휴대폰에서 프로그램에 따라 일을 처리하는 부분이다. CPU에는 보통 코어(core)가 몇 개에서 백 개 넘게 있는데, 코어 하나하나가 독립적으로 일할 수 있고 성능도 강하다. 프로그램이 ‘만약 ……이면 ……한다’ 같은 갈림길에 이르면 다음 단계를 미리 짐작하고, 가까이에 캐시 메모리를 두어 필요한 데이터를 바로 꺼내 쓸 수 있다. 어떤 장부든 처리할 줄 아는 노련한 회계사 몇 명과 같아서, 앱을 열거나 웹 페이지를 띄우는 것처럼 흐름이 자주 바뀌는 일에 가장 알맞다.

하지만 CPU는 한 단계를 처리할 때마다 먼저 명령어를 하나 읽고, 무엇을 해야 하는지 해석한 다음, 숫자를 가지러 간다. 이 준비에 드는 전력이 곱셈 한 번 자체보다 더 많은 경우가 흔하다. 수십억 번의 곱셈·덧셈 앞에서는 코어가 백 개 넘게 있어도 한참 줄을 서야 한다. 그래서 AI 시스템에서 CPU는 대개 작업을 배분하는 일을 맡고, 곱셈과 덧셈은 다른 칩에 넘긴다.

그래픽 처리 장치(GPU)는 어떻게 ‘한 번에 많이’ 할까?

GPU는 원래 화면을 그리기 위해 만든 칩이다. 흔한 화면 하나에는 점이 200만 개 넘게 있고, 점마다 같은 계산법으로 색을 따로따로 구해야 하며, 1초에 수십 장씩 화면을 바꿔야 한다. 그래서 GPU는 CPU와 반대로 만든다. 비교적 단순한 연산 유닛을 수천에서 수만 개 넣고, 명령어 하나로 많은 유닛을 동시에 움직여 각자 자기 숫자를 계산하게 한다.

강당을 가득 메운 사람들이 저마다 계산기를 하나씩 들고, 구령에 맞춰 함께 버튼을 누르는 것과 같다. AI의 곱셈·덧셈도 마침 ‘같은 일을 많은 숫자에 하는 것’이어서, GPU는 나중에 AI를 돌리는 데 대량으로 쓰이게 되었다. 새 세대 GPU에는 곱셈·덧셈만 전문으로 하는 유닛도 들어갔다.

전용 AI 가속기는 또 무엇일까?

AI가 대부분 곱셈·덧셈이라면, 칩의 더 많은 면적을 곱셈·덧셈 유닛에 내주면 된다. 흔히 쓰는 배치는 격자 모양 배열이다. 숫자가 왼쪽과 위쪽에서 한 칸씩 들어오면, 칸마다 한 번 곱하고 한 번 더한 뒤 옆 칸으로 넘긴다. 한 줄로 서서 물통을 건네는 것처럼, 숫자는 한 번 들어오면 배열 안에서 여러 번 쓰인다. 이런 배치는 이미 1970년대 말에 대학 연구에서 제안되었다.

또 하나의 방법은 자릿수를 줄이는 것이다. 컴퓨터 안의 숫자는 0과 1이 이어진 열이고, 그 하나하나를 비트(bit)라고 한다. 비트가 많을수록 숫자를 더 정밀하게 나타낼 수 있다. AI는 16비트나 8비트, 심지어 그보다 적은 비트로도 충분한 경우가 많다. 곱셈 회로의 크기는 대략 비트 수의 제곱에 비례한다. 비트 수를 절반으로 줄이면 회로는 약 4분의 1로 작아지므로, 같은 면적에 더 많이 넣을 수 있고 전력도 덜 든다.

대가는 유연성이다. 다른 일을 시키면 잘하지 못한다. GPU가 두루 잘하는 쪽이라면, 가속기는 한 가지만 파고든 전문가다.

AI 칩은 왜 메모리를 그렇게 많이 쓸까?

곱셈·덧셈 유닛이 아무리 많아도 숫자가 들어오지 못하면 소용없다. 모델의 숫자는 칩 안에 다 넣을 수 없을 만큼 많아서, 대부분 칩 옆의 메모리에 두었다가 쓸 때 옮겨 온다. 데이터를 옮기는 데 드는 시간과 전력이 계산보다 더 많은 경우도 흔하다. 그래서 AI 칩 옆에는 HBM이라는 특별한 메모리가 여러 단으로 쌓인 채 붙어 있는 경우가 많다(뉴스에서 말하는 ‘HBM’이란?). 프로세서와 메모리가 일을 어떻게 나누는지는 ‘메모리와 프로세서는 무엇이 다를까?’를 참고하자.

왜 가장 앞선 공정과 패키징을 쓸까?

곱셈·덧셈 유닛은 트랜지스터로 이루어지는데, 트랜지스터는 전기로 켜고 끄는 작은 스위치다(트랜지스터란?). 새 세대 공정일수록 같은 면적에 더 많은 트랜지스터를 넣을 수 있고, 스위치를 한 번 켜고 끌 때 드는 전력도 줄어든다(뉴스에서 말하는 ‘2나노’, 무어의 법칙이란?). AI 칩은 곱셈·덧셈 유닛을 많이 넣어야 하고 전력도 많이 쓰므로, 두 가지 면에서 모두 새 세대 공정이 필요하다.

하지만 칩을 한없이 크게 만들 수는 없다. 일부 큰 AI 칩은 이미 노광 장비가 한 번에 찍을 수 있는 크기의 상한에 거의 다다랐고, 칩이 클수록 수율도 낮아진다. 연산과 메모리를 더 넣으려면 칩 여러 개를 나란히 놓거나 쌓아서 한 패키지 안에 넣는다. 이것이 뉴스에 나오는 ‘첨단 패키징’이다.

‘학습’용 칩과 ‘추론’용 칩은 무엇이 다를까?

학습(training)은 모델을 가르치는 일이다. 처음에는 모델 안의 숫자가 제멋대로다. 예제 하나를 주고 답을 계산하게 한 뒤 정답과 비교하고, 거꾸로 거슬러 올라가며 숫자 하나하나를 어느 쪽으로 조금씩 고쳐야 할지 계산한다. 이 과정을 아주 많이 반복한다. 예제 하나를 볼 때마다 계산량은 한 번 계산만 할 때의 약 3배이고, 숫자마다 옆에 어떻게 고칠지도 기록해 두어야 한다. 그래서 학습에는 큰 칩 여러 개를 연결해 며칠에서 몇 달 동안 계속 계산해야 하는 경우가 많고, 숫자도 더 정밀하게 써야 한다.

추론(inference)은 학습을 마친 모델로 질문에 답하는 일이다. 숫자는 이미 정해져 있으므로 앞으로 한 번만 계산하면 된다. 한 번에 계산하는 양은 적지만 누군가 모델을 쓸 때마다 매번 계산해야 하고, 빨라야 한다. 8비트처럼 비교적 거친 숫자로도 충분한 경우가 많다. 그래서 추론용 칩은 전력 절약과 빠른 응답을 더 중시한다. 두 가지를 모두 할 수 있는 칩도 많으며, 차이는 설계할 때 어느 쪽에 더 무게를 두었느냐에 있다.

휴대폰에도 AI 칩이 있을까?

있다. 대개 휴대폰 메인 칩 안의 작은 한 부분이다. 휴대폰 메인 칩은 CPU, GPU를 비롯한 여러 부분을 칩 하나에 함께 만드는데(SoC란?), 그중 AI의 곱셈·덧셈만 전문으로 하는 부분을 흔히 NPU(신경망 처리 장치)라고 부른다. NPU는 추론을 맡는다. 예를 들어 사진을 정리하고, 사용자의 얼굴을 알아보고, 말을 글자로 바꾼다. 휴대폰이 오랫동안 쓸 수 있는 전력은 몇 와트뿐이어서 NPU는 특히 전력 절약을 중시한다. 너무 큰 모델은 여전히 데이터센터로 보내 계산한다.

다음에 뉴스를 보면 이렇게 읽으면 된다

• ‘AI 칩 공급 부족’: 데이터센터용 대형 칩이 충분히 생산되지 못하고 있다는 뜻이다. 칩 옆의 메모리나 패키징에서 막혔을 수도 있다.
• ‘학습용 칩’ ‘추론용 칩’: 앞의 것은 모델을 가르치는 데, 뒤의 것은 학습을 마친 모델로 질문에 답하는 데 무게를 두며 전력 절약을 더 중시한다.
• ‘NPU 내장 휴대폰’ ‘온디바이스 AI’: 휴대폰 메인 칩 안에 AI 곱셈·덧셈 전용 영역이 있어서, 일부 AI 기능을 휴대폰에서 바로 계산한다는 뜻이다.
• ‘맞춤형 AI 칩’ ‘ASIC’: 특정 작업 하나만을 위해 설계한 칩(특정 용도용 집적 회로)이다. 그 일만 하는 대신 범용 칩보다 전력을 덜 쓴다.

fab24hr에서는

게임에는 AI 칩도, 쌓아 올린 패키지도 나오지 않는다. 메인 스토리 ‘칩의 일생’의 ‘Glowmere’는 가상의 보청기 칩이다. 대기 전력을 아끼는 것이 가장 중요하고, 성숙한 세대의 공정으로 만든다.

하지만 칩은 모두 같은 몇 단계를 거친다(칩이란?). 팹에서는 웨이퍼 위에 한 층씩 만들어 올린다. 포토 공정으로 패턴을 찍고, 식각으로 그대로 깎아 내고, 선폭을 측정한다. 후공정 공장에서는 먼저 칩 하나하나를 웨이퍼 테스트하고, 다이싱한 뒤 양품만 골라 패키징하며, 패키징이 끝나면 파이널 테스트를 한다. ‘출근’을 누르고 ‘직장인의 하루’를 고른 뒤, ‘오늘 나는’ 카드에서 ‘양산 팹’이나 ‘후공정 공장’을 누르고 좌우로 넘겨 공정 엔지니어(이름 아래에서 다시 ‘포토’나 ‘식각’을 누른다), 테스트 엔지니어, 패키징 공정 엔지니어 중 하나를 고르면 모두 만나 볼 수 있다. 메인 스토리 챕터 10 ‘대기 전류’와 챕터 11 ‘볼이 들렸다’도 테스트와 패키징 이야기다.

게임 속 회사, 칩, 인물은 모두 가상이다. AI 칩에 관한 내용은 공개된 일반 자료를 바탕으로 썼고, 통일된 수치가 없는 부분은 규모만 적었다. 다른 업계 용어는 ‘반도체 공장 전문 용어, 쉬운 말로 풀이’에서 찾아볼 수 있다.