뉴스에서 말하는 ‘HBM’이란? AI는 왜 특별한 메모리가 필요할까

뉴스에 자주 나오는 ‘HBM’은 고대역폭 메모리(High Bandwidth Memory)의 줄임말이다. DRAM 메모리 칩 여러 층을 한 묶음으로 쌓고, 실리콘을 관통하는 가는 구멍으로 위아래를 연결한 뒤, 프로세서 바로 옆에 붙여 놓아 데이터를 한 번에 많이 옮길 수 있게 한 것이다. 뉴스에서 ‘AI 칩용 HBM이 부족하다’고 할 때 부족한 것이 바로 이것이다. HBM이 왜 중요한지 말하려면, 먼저 AI 칩이 도대체 어디에서 막히는지부터 이야기해야 한다.

메모리는 무슨 일을 할까?

컴퓨터나 AI 서버 안에서 프로세서는 계산을 맡고, 메모리는 ‘지금 쓰고 있는 데이터’를 담아 둔다. 주방에 비유하면 프로세서는 요리사, 메모리는 옆에 있는 냉장고다. 재료를 먼저 냉장고에서 꺼내야 냄비에 넣을 수 있다.

컴퓨터에서 이런 데이터를 담는 메모리는 대부분 DRAM이라는 칩이다. DRAM은 0이나 1 하나하나를, 아주 작은 커패시터(전기를 조금 담아 둘 수 있는 작은 부품)에 전하가 있는지 없는지로 저장한다. 전하는 서서히 새어 나가므로 수십 밀리초마다 전부 다시 채워 줘야 하고, 전원이 끊기면 데이터는 사라진다. 프로세서와 메모리가 그 밖에 무엇이 다른지는 ‘메모리와 프로세서는 무엇이 다를까?’에서 읽을 수 있다.

AI 칩은 왜 ‘데이터 옮기기’에서 자주 막힐까?

AI의 계산은 쉽게 말해 엄청나게 많은 숫자로 곱셈과 덧셈을 하는 것이다. 이 숫자들은 너무 많아 프로세서 안에 다 담을 수 없으므로 옆의 메모리에 두었다가 필요할 때 옮겨 온다. 예를 들어 챗봇이 질문에 답할 때는 글자를 조금 내보낼 때마다 모델 속 대량의 숫자를 메모리에서 읽어 와 한 번씩 써야 한다.

프로세서는 계산이 빠른데 데이터가 충분히 빨리 오지 않으면 멈춰서 기다릴 수밖에 없다. 칼질이 아주 빠른 요리사에게 조수가 냉장고에서 재료를 매번 조금씩만 꺼내다 주는 것과 같다. 요리사는 대부분의 시간을 기다리며 보낸다.

이 격차는 갈수록 커지고 있다. 한 대학 연구가 지난 20년간의 서버 하드웨어를 정리한 결과, 계산 속도는 약 6만 배 빨라졌지만 메모리가 데이터를 보내는 속도는 약 100배 빨라지는 데 그쳤다. 이 격차를 ‘메모리 월(memory wall)’이라고 부르기도 한다.

데이터를 옮기는 데는 전기도 많이 든다. 한 연구의 추산에 따르면 칩 바깥의 메모리에서 데이터를 한 번 읽는 데 쓰는 전기는 간단한 덧셈을 한 번 하는 것의 수백 배에서 천 배 이상에 이를 수 있다. 그래서 AI 칩에 필요한 메모리는 많이 담을 수 있을 뿐 아니라 1초에 많은 데이터를 보낼 수 있어야 한다. 이를 ‘대역폭’이라고 한다. HBM의 이름에 든 ‘고대역폭’이 바로 이것을 말한다.

HBM은 일반 DRAM과 무엇이 다를까?

HBM 안에 든 것도 DRAM이며, 데이터를 저장하는 방식은 같다. 다른 점은 배치 방식과 연결 방식이다.

일반 컴퓨터의 메모리는 DRAM 칩 몇 개를 각각 패키징해 길쭉한 작은 회로 기판에 늘어놓은 뒤 메인보드에 꽂는 방식이며, 프로세서와 몇 센티미터 떨어져 있다. 이런 메모리 한 개는 한 번에 0이나 1을 64개씩 나란히 보낸다.

HBM은 세 가지가 다르다.

1. 쌓기: DRAM 칩 여러 층을 한 묶음으로 쌓는다. 최신 세대인 HBM4의 공개 표준에는 4층, 8층, 12층, 16층이 모두 있다. 맨 아래에는 흔히 베이스 다이를 한 층 까는데, 프로세서와의 통신을 맡고 테스트도 돕는다.
2. 실리콘을 관통해 연결하기: 층마다 아주 가는 구멍을 뚫고 금속을 채워, 신호가 칩을 곧장 관통해 위아래로 오가게 한다. 이런 구멍을 실리콘 관통 전극(TSV)이라고 한다. 층과 층 사이는 다시 아주 작은 범프로 이어 붙인다.
3. 프로세서 옆에 붙이기: 스택 전체를 프로세서 옆에 두는데, 대개 인터포저라는 얇은 실리콘 판 위에 함께 놓는다. 인터포저 위의 배선은 회로 기판의 배선보다 훨씬 가늘고 촘촘하다. 이렇게 나란히 놓는 방식은 뉴스에 나오는 ‘첨단 패키징’에서 다뤘다.

이렇게 하면 HBM 한 스택에는 데이터선이 1,024개 있어 0이나 1을 한 번에 1,024개씩 나란히 보낸다. 일반 메모리 한 개의 16배이며, 최신 세대는 여기서 다시 두 배로 늘었다. 선 하나하나가 더 빠른 것은 아니다. HBM은 선이 많아서 빠르다. 같은 제한 속도에서 도로를 64차로에서 1,024차로로 넓힌 셈이다. AI 칩 하나 옆에는 흔히 스택을 여러 개 두므로, 모두 합치면 더 넓어진다.

왜 쌓고, 왜 그렇게 가까이 붙일까? 1,000개가 넘는 선을 프로세서에 연결해야 하는데, 일반 회로 기판으로는 그렇게 가늘고 촘촘한 배선을 깔 수 없어 대개 인터포저를 쓴다. 프로세서 옆자리는 그만큼밖에 없으니, 메모리를 더 넣으려면 위로 쌓는다. 길이 짧아지면 0이나 1 하나를 보낼 때 드는 전기도 줄어든다.

HBM은 왜 비싸고 만들기 어려울까?

• 층마다 모두 양품이어야 한다: 한 스택 가운데 한 층이라도 불량이거나, 연결이 안 된 곳이 하나라도 있는데 고칠 수 없으면 스택 전체를 쓸 수 없다. 가정한 숫자로 계산해 보자. 층마다 95%가 양품이라면 8층을 쌓았을 때 스택 전체가 양품일 확률은 약 3분의 2로 줄고, 12층을 쌓으면 절반을 조금 넘는다. 뉴스에서 말하는 ‘수율’에서 다룬 ‘계속 곱해지는’ 효과다. 그래서 층마다 쌓기 전에 먼저 테스트하고(웨이퍼 테스트), 양품만 골라 쌓는다.
• 층마다 아주 얇게 갈아야 한다: 많이 쌓을수록 스택이 너무 높아지지 않도록 층마다 더 얇아야 한다. 웨이퍼를 뒷면부터 갈아 수십 마이크로미터(1마이크로미터는 1,000분의 1mm)만 남기는데, 머리카락 굵기와 비슷하다. 이렇게 얇은 실리콘은 쉽게 휘고 쉽게 깨져서 구멍 뚫기, 정렬, 접합이 모두 더 어려워진다.
• 열이 빠져나가지 못한다: 가운데와 아래에 쌓인 층은 다른 칩에 덮여 열이 잘 빠져나가지 않는다. 게다가 바로 옆에는 아주 뜨거운 프로세서가 붙어 있다. DRAM은 뜨거워지면 전하가 더 빨리 새어 나가 더 자주 채워 줘야 하고, 너무 뜨거우면 제대로 동작할 수 있는 범위를 벗어난다.
• 단계가 많고 재료가 비싸다: 구멍 뚫기, 얇게 갈기, 한 층씩 쌓기, 접합, 다시 테스트까지, 일반 메모리보다 단계가 훨씬 많고, 그중 일부는 팹과 비슷한 장비와 방식을 쓴다. 아래에 까는 인터포저도 칩을 만드는 방법으로 만들기 때문에 회로 기판보다 훨씬 비싸다.

다음에 뉴스를 보면 이렇게 읽으면 된다

• ‘AI 칩용 HBM 부족’ ‘HBM 공급 부족’: 이렇게 쌓아 올린 메모리가 충분히 만들어지지 않는다는 뜻이다. AI 칩 하나 옆에는 스택을 여러 개 붙여야 하므로, 메모리가 모자라면 프로세서를 다 만들어도 완성품 하나로 조립하지 못한다.
• ‘12단, 16단 HBM’: 한 스택에 DRAM 칩을 몇 층 쌓았는지다. 층수가 많을수록 한 스택에 담을 수 있는 데이터가 많고, 만들기도 더 어렵다.
• ‘HBM3’ ‘HBM4’: HBM의 몇 번째 세대인지다. HBM 규격은 업계가 함께 정하는 공개 표준이며, 첫 버전은 2013년에 나왔다. HBM4 표준은 한 스택의 데이터선을 이전 세대의 1,024개에서 2,048개로 두 배 늘렸고, 1초에 옮길 수 있는 데이터도 그만큼 많아졌다.
• ‘메모리 월’: 프로세서의 계산은 점점 빨라지는데 메모리가 데이터를 보내는 속도는 따라가지 못해서 생기는 둘 사이의 격차다.

fab24hr에서는

게임에는 HBM이 없고, 쌓아 올린 칩도 없다. 게임 속 칩 ‘Glowmere’는 가상의 보청기 칩으로, 후공정 공장에서 작은 SiP 모듈에 들어간다. 모듈 안에는 칩이 하나뿐이며, 와이어 본딩으로 바깥과 연결된다.

가장 가까운 것은 후공정 공장의 패키징 라인이다. ‘직장인의 하루’의 ‘오늘 나는’ 카드에서 ‘후공정 공장’을 누르고 좌우로 넘겨 패키징 공정 엔지니어를 찾으면, 다이싱, 다이 본딩, 와이어 본딩, 몰딩 공정을 맡는다. 다이싱 장비 설명에는 웨이퍼를 먼저 뒷면부터 얇게 간 다음 자른다고 적혀 있다. 웨이퍼 테스트 구역에서도 ‘먼저 테스트하고, 양품만 골라 쓰는’ 모습을 볼 수 있다. 자르기 전에 칩 하나하나를 모두 테스트하고, 양품만 다음 공정으로 넘어간다.

게임 속 회사, 칩, 인물은 모두 가상이다. HBM이 무엇이고 왜 만들기 어려운지는 공개된 일반 자료를 바탕으로 썼으며, 본문의 ‘층마다 95%가 양품’은 가정한 숫자다. 다른 업계 용어는 ‘반도체 공장 전문 용어, 쉬운 말로 풀이’에서 찾아볼 수 있다.