고대역폭 메모리(High Bandwidth Memory)란?

고대역폭 메모리(High Bandwidth Memory, HBM)는 데이터 전송 속도를 획기적으로 높이고 전력 소모를 줄이기 위해 개발된 첨단 메모리 기술입니다. 이 글에서는 HBM의 탄생 배경, 기술적 특징, 개발의 어려움, 주요 기업들의 활용 사례, 그리고 미래 전망에 대해 살펴보겠습니다.

Nvidia 퀄 통과에 이목이 집중되어있는 삼성전자의 HBM3E.

---

HBM이란 무엇인가?

HBM은 여러 개의 DRAM 다이를 수직으로 적층하고, 실리콘 관통 비아(TSV)를 통해 연결하여 높은 데이터 전송 속도와 낮은 전력 소비를 실현한 메모리 기술입니다. 이 혁신적인 구조는 기존 메모리의 한계를 극복하여 AI, 고성능 컴퓨팅(HPC), 고해상도 그래픽 처리 등 다양한 분야에서 핵심 요소로 자리 잡고 있습니다.

HBM과 SoC die의 연결 도식. HBM내의 DRAM은 TSV를 통해 연결되고, HBM과 SoC는 Interposer를 통해 연결됨. Source: Rambus

 

왜 HBM이 필요한가?

• 성능 병목 현상 해결: HBM은 CPU와 메모리 간의 데이터 전송 속도 병목 현상을 해결함. HBM2는 최대 256GB/s의 대역폭을 제공하여, DDR4의 25.6GB/s보다 월등히 높은 성능을 보임.
• 에너지 효율성: HBM은 높은 데이터 전송 속도를 유지하면서도 전력 소모를 크게 줄임. 와트당 3.2GB/s의 대역폭을 제공하는 HBM은 DDR4(와트당 0.3GB/s)에 비해 10배 이상 효율적임.
• 공간 효율성: 수직 적층 구조로 인해 HBM은 동일한 용량의 기존 메모리보다 훨씬 작은 공간을 차지함.

 

HBM 개발의 어려움

• 제조 공정의 복잡성: 십 마이크로미터 두께의 DRAM 다이를 8단 혹은 12단 이상으로 정확히 적층해야 함. 본딩 과정이 매우 까다롭고 시간이 많이 소요되며, 높은 수준의 품질 관리가 필요함.
• 열 관리: 적층 구조로 인한 열 발생 문제를 해결하기 위해 효율적인 열 설계 기술과 전력 소모 절감이 필요함.
• 비용: 복잡한 제조 공정과 낮은 수율로 인해 생산 비용이 높아, 이를 낮추는 것이 큰 과제임.

 

주요 기업들의 활동

NVIDIA와 AMD는 HBM을 탑재한 고성능 GPU를 통해 AI와 HPC 시장을 선도하고 있습니다. NVIDIA의 최신 Blackwell 아키텍처 기반 GPU는 HBM3e 메모리를 사용하여 성능과 효율성을 극대화했습니다. B200 GPU는 8개의 HBM3e 스택으로 총 192GB의 메모리와 8TB/s의 메모리 대역폭을 지원합니다.

삼성전자와 SK하이닉스 같은 메모리 제조업체들이 HBM 기술 개발에 적극 투자하고 있습니다. 이들 기업은 HBM3, HBM3e 등 차세대 HBM 기술을 선보이며 시장을 주도하고 있습니다. 하지만 Micron 또한 HBM3e부터 시장에 참여하여 개발 경쟁이 가속화 되고 있습니다.

Micron의 HBM3e 특성 Source: Micron

Nvidia의 젠슨 황 CEO는 2024년 1분기 실적 발표에서 향후 2년 주기가 아닌 1년 주기로 새로운 AI 칩을 개발할 계획이라고 밝혔습니다. 이는 HBM 기술 발전과 채택을 가속화할 것으로 예상됩니다. NVIDIA의 공격적인 개발 일정은 HBM 제조업체들에게 더 빠른 개발일정을 요구하게 될 것이며, 이는 전체 HBM 시장의 경쟁을 더욱 치열하게 만들 것입니다.

 

미래 전망

• AI와 ML의 성장: 대량의 데이터를 실시간으로 처리해야 하는 AI 애플리케이션의 증가로 HBM 수요가 지속적으로 늘어날 전망임. 2023년에 HBM 비트 출하량이 93% 증가했으며, 2024년에는 147% 증가할 것으로 예상됨.
• 자동차 산업: 자율주행과 ADAS 시스템의 발전으로 자동차 산업에서도 HBM 수요가 증가할 것으로 예상됨. AI 서버 및 자동차 전자 장치의 메모리 비트 수요는 2023년부터 2029년까지 연평균 25% 성장할 것으로 예상됨​.
• Advanced Packaging의 발전: 다양한 형태의 메모리 기술이 요구되는 가운데, HBM은 이러한 새로운 기술 요구를 충족시킬 중요한 요소로 작용함. 특히, HBM 웨이퍼 생산은 2022년 4만 4천 장에서 2024년 약 15만 1천 장으로 증가할 전망임​.
• 가격 경쟁력 향상: 기술 발전과 생산 효율화로 HBM의 가격이 점차 낮아져, 더 많은 분야에서 채택될 것으로 전망됨. 

---

HBM은 AI 기술의 핵심 요소로, 데이터 전송 속도와 에너지 효율성을 크게 개선한 적층형 메모리입니다. 앞으로 AI, 자동차 산업 등 다양한 분야에서 HBM의 역할이 더욱 중요해질 것으로 기대됩니다.