인공지능과 HBM (High Bandwidth Memory) 메모리

HBM (High Bandwidth Memory) 메모리의 가치

현재 메모리 반도체 업계에서 가장 주목받는 키워드는 고대역폭 메모리(HBM)입니다.
메모리 불황으로 인해 업계가 어려움을 겪는 가운데,
HBM이 불황 탈출의 열쇠로 부각되고 있는 것입니다. HBM(High Bandwidth Memory)은
기존의 DRAM보다 데이터 처리 속도를 혁신적으로 높이기 위해
여러 개의 DRAM을 수직으로 연결하여 만든 고성능 및 고부가가치 제품입니다. 삼성전자 등 반도체업체에서는 고성능 컴퓨팅(HPC)에
HBM (High Bandwidth Memory) 메모리로
AI 를 비롯한 우리 삶을 변화시킬 놀라운 기술을 개발하고 있습니다.

삼성전자 홈페이지

특히 삼성전자는 최신 고대역폭 메모리인 HBM3E Shinebolt, HBM3E 8H를 개발 완료하면서
출하를 시작하였다고 발표했습니다.

뿐만 아니라 HBM4, LLW (Low-Latency Wide-IO), PIM (Processing-In-Memory),
최대 9.6Gbps 속도의 LPDDR5X 및
기타 근접 메모리 솔루션 (Near Memory Solution)과 같은 혁신적인 미래 제품에 대한 개발하고 있습니다. 최근 ChapGPT 등 생성AI가 확대되면서 HBM (High Bandwidth Memory) 메모리가 부각되었습니다.

그럼 HBM (High Bandwidth Memory) 메모리란 무엇이고 어디에 활용하는지 알아보려고 합니다.

HBM (High Bandwidth Memory) 메모리의 특징

HBM(High Bandwidth Memory)은 이름 그대로
넓은 대역폭을 가진 메모리를 뜻합니다.

대역폭이란 주어진 시간 내에 데이터를 전송하는 속도나 처리량을 의미하며,
데이터 운반 능력을 나타냅니다. HBM은 현재 메모리 시장에서 가장 넓은 대역폭을 가지고 있는 메모리 반도체입니다.
이는 데이터를 가장 빠르게 처리하고 전송할 수 있다는 것으로
HBM은 응용 분야에서 성능과 전력 효율성을 향상시킬 수 있는 기여할 것입니다.

비교되는 기술인 GDDR은 주로 게임이나 그래픽 작업과 같은 고성능 그래픽 분야에 사용되며,
비교적 낮은 비용으로 높은 성능과 용량을 제공합니다. 여기서 GDDR(Graphic Double Data Rate)은 그래픽 처리와 관련된 메모리로,
고성능 그래픽 작업에 주로 사용됩니다.
GDDR은 대역폭과 용량 면에서 탁월한 성능을 제공하면서도
상대적으로 비교적 저렴한 비용으로 제조됩니다.
이러한 특징으로 인해 게임 콘솔, 그래픽 카드 및
기타 그래픽 관련 장치에서 널리 사용되고 있습니다.
GDDR은 그래픽 작업에 필요한 데이터 처리 속도와 대역폭 요구 사항을 충족하기 위해 설계된 기술입니다.

반면에 HBM은 GDDR에 비해 제조 과정이 복잡하고 비용이 높을 수 있지만,
더 높은 에너지 효율을 기반으로 HPC(High-Performance Computing) 및
AI 응용 수준의 높은 대역폭을 제공합니다. HBM이 이러한 성능과 효율성을 제공하는 이유는
TSV(Through Silicon Via)라는 기술을 적용했기 때문입니다.

TSV는 메모리 칩을 수직으로 쌓고,
적층된 칩 사이에 얇은 금속 터널을 만들어 전기적 신호가 칩 간에 직접 전달되도록 합니다.

이를 통해 데이터 전송 속도의 지연을 최소화하고,
적은 전력으로 많은 양의 데이터를 처리할 수 있게 됩니다. HBM에는 CoW(Chip on Wafer) 기술과 TCB(Thermal Compression Bonding) 기술도
적용되어 있습니다.

삼성전자 반도체 뉴스룸

CoW는 칩을 웨이퍼 위에 붙이는 기술이며,
TCB는 TSV가 적용된 얇은 칩들을 정밀하게 쌓아 올리는 패키징 기술을 말합니다. 이러한 기술들이 결합되어 HBM이 높은 성능과 우수한 에너지 효율성을 제공할 수 있게 됩니다.

HBM (High Bandwidth Memory) 메모리의 활용

인공지능(AI) 시대에서는 HBM이 필수적인 역할을 하고 있어,
반도체 업계에서도 주도권 경쟁이 치열해지고 있습니다.

GPU는 게임이나 동영상 등 그래픽 연산에 특화된 프로세서로,
AI 연산에도 활용됩니다.

GPU는 여러 데이터를 동시에 처리하는 병렬 연산이 가능하므로,
AI 시대의 발전은 GPU의 발전과 큰 관련성이 있어
HBM이 GPU에 탑재되어 데이터 처리 속도를 혁신적으로 끌어올리는 역할을 하고 있습니다.

삼성전자 반도체 뉴스룸

GPU는 비메모리 중 하나로 알려진 반도체입니다.
그리고 GPU 안에는 HBM(High Bandwidth Memory)라고 불리는 고대역폭 메모리가 포함되어 있습니다.

GPU가 증가하면 HBM 메모리도 함께 증가한다고 이해하시면 됩니다.
하지만 GPU 안에는 HBM뿐만 아니라 그래픽D램이라고 불리는 다른 종류의 메모리도 들어갈 수 있습니다.

어떤 메모리를 선택하는지는 응용 분야에 따라 다르며,
HBM은 그래픽D램에 비해 가격이 3~5배 높기 때문에 주로 고가 제품에 사용됩니다.

예를 들어 PC와 같이 가격 저항이 높은 제품에는 HBM을 사용하기 어렵습니다.
주로 데이터센터를 위한 GPU와 같은 B2B 제품에는 많이 사용됩니다.

HBM은 여러 개의 D램을 수직으로 연결하여 데이터 처리 속도를 높였습니다.
HBM 시장은 초반에는 고성능 그래픽 작업을 위해 제작되었지만,
이제는 AI 등으로 GPU의 활용 범위가 넓어지면서 HBM 시장도 덩달아 커지고 있습니다.

하이닉스는 HBM은 1세대(HBM), 2세대(HBM2), 3세대(HBM2E)로 시리즈를 개발해왔으며,
HBM3는 4세대 제품입니다.

하이닉스 홈페이지

SK하이닉스의 HBM3는 최대 819GB/s의 속도를 구현하여
1초에 FHD(Full-HD) 영화 163편을 전송할 수 있습니다.

이러한 뛰어난 성능과 속도로 인해 HBM3은 다양한 고성능 응용 분야에서 사용될 수 있습니다.

HBM (High Bandwidth Memory) 메모리의 주식 종목

HBM 시장을 주도하는 업체는 SK하이닉스와 삼성전자입니다. 삼성전자는 전체 D램 시장에서 독보적인 시장 점유율 1위를 차지하지만,
HBM 분야에서는 SK하이닉스가 앞서고 있습니다. 22년 SK하이닉스와 삼성전자, 마이크론 등
3개사의 글로벌 HBM 시장 점유율을 각각 50%, 40%, 10%로 추정하고 있습니다.

SK하이닉스는 2021년 세계 최초로 HBM3를 개발하고 양산에 성공했으며,
이번에는 24GB 12단 HBM3 신제품을 개발하여 용량을 50% 늘렸습니다.

HBM3는 1세대(HBM), 2세대(HBM2), 3세대(HBM2E)에 이은 4세대 제품으로,
SK하이닉스는 HBM 분야에서 선도적인 위치를 유지하고 있습니다.