HBM 다음 전쟁: 삼성이 내놓은 'zHBM'은 AI 메모리 시장의 판도를 바꿀 수 있을까

이번 주 미국 실리콘밸리에서 열리고 있는 세계 최대 메모리 행사인 'FMS(Future of Memory and Storage) 2026'에서, 삼성전자는 시장의 예상을 뛰어넘는 발표를 했습니다. 바로 차세대 메모리 기술인 'zHBM'의 청사진을 공개한 것입니다 Samsung · 001.

이것은 단순히 기존 HBM(High Bandwidth Memory, 고대역폭 메모리)의 속도를 조금 더 높인 4세대, 5세대 제품 이야기가 아닙니다. zHBM은 AI 연산을 담당하는 칩(프로세서) 바로 위에 메모리 칩을 수직으로 쌓아 올리는, 완전히 새로운 3차원 구조를 제안합니다. 데이터가 옆 동네로 이사 가는 수준이 아니라, 아예 한집살림을 차리는 셈입니다.

삼성전자는 이 구조를 통해 2029년경 상용화될 HBM5와 비교해도 데이터 처리 속도(대역폭)는 8배, 전력 효율은 3배 높아지고, 같은 공간에 저장할 수 있는 데이터 양(밀도)은 10배 이상 늘어날 것이라고 밝혔습니다 Samsung · 001. 더 중요한 것은 메모리가 단순히 데이터를 저장만 하는 창고에서 벗어나, 일부 계산을 직접 처리하는 '컴퓨팅 메모리'로 진화한다는 점입니다. 이는 반도체 아키텍처의 근본적인 패러다임 전환을 예고하는 신호탄입니다.

삼성전자가 왜 이런 혁신적인, 그러나 동시에 매우 어려운 길을 가려 하는지 이해하려면 AI 기술의 숨은 골칫거리인 '메모리 벽(Memory Wall)' 문제를 먼저 알아야 합니다.

현대의 컴퓨터는 똑똑한 요리사(CPU나 GPU 같은 프로세서)와 거대한 식재료 창고(메모리)가 분리된 구조입니다. 요리사가 아무리 빨라도, 창고에서 식재료를 가져오는 속도가 느리면 전체 요리 시간은 길어질 수밖에 없습니다. 수십 년간 요리사의 손은 점점 빨라졌지만, 창고에서 재료를 배달하는 속도는 그만큼 따라오지 못했습니다. 이 속도 차이가 바로 '메모리 벽'입니다 networkworld.com · 003datagravity.dev · 004.

이 문제는 AI 시대에 들어 더욱 심각해졌습니다. 특히 챗GPT 같은 거대 언어 모델(LLM)이 사용자의 질문에 답을 생성하는 '추론(Inference)' 과정에서 병목이 폭발합니다. 모델은 답변을 만들 때, 대화의 맥락을 기억하기 위해 'KV 캐시(Key-Value Cache)'라는 임시 메모리를 사용합니다NVIDIA IR · 006. 대화가 길어지고 복잡해질수록 이 KV 캐시의 크기는 눈덩이처럼 불어나, 수십 기가바이트에 달하는 GPU의 HBM 용량을 순식간에 다 차지해버립니다 NVIDIA IR · 006.

결국 요리사는 할 일이 없어서 놀고 있는데(GPU 연산 코어 유휴), 주방이 식재료로 꽉 차서(HBM 용량 고갈) 요리를 시작도 못 하는 어처구니없는 상황이 벌어지는 것입니다 NVIDIA IR · 006. zHBM은 바로 이 문제를, 주방과 창고를 합쳐버리는 방식으로 풀려는 시도입니다.

zHBM은 두 가지 핵심 기술을 통해 메모리 벽을 허물고자 합니다. 바로 '3D 수직 적층'과 'PIM(Processing-in-Memory)'입니다.

지금까지의 AI 칩은 보통 2.5D 패키징이라는 방식을 씁니다. 넓은 실리콘 판(인터포저) 위에 프로세서와 HBM을 옆집처럼 나란히 배치하는 구조죠 TrendForce · 008. 데이터는 이웃집에 마실 가듯 옆으로 이동해야 합니다. 하지만 zHBM은 프로세서라는 1층 집 바로 위에 HBM이라는 아파트를 통째로 쌓아 올리는 '3D 수직 적층' 방식을 씁니다 Samsung · 001TrendForce · 009. 데이터는 엘리베이터를 타듯 수직으로만 아주 짧게 움직이면 됩니다.

이 구조를 가능하게 하는 것이 '하이브리드 구리 본딩(HCB)' 기술입니다. 칩과 칩을 연결할 때 쓰던 미세한 돌기(마이크로 범프)를 아예 없애고, 구리 배선을 직접 맞붙여 데이터 고속도로를 만듭니다 TrendForce · 008ioplus.nl · 010. 물리적 거리가 사실상 '0'에 가까워지면서 데이터는 막대한 양이 병목 없이 흐를 수 있게 됩니다.

zHBM의 진짜 혁신은 메모리가 연산을 시작한다는 점에 있습니다. 바로 PIM(Processing-in-Memory) 기술 덕분입니다.

과거 삼성전자는 'HBM-PIM'이라는 프로젝트를 통해 메모리 칩 내부에 'PCU(Programmable Computing Unit)'라는 작은 연산 엔진을 심는 실험에 성공한 바 있습니다 Samsung · 011Samsung · 012. 이 작은 엔진들이 각자 자기가 맡은 구역의 데이터를 가져와 간단한 계산(예: 행렬 곱셈)을 처리하고 결과만 프로세서에 보고하는 방식입니다. 식재료 창고 각 구역에 보조 요리사를 둬서, 재료 손질 같은 간단한 작업을 현장에서 끝내고 본 요리사에게 넘겨주는 것과 비슷합니다.

zHBM은 이 개념을 한 단계 더 발전시켜, AI 칩과 메모리 사이의 공간에 고객사가 원하는 특정 기능(IP)을 직접 심을 수 있게 했습니다 Samsung · 001. 이는 단순히 데이터 이동을 줄이는 것을 넘어, AI 연산의 역할 분담을 하드웨어 차원에서부터 완전히 새롭게 설계할 수 있다는 의미입니다.

zHBM이 가져올 성능 향상은 단순히 숫자를 넘어 AI 서비스의 경제성을 근본적으로 바꿀 수 있습니다. 특히 앞서 언급한 KV 캐시 문제로 골머리를 앓는 거대 언어 모델(LLM) 추론 시장에서 그 파괴력이 극대화됩니다.

쉽게 말해, zHBM이 상용화되면 AI 서비스를 운영하는 기업들은 훨씬 적은 전기로 훨씬 빠르게 더 많은 사용자에게 서비스를 제공할 수 있게 됩니다. 이는 AI 서비스의 가격을 낮추고, 더 복잡하고 뛰어난 AI 모델을 만드는 데 기여할 수 있습니다. 특히 전력난으로 데이터센터 확장에 어려움을 겪는 구글, 아마존 같은 거대 IT 기업(하이퍼스케일러)들에게 전력 소비를 3분의 1로 줄여준다는 것은 거부하기 힘든 제안입니다 networkworld.com · 003ioplus.nl · 010.

하지만 이 장밋빛 미래가 현실이 되기까지는 험난한 과정이 남아있습니다. zHBM은 크게 세 가지 거대한 장벽을 넘어야 합니다.

가장 큰 문제는 '열'입니다. 수백 와트의 열을 내뿜는 뜨거운 프로세서 바로 위에 열에 매우 약한 메모리를 올리는 것은, 불타는 난로 위에 얼음을 올려놓는 격입니다 TrendForce · 008. 벨기에의 반도체 연구소 IMEC의 시뮬레이션에 따르면, 이런 구조는 GPU 온도를 141.7°C까지 치솟게 할 수 있는데, 이는 칩이 손상될 수 있는 위험한 수준입니다 substack.com · 014. 다만 같은 연구는 냉각 방식과 칩 설계를 함께 손보면 이 온도를 70.8°C까지 낮출 수 있다는 해법도 함께 제시했습니다 imec · 027. 문제는 이 해법을 실제 양산 제품에서 구현하는 일입니다. 삼성은 하이브리드 본딩으로 열 저항을 낮췄다고 하지만, 이 근본적인 '열 갇힘' 문제를 완벽히 해결했는지는 아직 미지수입니다.

'수율(Yield)' 문제도 심각합니다. 수율이란 공장에서 100개를 만들었을 때 불량 없이 나오는 정상품의 비율을 말합니다. 하이브리드 본딩은 원자 단위의 완벽한 평탄면을 요구하기 때문에, 아주 작은 먼지나 흠집 하나만 있어도 전체 칩을 버려야 합니다 counterpointresearch.… · 015. 업계에서는 16단 HBM4에 하이브리드 본딩을 처음 적용할 경우, 초기 수율이 10% 수준에 그칠 것이라는 비관적인 전망도 나옵니다 photoncap.net · 016. 10개 중 9개를 버려야 한다면 상업적인 생산은 불가능합니다.

더 큰 장벽은 소프트웨어에 있습니다. 현재 AI 개발 생태계는 엔비디아의 'CUDA(쿠다)'라는 플랫폼이 철옹성처럼 지배하고 있습니다. 개발자들은 모두 CUDA 환경에 맞춰 코드를 짜는 데 익숙합니다. 그런데 PIM은 연산의 주체가 GPU가 아닌 메모리이기 때문에, 기존의 모든 소프트웨어를 PIM에 맞게 다시 설계해야 합니다 arxiv.org · 017.

삼성도 PIM을 실제 제품까지 끌고 오며 생태계 저변을 넓히려 하고 있습니다. 이번 FMS 2026에서 업계 최초의 PIM 적용 LPDDR 메모리인 'LPDDR5X-PIM'을 함께 선보인 것이 그 예입니다 Samsung · 001. 하지만 수많은 개발자를 엔비디아의 품에서 벗어나게 하는 것은 매우 어려운 일입니다. 하드웨어가 아무리 좋아도 이를 쓸 수 있는 소프트웨어가 없다면 무용지물입니다.

최근 반도체 표준 협회(JEDEC)가 HBM의 높이 제한을 완화하면서 상황은 더 복잡해졌습니다 조선일보 · 019TrendForce · 020. 높이 여유가 생기면서, 굳이 비싸고 수율 낮은 하이브리드 본딩 대신 기존의 검증된 기술(SK하이닉스의 MR-MUF 등)을 개선해서 16단 HBM을 만들 수 있는 길이 열렸습니다. SK하이닉스는 이 실용적인 노선을 택해, 이미 80% 안팎(HBM4 기준 업계 추정 80~90%)의 높은 수율을 안정적으로 확보하고 있습니다 글로벌이코노믹 · 021.

결국 삼성의 zHBM은 '더 싸고 안정적인' 기존 기술과 경쟁해야 하는 상황에 놓였습니다. AI 추론 시장의 핵심 화두가 '토큰당 비용'을 줄이는 것인 만큼 zylos.ai · 022, 아무리 성능이 좋아도 가격이 너무 비싸면 시장에서 외면받을 수 있습니다.

zHBM의 성공 여부는 단순히 삼성전자 한 기업의 성패를 넘어, AI 반도체 산업의 권력 구도를 뒤흔들 수 있는 중요한 변수입니다.

지금까지 AI 칩 생태계는 설계도를 그리는 엔비디아(팹리스)가 갑, 주문을 받아 생산하는 TSMC(파운드리)와 메모리를 공급하는 삼성/SK하이닉스가 을의 위치에 가까웠습니다. 하지만 zHBM과 같은 기술은 이 구도를 바꿀 수 있습니다. 메모리, 칩 생산(파운드리), 첨단 패키징 기술을 모두 가진 삼성전자가 AI 칩 설계부터 최종 조립까지 한 번에 제공하는 '토탈 AI 솔루션' 기업으로 변모할 수 있기 때문입니다 Samsung · 001Samsung · 023.

최근 삼성전자가 브로드컴과 맺은 2,000억 달러 이상 규모의 협력 양해각서(MOU)는 이런 변화의 시작을 보여줍니다. 메모리부터 파운드리, 패키징까지 한 회사가 묶어 공급하는 사실상의 턴키 협력으로, 2030년까지 이어집니다 CNBC · 026. 다만 아직 확정 주문이 아니라 협력 의향을 담은 단계라는 점은 감안해야 합니다 bloomingbit.io · 024. 하지만 여기에도 삼성 파운드리의 수율이 세계 1위 TSMC에 미치지 못한다는 약점이 존재합니다 forkast.news · 025. 고객사 입장에서는 '모든 걸 그럭저럭하는 한 회사'보다 '각 분야 최고들의 조합(TSMC+SK하이닉스)'을 선호할 수 있습니다. 결국 삼성의 턴키 전략이 성공하려면, 파운드리의 수율 경쟁력을 증명하는 것이 선결 과제입니다.

zHBM은 의심할 여지 없이 반도체 기술이 나아가야 할 미래 방향을 제시한 담대한 비전입니다. 메모리 벽이라는 근본적인 한계를 넘어서려는 시도 그 자체로 큰 의미가 있습니다. 하지만 기술적 비전이 상업적 성공으로 이어지는 길은 결코 순탄치 않습니다.

개인적으로 zHBM은 단기적인 구원투수라기보다는, 2029년 이후를 내다보는 장기적인 포석이라고 봅니다. 당장 HBM4, HBM4E 세대의 경쟁은 '누가 더 혁신적인가'가 아니라 '누가 더 안정적인 수율로 싸게 만드나'의 싸움이 될 가능성이 높습니다. 이 지점에서는 이미 높은 수율을 검증받은 실용주의 노선의 SK하이닉스가 유리한 고지를 점하고 있다고 판단됩니다 (분석 해석).

결국 삼성전자의 zHBM 발표는 HBM3E 경쟁에서 다소 뒤처졌던 기술 리더십 이미지를 되찾고, AI 시대의 게임 체인저가 될 수 있다는 잠재력을 시장에 각인시키기 위한 강력한 선언적 의미가 크다고 봅니다. 이 선언이 현실이 될지를 가늠하기 위해 앞으로 다음 두 가지를 지켜봐야 합니다.

• 단기(1~2년) 관전 포인트: 삼성전자가 HBM4 양산에서 SK하이닉스와의 수율 격차를 얼마나 좁히는지가 가장 중요합니다. 또한, 구글이나 메타 같은 하이퍼스케일러들이 자체 칩을 만들 때 삼성의 '턴키 솔루션'을 실제로 채택하는지가 삼성의 통합 전략이 시장에서 통하고 있다는 첫 번째 신호가 될 것입니다.

• 중장기(3~5년) 관전 포인트: zHBM의 핵심인 하이브리드 본딩의 수율이 경제성을 확보하는 수준(최소 50% 이상)까지 올라오는지, 그리고 PIM 기술을 지원하는 오픈소스 소프트웨어 생태계가 CUDA를 위협할 만큼 성장하는지가 zHBM의 성패를 가를 결정적인 분수령이 될 것입니다.

만약 이 전망이 틀렸다면, 그것은 삼성전자가 예상보다 훨씬 빨리 하이브리드 본딩의 수율 문제를 해결하고, 특정 고객(예: 소버린 AI)을 위한 맞춤형 zHBM 솔루션에서 예상 밖의 큰 성공을 거두는 시나리오에서 가장 먼저 드러날 것입니다. zHBM이라는 거대한 배는 이제 막 돛을 올렸습니다. 그 항해가 순항이 될지, 험난한 여정이 될지는 앞으로의 수율과 고객들의 선택에 달려 있습니다.

본 보고서는 정보 제공 목적이며, 특정 종목의 매수·매도를 권유하지 않습니다. 모든 투자 판단과 책임은 투자자 본인에게 있습니다.

데이터: Finnhub / yfinance