NVHBM이 뭐길래 — 엔비디아가 표준 메모리를 버리고 직접 베이스 다이를 짜는 이유

AI 데이터센터에서 돈이 가장 많이 들고 가장 자주 막히는 지점은 이제 연산 칩 하나가 아닙니다. 계산은 빨라졌는데, 데이터를 실어 나르는 메모리가 그 속도를 따라가지 못하기 때문입니다. 업계는 이 현상을 '메모리 장벽(Memory Wall)'이라고 부릅니다. 그래서 초고속 메모리인 HBM을 얼마나 확보하느냐가 AI 데이터센터의 성패를 가릅니다. HBM(High Bandwidth Memory, 고대역폭 메모리)은 D램 칩을 여러 장 수직으로 쌓아 한 번에 많은 데이터를 실어 나르도록 만든 메모리입니다.

실제로 엔비디아(NVIDIA)가 8월 26일 실적 발표에서 공개한 향후 총 약정액은 3,660억 달러입니다. 이 가운데 2,790억 달러가 부품 공급과 생산 능력을 미리 잡아두는 약정입니다 NVIDIA IR · 002247wallst.com · 001. 직전 분기에는 1,190억 달러였습니다. 한 분기 만에 두 배 이상 불어났고, 엔비디아는 그 증가가 주로 메모리를 사들이기 위한 것이라고 밝혔습니다 NVIDIA IR · 002. 클라우드 기업들의 설비투자비에서 메모리(D램과 낸드)가 차지하는 비중도 2026년 47%에서 2027년 68%까지 오를 것으로 전망됩니다 TrendForce · 003. 쉽게 말해 2027년에는 클라우드 기업이 설비에 쓰는 돈의 3분의 2 이상이 메모리값이 된다는 뜻입니다.

이런 상황에서 엔비디아는 업계 공통 표준 대신 자기만의 규격을 들고나왔습니다. 반도체 업계의 공통 규격을 정하는 표준화 단체 JEDEC이 HBM4 표준을 정했고, 메모리 회사들이 그 위에서 속도를 높인 범용 제품이 'HBM4e'입니다. JEDEC이 HBM4e를 따로 표준으로 낸 것은 아닙니다 JEDEC · 046ersaelectronics.com · 026. 엔비디아는 이 범용 HBM4e 대신 'NVHBM'이라는 전용 규격을 따로 내놓았습니다 Tom's Hardware · 004NVIDIA IR · 005. 시장 일각에서는 고객사를 자사 생태계에 묶어두려는 전략으로 봅니다 semiwiki.com · 006semicone.com · 007. 다만 기술 쪽을 뜯어보면 이유가 따로 있습니다. 표준 HBM4e는 2,048가닥짜리 초광폭 배선을 써야 하는데, 이 배선이 차지하는 면적과 전력이 만만치 않습니다. 가속기 한 대가 2kW급 전력을 먹는 지금은 그 부담이 더 큽니다 NVIDIA IR · 005Semi Engineering · 008.

JEDEC에는 360개가 넘는 회원사가 참여하고, 표준은 100개가 넘는 위원회와 작업 그룹에서 만들어집니다. 완성된 표준은 누구나 홈페이지에서 내려받을 수 있습니다 JEDEC · 046. HBM4 표준(정식 번호 JESD270-4)을 발표한 2025년 4월 자료를 보면 AMD와 구글, 메타, 마이크론, 삼성전자, SK하이닉스가 나란히 참여 기업으로 이름을 올렸고, HBM 소위원회 의장은 엔비디아 소속이었습니다 JEDEC · 046. 그러니까 엔비디아는 표준 판을 떠난 것이 아닙니다. NVHBM은 상용 HBM을 대체하는 물건도 아니고, 자사 파트너에게만 주는 선택지를 하나 더 만든 쪽에 가깝습니다 Tom's Hardware · 004.

HBM4 세대부터 데이터가 지나는 핀이 2,048개로 두 배가 됐고, HBM4e도 같은 폭을 씁니다 JEDEC · 046Tom's Hardware · 015. 문제는 이 수천 가닥을 칩과 기판 사이에 이어주는 일입니다. 여기에는 '인터포저'라는 얇은 실리콘 판이 필요합니다. 인터포저는 칩과 기판 사이에 끼워 넣는 배선 전용 중간 판입니다. 배선이 늘수록 이 판도 커져야 하는데, TSMC의 CoWoS 인터포저는 이미 노광 장비가 한 번에 찍을 수 있는 최대 면적의 3.3배까지 커졌습니다. 여기에 메모리를 12개까지 붙이려면 더 커져야 합니다 techpowerup.com · 009. TSMC는 대만의 위탁 생산 전문 반도체 회사로, 엔비디아처럼 설계만 하는 회사의 칩을 대신 만들어 줍니다. CoWoS는 그 TSMC가 연산 칩과 메모리를 한 덩어리로 붙이는 첨단 조립 기술의 이름입니다. 핀 하나당 속도까지 올라가면서 신호를 흔들림 없이 주고받게 만드는 설계 난도도 함께 뜁니다 Tom's Hardware · 034. 쉽게 말해 차선을 계속 늘리는 방식이 한계에 다다랐습니다.

NVHBM이 무엇을 바꿨는지 이해하려면 부품 두 가지를 먼저 알아야 합니다. HBM 더미의 맨 아래에 깔린 '베이스 다이(Base Die)', 그리고 데이터를 실제 전기 신호로 바꿔 내보내는 'PHY' 회로입니다.

D램 더미를 물건이 쌓인 물류 창고, 연산 칩을 그 물건을 가공하는 공장이라고 해봅시다. 베이스 다이와 PHY는 두 건물을 잇는 도로망과 톨게이트에 해당합니다. 도로가 넓고 톨게이트가 빠를수록 공장은 재료가 끊기지 않아 쉬지 않고 돌아갑니다.

HBM3e 세대까지 베이스 다이는 신호와 전력을 통과시키는 정도의 역할이었습니다. 그래서 위에 쌓는 D램과 같은, 오래 검증된 D램 공정으로 만들었습니다 Semi Engineering · 008techpowerup.com · 009. 그런데 전송 속도가 1초에 수 테라바이트(TB/s) 단위까지 오르면서, D램 공정으로 만든 회로로는 이 속도의 신호와 전력을 감당하기 어려워졌습니다 Semi Engineering · 008.

그래서 베이스 다이는 D램 공정을 떠나 로직 공정으로 옮겨가고 있습니다. 로직 공정은 CPU나 GPU 같은 연산 칩을 만드는 미세 공정을 말합니다. TSMC의 12나노를 거쳐 3나노급 N3P로, 삼성전자는 4나노급 SF4로 넘어가는 중입니다 techpowerup.com · 009SemiAnalysis · 010. 단순한 도로 바닥이던 베이스 다이가 신호를 다듬고 연산까지 거드는 똑똑한 중계 칩으로 바뀐 셈입니다.

엔비디아의 NVHBM이 한 일은 부품의 자리를 바꾼 것입니다. 원래는 메모리 읽기와 쓰기를 지휘하는 '메모리 컨트롤러'와 PHY 회로가 연산 칩(XPU) 안에 들어 있었습니다 Tom's Hardware · 004NVIDIA IR · 005. XPU는 GPU를 포함해 AI 연산을 맡는 칩을 통칭하는 말입니다. NVHBM은 이 덩치 큰 제어 회로를 연산 칩에서 떼어내, HBM 더미 아래 베이스 다이 속으로 옮겼습니다 NVIDIA IR · 005wccftech.com · 011.

최첨단 공정으로 만드는 연산 칩은 면적이 곧 돈입니다. 칩 가장자리를 통신 회로가 차지하면 그만큼 연산 회로나 캐시를 넣을 자리가 줄어듭니다 Semi Engineering · 008NVIDIA Developer · 033. 캐시는 자주 쓰는 데이터를 칩 안에 잠깐 담아두는 저장 공간입니다. NVHBM은 컨트롤러를 메모리 쪽으로 넘겨 이 자리를 최대 25%까지 되찾았습니다 NVIDIA IR · 005wccftech.com · 011. 엔비디아는 이렇게 생긴 빈자리를 추론 서비스, 추천 시스템, 학습처럼 각자 필요한 용도에 맞춰 채워 넣을 수 있다고 설명합니다 NVIDIA Developer · 033.

인터페이스도 좁혔습니다. 2,048가닥을 일일이 연결하던 광폭 방식 대신, 폭을 줄인 전용 PHY를 씁니다 NVIDIA Developer · 033. 그 결과 PHY와 주변 회로가 차지하던 면적이 표준 대비 최대 67% 줄었습니다 NVIDIA Developer · 033techpowerup.com · 012. 배선이 단순해지니 인터포저 위 배치에도 여유가 생겨, 칩 전체에서 쓸 수 있는 실리콘 면적이 최대 80% 늘었습니다 NVIDIA Developer · 033wccftech.com · 011. 다만 엔비디아는 이 인터페이스가 몇 가닥인지, 어떤 신호 방식을 쓰는지는 공개하지 않았습니다 NVIDIA Developer · 033Tom's Hardware · 004.

엔비디아가 공식으로 내놓은 수치는 세 가지입니다. 표준 HBM4e와 견줘 메모리 한 덩어리당 전송량 최대 30% 향상, 메모리 소비전력 최대 15% 절감, 그리고 연산 칩 면적 최대 25% 확보입니다 NVIDIA IR · 005NVIDIA Developer · 033. 반대로 밝히지 않은 것도 분명합니다. 어떤 회로 설계로 이 수치를 얻었는지는 공개하지 않았습니다 Tom's Hardware · 004. 그래서 아래에서는 같은 방향으로 이미 공개된 업계 수치를 참고 삼아 살펴봅니다.

데이터 1비트를 보내는 데 드는 에너지를 줄이는 가장 확실한 방법은 전압을 낮추는 것입니다. 업계는 이 값을 pJ/bit, 즉 비트당 피코줄로 표시합니다. TSMC가 공개한 로드맵을 보면 흐름이 뚜렷합니다. HBM3e의 D램 공정 베이스 다이는 1.1V, HBM4용 N12 로직 베이스 다이는 0.8V, 커스텀 C-HBM4E용 N3P 베이스 다이는 0.75V로 내려갑니다 techpowerup.com · 009TrendForce · 014. TSMC는 이것만으로 전력 효율이 각각 1.5배, 2배 좋아진다고 밝혔습니다 techpowerup.com · 009. 삼성전자도 SF4 공정을 쓴 HBM4에서 전압을 1.1V에서 0.75V로 32% 낮췄다고 반도체 회로 설계 성과를 겨루는 국제 학회 ISSCC의 2026년 행사에서 발표했습니다 SemiAnalysis · 010. NVHBM이 어느 공정을 쓰는지는 공개되지 않았지만, 같은 원리가 작동한다고 보는 것이 합리적입니다 (분석 해석).

컨트롤러가 D램 바로 밑으로 내려오면 데이터가 오가는 전기 경로가 짧아집니다. 경로가 짧으면 그만큼 데이터를 옮기는 데 드는 전력이 줄어듭니다 Semi Engineering · 008TrendForce · 014. 엔비디아는 이렇게 아낀 메모리 전력 15%가 연산 코어를 더 돌릴 열·전력 여유로 돌아온다고 말합니다 NVIDIA Developer · 033. 규모로 보면 이렇습니다. 1GW급 초대형 데이터센터에서 2,000W짜리 가속기를 돌린다고 할 때, 이 절감분만으로 가속기 15,000대를 더 돌릴 전력이 생긴다는 계산입니다 NVIDIA Developer · 033techpowerup.com · 012.

엔비디아는 30%라는 비율만 밝혔을 뿐 실제 속도는 내놓지 않았습니다 NVIDIA Developer · 033. 그래서 거꾸로 계산해 봅니다. 표준 HBM4e의 메모리 한 덩어리당 속도는 업계 전망이 3.0~3.3 TB/s이고 Tom's Hardware · 015siemens.com · 016, 삼성전자가 발표한 HBM4E 제품은 4.0 TB/s입니다 Samsung Newsroom · 050. 여기에 30%를 더하면 대략 3.9~5.2 TB/s가 나옵니다 (분석 추산 — 어느 HBM4e를 기준으로 삼느냐에 따라 달라집니다). 엔비디아는 이 여유분이 큰 언어 모델의 추론에서 모델 가중치와 KV 캐시를 더 빨리 읽어와, 사용자 한 명당 처리하는 토큰 수를 늘려준다고 설명합니다 NVIDIA Developer · 033Tom's Hardware · 004. KV 캐시는 AI가 앞서 읽은 문맥을 잠시 기억해 두는 저장 공간이고, 토큰은 AI가 글을 처리하는 최소 단위입니다.

같은 병목을 정반대 방향에서 푼 표준도 있습니다. 엔비디아의 NVHBM 공개보다 한 달 반 앞선 지난 7월, JEDEC은 SPHBM4라는 표준을 공식 발표했습니다 Tom's Hardware · 015techpowerup.com · 018. 정식 이름은 Standard Package High Bandwidth Memory, 규격 번호는 JESD330-4입니다. NVHBM이 인터포저를 그대로 두고 배선을 좁혔다면, SPHBM4는 인터포저 자체를 빼는 쪽을 골랐습니다.

SPHBM4의 핵심은 베이스 다이 안에 고속 직렬화 회로를 넣은 것입니다 Tom's Hardware · 015electronicdesign.com · 017. 직렬화는 여러 가닥에 나눠 보내던 데이터를 적은 가닥에 몰아서 훨씬 빠르게 보내는 방식입니다. 이렇게 2,048가닥을 넷씩 묶어 512가닥으로 줄이고, 대신 한 가닥의 속도를 22.4~46.0 GT/s까지 끌어올립니다 Tom's Hardware · 015techpowerup.com · 018.

가닥이 줄면 칩을 붙일 때 쓰는 금속 돌기의 간격을 90µm 이상으로 넓힐 수 있습니다 Tom's Hardware · 015. 이 돌기를 범프라고 부르는데, 간격이 넉넉해지면 비싼 실리콘 인터포저 없이도 일반 플라스틱 계열 기판 위에 HBM을 바로 붙일 수 있습니다. 이 기판이 ABF 기판이고, 주로 이비덴과 유니마이크론 같은 회사가 만듭니다 Tom's Hardware · 015techpowerup.com · 018. 덕분에 칩 설계 회사들은 TSMC의 CoWoS 물량 부족에 발이 묶이지 않고도 자체 AI 칩을 만들 길이 열립니다 Tom's Hardware · 015.

SPHBM4 방식은 신호가 닿는 거리를 최대 20mm까지 늘려줍니다 Tom's Hardware · 015electronicdesign.com · 017. 뜨거운 연산 칩에서 메모리를 조금 떨어뜨려 놓을 수 있으니 열 관리가 쉬워지고, 칩 하나 주변에 메모리를 더 많이 두를 수도 있습니다 techpowerup.com · 018wccftech.com · 019.

대신 잃는 것도 있습니다. 최고 속도인 46 GT/s로 돌려도 메모리 한 덩어리당 전송량은 2.94 TB/s에 그칩니다. 표준 HBM4e의 3.0~4.0 TB/s에도, NVHBM의 4~5 TB/s 안팎(분석 추산)에도 못 미칩니다 Tom's Hardware · 015NVIDIA Developer · 033. 데이터를 묶고 푸는 과정, 오류를 바로잡는 과정에서 수 나노초의 지연도 더해집니다 Tom's Hardware · 015electronicdesign.com · 017. 쉽게 말해 SPHBM4는 성능 1등을 노린 표준이 아니라 값과 공급 문제를 푸는 표준입니다.

네트워크 쪽에서는 이미 같은 일이 벌어졌습니다. 구글과 메타, AMD 등이 모인 컨소시엄은 엔비디아의 독점 연결 기술 NVLink에 맞서 개방형 표준 UALink를 만들었습니다. 2025년 4월에 나온 1.0 규격은 가속기 1,024개를 한 묶음으로 잇습니다 UALink Consortium · 048introl.com · 021learnaiinfra.com · 022rcrtech.com · 023.

베이스 다이가 로직 공정으로 넘어가면서 메모리 3사(SK하이닉스, 삼성전자, 마이크론)의 사업 구조도 갈림길에 섰습니다. 지금까지는 D램만 잘 만들면 됐지만, 이제는 로직 칩까지 함께 챙겨야 하기 때문입니다.

SK하이닉스는 HBM 시장의 60%대를 쥔 선두입니다. 2025년 66%였고, 2026년은 60%대 초반이 될 것으로 증권가는 봅니다 Reuters · 035. 자체 로직 파운드리가 없어 베이스 다이는 TSMC에 맡깁니다. 파운드리는 남의 설계를 받아 칩을 대신 만들어 주는 회사를 말합니다. 범용 제품은 12나노, 프리미엄과 HBM4E는 3나노급을 쓰는 것으로 알려졌습니다 techpowerup.com · 009TrendForce · 013Business Korea · 024. 엔비디아-TSMC-SK하이닉스 삼각 동맹이 굳어진 셈입니다.

쌓는 방식은 쓰던 것을 밀고 갑니다. 16단을 쌓을 때도 차세대 공법인 하이브리드 본딩 대신 기존 MR-MUF를 개선해 쓰겠다고 Hot Chips 2026에서 밝혔습니다. 하이브리드 본딩 도입은 빨라야 HBM5부터입니다 Tom's Hardware · 025ersaelectronics.com · 026. Hot Chips는 1989년부터 매년 8월 실리콘밸리에서 열리는 반도체 학회로, 칩 설계자들이 신제품 구조를 직접 공개하는 자리입니다 IEEE · 047. 두께 775µm라는 벽 안에서 검증된 수율을 지키겠다는 현실적인 선택입니다 Tom's Hardware · 025. 수율은 만든 것 가운데 불량 없이 쓸 수 있는 비율을 뜻합니다. 다만 엔비디아가 베이스 다이 설계를 직접 다 가져가면, SK하이닉스는 값나가는 로직 부분을 잃고 D램만 대는 부품사로 밀릴 수 있습니다. 이것이 구조적인 위험입니다 semiwiki.com · 006.

마이크론은 2027년 양산이 목표인 HBM4E부터 베이스 다이를 자체 D램 공정 대신 TSMC에 맡기기로 했습니다. 3나노급을 쓸 것으로 보도됐습니다 Tom's Hardware · 040thevoltpost.com · 027. 위에 쌓는 D램에는 6세대 공정인 1-gamma를 넣습니다 Micron IR · 028. 경쟁사들이 같은 세대 D램에 EUV 노광을 5개 층 넘게 쓸 때, 마이크론은 1-gamma 샘플에서 EUV를 단 한 개 층에만 쓰고 나머지는 오래 검증된 DUV 다중 패터닝으로 처리했습니다 TrendForce · 036semiwiki.com · 029조선일보 · 030. EUV는 가장 미세한 회로를 그리는 최신 노광 장비이고, DUV는 그 앞 세대 장비입니다. 공정을 단순하게 만들어 수율을 빨리 끌어올리겠다는 계산입니다 wordpress.com · 031Tom's Hardware · 032.

뒷심도 다졌습니다. 2022년 특허 라이선스 전문 회사 Adeia(옛 Xperi)와 하이브리드 본딩 특허 사용 계약을 맺어 차세대 적층 기술을 쓸 권리를 확보했습니다 Business Wire · 037. 대만의 파운드리 업체 파워칩(PSMC)이 보유한 통뤄 P5 공장을 18억 달러에 사들여 타이중 사업장 인근에 D램 생산 능력을 늘렸고 Tom's Hardware · 038, 고객사와 맺은 5년짜리 장기 계약으로 약 180억 달러의 현금 예치금도 받았습니다 Investing.com · 039.

삼성전자는 D램(1c 공정), 로직 파운드리(SF4), 첨단 패키징을 한 회사 안에서 모두 처리할 수 있는, 메모리 3사 중 유일한 회사입니다 Samsung Newsroom · 050Tom's Hardware · 015ServeTheHome · 042. 업계는 이렇게 처음부터 끝까지 한 곳에서 해내는 능력을 '턴키'라고 부릅니다. 2026년 2월에는 4나노 로직 베이스 다이와 1c D램을 쓴 HBM4의 양산을 시작했고, 삼성 발표 기준 업계 최초 상용 출하입니다. 이 제품은 메모리 한 덩어리당 최대 3.3 TB/s를 냅니다 Samsung Newsroom · 049Samsung Newsroom · 050. SF4 베이스 다이의 회로 설계는 ISSCC 2026에서도 발표했습니다 SemiAnalysis · 010.

외부 파운드리와 이익을 나눌 필요가 없으니 원가에서 유리하고, 로직과 메모리를 같이 설계하는 작업도 한 지붕 아래에서 진행할 수 있습니다 ServeTheHome · 042. HBM3e에서 뒤처졌던 삼성전자가 판을 뒤집을 여지는 여기에 있습니다. 베이스 다이가 로직 공정으로 넘어가는 지금이 그 기회입니다 Reuters · 035Business Korea · 024.

AI 메모리 경쟁은 이제 제품 사양 싸움을 넘어, 데이터센터 구조를 누가 정하느냐의 문제로 옮겨갔습니다. 개인적으로는 한쪽이 독식하기보다 칩이 맡은 일에 따라 시장이 둘로 갈릴 것으로 봅니다 (분석 해석).

AI를 가르치는 '학습' 쪽은 성능과 전력 효율이 절대적이라, 폐쇄형인 NVHBM이 계속 우위를 지킬 가능성이 큽니다. 반대로 완성된 AI로 답을 뽑아내는 '추론' 쪽은 비용과 확장성이 먼저입니다. 여기서는 SPHBM4와 UALink를 묶은 하이퍼스케일러 자체 칩 진영이 빠르게 몫을 키울 것으로 봅니다 (분석 해석). 하이퍼스케일러는 구글이나 아마존처럼 초대형 데이터센터를 직접 굴리는 기업을 가리킵니다.

앞으로 이 갈림길에서 지켜볼 지점은 두 가지입니다.

• 단기 관찰 지표 (6~12개월): TSMC N3P와 삼성 SF4로 만든 로직 베이스 다이의 수율이 안정되는지입니다. 3나노급 미세 회로 위에 D램을 수직으로 얹으면 열이 잘 빠지지 않거나 불량이 늘 수 있습니다. 그런 조짐이 보이면 NVHBM의 단기 공급 단가는 뛸 수 있습니다.
• 중장기 관찰 지표 (2~3년): SPHBM4를 채택한 클라우드 기업들의 자체 칩 출하량, 그리고 ABF 기판 공급망이 얼마나 빨리 커지는지입니다. 값싼 기판에 붙이는 방식이 쓸 만한 수율을 낸다면, CoWoS에 몰려 있던 조립 병목의 프리미엄은 서서히 풀릴 것으로 봅니다.

만약 이 판단이 틀렸다면 신호는 이렇게 나타날 것입니다. 대형 클라우드 기업들이 자체 칩 개발을 크게 줄이고, 추론 작업까지 엔비디아 NVLink Fusion 생태계로 몰아넣는 움직임이 먼저 보일 것입니다. 다만 원가를 줄이고 공급처를 나눠 두려는 유인이 워낙 강한 만큼, 개방형 표준과 독자 규격의 줄다리기는 당분간 반도체 판을 흔드는 힘으로 계속 작동할 것입니다.

본 보고서는 정보 제공 목적이며, 특정 종목의 매수·매도를 권유하지 않습니다. 모든 투자 판단과 책임은 투자자 본인에게 있습니다.

데이터: Finnhub / yfinance