AI 메모리의 대명사로 떠오른 HBM(고대역폭메모리)을 두고 벌써 '한계론'이 나온다. SK하이닉스는 최근 “GPU-HBM 조합만으로는 앞으로의 AI 워크로드를 감당하기 어렵다"는 입장을 내놨다. 이를 보완할 기술로 PIM(프로세싱 인 메모리), HBF(고대역폭플래시), KV 캐시 분산 배치 기술인 SALT-KV를 잇달아 제시했다. 삼성전자도 zHBM·zNAND 등 메모리의 물리적 배치를 바꾸는 '3D 구조'를 전면에 내세우고 있다. HBM 한 종류의 성능 경쟁을 넘어 여러 메모리를 어떻게 조합하느냐가 AI 메모리 시장의 다음 승부처가 될 것이라는 분석이 나온다. 진종문 경남대 반도체부트캠프사업단 교수는 28일 본지와의 인터뷰에서 “초거대 AI 모델이 진화하는 속도에 비해 HBM의 물리적 용량 확장성은 한계에 부딪혔고, 가격 효율성도 제약에 직면했다"고 진단했다. 진 교수는 모토로라코리아 반도체 부문과 SK하이닉스에서 30년 넘게 양산 현장을 지킨 메모리 엔지니어다. SK하이닉스에서는 품질보증실(D램 모듈), Mobile & Flash 사업본부, 낸드플래시 개발본부에서 수석연구원을 지냈다. 2015년 단독으로 쓴 『NAND Flash 메모리』는 국내 낸드 분야 표준 교재로 통한다. 2016~2022년에는 SK하이닉스 뉴스룸에 '반도체 특강' 칼럼을 연재했다. HBM 모듈 기판 관련 신규 폼팩터 특허 3건도 보유하고 있다. 진 교수는 HBM의 한계를 용량·전력·가격 세 가지로 짚었다. 먼저 용량이다. 그는 “D램을 최대 16층까지 쌓아도 수십 기가바이트 수준이라 HBM 패키지를 아무리 많이 달아도 거대 모델 전체를 감당하기엔 턱없이 부족하다"고 했다. 이를 메우려 서버를 병렬로 늘리면 인프라 비용과 전력 소모가 기하급수적으로 불어난다. 일반 D램보다 비트당 가격이 높은 HBM 프리미엄은 기업이 떠안아야 할 또 하나의 청구서다. 용량을 늘리려고 쌓을수록 새 문제가 따라붙었다. 진 교수는 “D램을 여러 층 쌓으면서 발열이 생겼고, 대량의 데이터를 옮기다 보니 전력 소모가 관리 가능한 범위를 넘어섰다"고 설명했다. 그래서 데이터의 성격에 맞춰 적절한 메모리 계층에 나눠 두는 기술이 필요해졌다는 게 그의 진단이다. AI의 무게중심이 에이전틱 AI로 옮겨가면 이 문제는 더 커진다. 그동안 학습이나 단발성 추론은 고정된 가중치를 메모리에서 한 방향으로 읽어와 순서대로 계산하면 됐다. 에이전틱 AI는 다르다. 스스로 계획을 세우고 결과에 따라 행동을 고치는 '생각의 고리(CoT)'로 움직인다. 진 교수는 “과거 대화와 도구 실행 기록을 실시간으로 붙잡아 두는 단기 기억 저장소, 즉 KV 캐시가 기하급수적으로 팽창한다"고 했다. 다음 행동을 정할 때마다 쌓인 기억 조각을 다시 읽어야 하니, 메모리와 GPU 사이를 오가는 데이터가 폭발적으로 늘어난다. 그는 “일방향에 가까웠던 데이터 흐름이 이제는 프로세서와 메모리 사이를 끊임없이 교차하는 양방향 피드백 구조로 바뀐다"고 짚었다. ◇ “PIM, 이번엔 소프트웨어가 관건" PIM(프로세싱 인 메모리)은 메모리 안에서 직접 연산해 데이터 이동을 줄이는 기술이다. 개념은 오래됐지만 번번이 주류 시장의 문턱을 넘지 못했다. 진 교수는 PIM이 다시 주목받는 이유를 '시장이 무르익었기 때문'으로 봤다. 과거에는 PIM을 필요로 하는 시장도, 받쳐줄 소프트웨어 생태계도 없었다. 지금은 생성형 AI가 퍼지면서 CPU·GPU 중심의 연산 구조가 전력과 데이터 이동이라는 벽에 부딪혔다. AI가 데이터센터를 넘어 PC·모바일·엣지 기기로 번지면서 고성능과 저전력을 함께 잡아야 할 필요도 커졌다. 진 교수는 “지금의 PIM은 과거 기술의 재등장이 아니라 AI 시대가 요구하는 메모리 중심 컴퓨팅의 현실적 대안"이라고 평가했다. 그렇다고 만능은 아니라는 게 그의 진단이다. PIM이 가장 빛나는 무대로 그는 소규모 배치로 토큰을 하나씩 생성하는 디코딩 단계를 꼽았다. 데이터를 나르는 과정을 건너뛰어 얻는 속도와 전력 이득을 가장 직관적으로 회수할 수 있는 작업이라는 것이다. 챗봇이나 온디바이스 생성형 AI처럼 쉼 없이 응답해야 하는 환경이 대표적이다. 진 교수는 “PIM은 추론 전체를 대체하는 게 아니라 메모리 접근 비중이 높은 LLM 디코딩을 효율적으로 처리하는 가속 기술로 보는 게 적절하다"고 말했다. 상용화의 발목을 잡는 건 오히려 하드웨어 바깥에 있다고 했다. 그는 “가장 큰 난관은 파편화된 소프트웨어 생태계와 표준 인터페이스의 부재"라고 잘라 말했다. 개발자가 메모리 내부 연산기를 제어할 컴파일러 스택이 없으면 아무리 뛰어난 칩도 무용지물이다. 주요 AI 프레임워크는 철저히 프로세서 중심이라 PIM을 직접 지원하지 않는다. 제조사마다 명령어 세트가 제각각이라 개발자가 매번 코드를 새로 짜야 한다. 진 교수는 “이 장벽을 넘지 못하면 PIM은 특정 맞춤형 칩에만 쓰이는 비주류 기술에 머문다"며 “CXL 컨소시엄 등을 통한 글로벌 표준 정립이 먼저"라고 강조했다. ◇ “HBF는 추론 전용 읽기 가속 플랫폼" SK하이닉스가 강조하는 HBF(고대역폭플래시)를 이야기할 때 그의 말에는 기대와 경계가 함께 실렸다. HBF는 낸드를 TSV(실리콘관통전극) 방식으로 쌓아 HBM과 SSD 사이의 빈자리를 메우는 새 메모리 계층이다. 진 교수는 “HBM은 빠르지만 용량이 모자라고 SSD는 크지만 느려 연산 장치가 데이터를 기다리는 병목이 생기는데, HBF가 이를 완화한다"며 “여기에 PIM이 접목되면 새로운 AI 가속 패러다임을 만들 수 있다"고 내다봤다. 다만 그는 HBF가 SSD 시장을 잠식하기보다 HBM의 부족한 용량을 보완할 것으로 봤다. 성패는 가격에 달렸다고 했다. 진 교수는 “성능과 전력은 기술로 채울 수 있지만 가격은 도입 여부를 가른다"며 “기가바이트당 단가를 HBM의 10분의 1 수준으로 유지하는 게 첫 관문"이라고 말했다. ◇ “승부처는 메모리를 잇는 시스템 설계" 칩이 고장 나는 이유를 좇아온 그가 HBM 이후의 해법으로 꼽은 것은 칩 하나의 스펙이 아니라 칩과 칩 사이의 '동선'이었다. SK하이닉스가 공개한 SALT-KV는 KV 캐시를 HBM·D램·SSD 등 여러 계층에 나눠 두는 기술이다. 자주 쓰고 지연에 민감한 데이터는 비싼 고속 메모리에, 덜 쓰는 데이터는 싼 대용량 저장장치에 둔다. SK하이닉스는 이를 HBM·D램·SSD를 한 시스템으로 묶는 '풀 스택 AI 메모리' 전략의 한 축으로 내세우고 있다. 진 교수는 이런 흐름을 메모리 회사의 체질 변화로 읽었다. 그는 “SALT-KV 같은 기술은 하드웨어 성능을 넘어 소프트웨어적 배치 전략을 요구한다"며 “메모리 회사가 데이터 흐름을 설계하는 주체로 변모하는 과정"이라고 분석했다. 그러면서 “HBF가 성공하면 이것까지 포함해 메모리 레벨을 다시 묶어야 할 것"이라고 덧붙였다. 공급자와 설계자의 경계도 흐려지고 있다. 과거에는 CPU·GPU 업체가 시스템 구조를 짜면 메모리 업체는 규격에 맞춰 D램을 찍어내는 수동적 역할에 머물렀다. 진 교수는 “초거대 AI 환경은 '메모리 바운드' 병목이 성능을 좌우하는 국면으로 바뀌었다"고 했다. 연산 장치가 아무리 뛰어나도 메모리가 데이터를 제때 대지 못하면 전체 효율이 무너진다. 엔비디아·AMD·인텔도, 자체 AI 칩을 만드는 빅테크도 초기 설계 단계부터 메모리 기업의 손을 잡을 수밖에 없다는 얘기다. 삼성전자와 SK하이닉스의 비교에서도 그는 단정 대신 단서를 먼저 달았다. “두 회사 모두 어느 한쪽으로 크게 치우치지 않고 양면을 병행하는 전략에는 변함이 없다"는 것이다. 다만 최근 흐름에는 결이 있다고 했다. 삼성은 zHBM·zNAND처럼 3D 적층으로 물리적 한계를 돌파하는 제조업 기반의 '구조적 접근법'에 힘을 싣는다. SK하이닉스는 AI 워크로드를 분석해 맞춤형 해법을 내놓는 '토탈 솔루션 접근'에 무게를 둔다. 진 교수는 “삼성은 종합반도체기업(IDM)으로서 제조 수직계열화를, SK하이닉스는 고객 맞춤형 대응력을 강점으로 차별화하고 있다"고 정리했다. 경쟁이 가장 뜨거워질 곳으로는 적층도, 메모리 내부 연산도 아닌 '다양한 메모리를 잇는 시스템 설계'를 지목했다. 적층은 HBM을 거치며 일정 수준 성숙기에 들어섰다고 봤다. 그는 “미래의 승자는 HBM·HBF·SSD·PIM·CXL을 하나의 유기체처럼 통합하는 설계 역량에서 갈린다"고 말했다. 이어 “빅테크가 원하는 건 단품 성능이 아니라 데이터센터 전체의 전력과 비용을 제어하는 종합 아키텍처"라고 강조했다. 이 메모리들을 하나로 묶는 연결고리로 그는 CXL을 꼽았다. 3~5년 뒤 AI 데이터센터에서 가장 달라져 있을 기술을 묻자 “지금 개발된 기술 중에서 고른다면"이라는 단서를 달고 CXL 기반 메모리 풀링을 지목했다. 서버마다 따로 쥐고 있던 D램·HBM·HBF·SSD를 하나의 거대한 가상 메모리로 묶고, 모자라면 옆 서버의 남는 공간을 빌려 쓰는 구조다. 다만 CXL 자체는 메모리가 아니라 서버와 서버를 잇는 링크이자 시스템 반도체로 봐야 한다고 선을 그었다. 그는 “각자 서버가 메모리를 따로 소유하는 개념에서 유기적으로 공유하고 조율하는 패러다임으로의 전환이 미래 초거대 AI 데이터센터 시장의 지형도를 결정지을 최종 변곡점이 될 것"이라고 말했다. 한국 반도체에는 기회라는 게 그의 판단이다. 진 교수는 “한국은 D램과 낸드 두 핵심 메모리의 기술과 양산력을 모두 가진 유일무이한 메모리 초강대국"이라고 했다. 초고속 메모리와 대용량 저장장치의 계층 구조를 한꺼번에 설계해 묶어 제안하는 원스톱 공급 능력은 한국 기업만의 독보적 장점이라는 것이다. 그는 “제조 영역에 묶여 있던 한국 반도체가 글로벌 AI 인프라의 상위 설계자 가운데 하나로 올라설 호기"라고 말했다. 김하나 기자 uno@ekn.kr, 김슬아 인턴기자

▲김동연(부광약품 전 회장)씨 별세, 백정순씨 남편상, 김상훈·은주·은미씨 부친상, 이승진씨 시부상=26일, 서울성모장례식장 31호실, 발인 29일 오전 5시50분, 장지 서울추모공원·시안 가족추모공원. 02-2258-5979. 김철훈 기자 kch0054@ekn.kr

▲백운우 씨(74) 별세, 손둘희 씨 남편상, 백철수 씨(오리온 커뮤니케이션팀 과장)·백수민 씨 부친상, 이미희 씨 시부상, 한기장 씨 장인상=26일, 보람의정부장례식장 4호실, 발인 28일 오전 7시30분, 장지 포천 동교리 선영. (031)851-4444 송민규 기자 songmg@ekn.kr

◇ 지역본부장 및 실처장급 ▲ 영남지역본부장 장유진 ▲ 감사실장 정대원 ▲ 홍보실장 김대헌 ▲ 안전관리단장 하재무 ▲ 인사노무처장 여학수 ▲ 공정관리처장 유병욱 ▲ 지사지원처장 정태인 ▲ 말산업처장 안의근 ▲ 경마기획처장 겸 경마운영처장 마정석 ◇ 지사장급 ▲ 분당지사장 탁성현 ◇ 부장급 ▲ 경영혁신부장 류재량 ▲ 말산업진흥부장 나준일 ▲ 방역관리부장 송희은 ▲ 말복지부장 정복선 ▲ 말등록부장 최준석 여헌우 기자 yes@ekn.kr

▲ 이재상(향년 86세)씨 별세, 김정자씨 배우자상, 이정석(제주항공 경영기획본부 전무이사)·이범석씨 부친상, 최규옥·전상희씨 시부상, 이준서·이준상·이주찬·이주희씨 조부상=22일, 의정부 을지대학병원 장례식장(평온관) 1호실(경기도 의정부시 동일로 712), 입관 23일 15시, 발인 24일 오전 7시, 장지-성남시장례문화사업소 ☎031-951-7444 박규빈 기자 kevinpark@ekn.kr

▲ 이용순씨 별세, 김칠복(iM증권 영업상무)·칠암·해술·인술·두리·정수·명숙씨 모친상, 김려기·손영애씨 시모상, 조영희·박병호·송의준씨 장모상, 김다니엘·기드온·모세·은혜·재현·남희씨 조모상, 류현경씨 시조모상 = 20일, 대구파티마병원 장례식장 201호, 발인 22일 오전 8시 30분, 장지 대구명복공원/영천오미동선영 여헌우 기자 yes@ekn.kr

◇ 상임임원 임용 △경마본부장 배영필 △말산업본부장 엄영석 ◇ 상임임원 겸직 △미래전략본부장 겸 경영지원본부장 배광석 여헌우 기자 yes@ekn.kr

▲박보훈(향년 92세)씨 별세, 박혜준·박혜신씨 모친상, 김정석(쿠팡 부사장)씨 장모상, 임종환(삼성전자 근무)·김수민(한국투자증권 근무)씨 외조모상 = 15일 오전 4시, 서울성모장례식장 5호실, 발인 17일 오전 8시, 장지 안성 선영. 02-2258-5940 조하니 기자 inahohc@ekn.kr

▲남승우 씨(한화생명 부장·前 KBS 기자) 별세 = 15일 9시40분, 연세대 신촌세브란스병원장례식장 6호실, 발인 17일 6시40분, 장지 서울시립승화원. 02-2227-7500 나광호 기자 spero1225@ekn.kr

김영우 전 기후에너지환경부 대변인이 14일 국립환경과학원 제24대 원장에 취임했다. 김영우 신임 원장은 영산강유역환경청장(2021~2024), 기후부 대변인(2024~2026) 등을 역임했으며, 국립환경과학원 기후대기연구부장(2018~2019)으로 재직한 바 있다. 김영우 원장은 “과학적 데이터와 분석에 기반한 정책 지원을 강화하고, 자원의 순환경제, 인공지능, 환경위성 등 미래 환경 현안에 대한 과학적 연구와 정책 지원을 강화해 나가겠다"고 밝혔다. 이원희 기자 wonhee4544@ekn.kr