삼성, LPDDR5X-PIM 추론 처리량 3.01배 주장…출력 차이는 아직 미해결
Llama 3.1 8B 초기 시험은 데이터 이동 감소와 처리량 향상을 보였지만, 출력이 달랐고 동일 정확도와 시스템 전력은 검증되지 않았다.
삼성전자는 Hot Chips 2026에서 저전력 메모리에 기초 연산 로직을 넣은 LPDDR5X-PIM을 공개했다. Tom’s Hardware와 ServeTheHome이 발표 자료를 토대로 보도한 내용에 따르면, 삼성은 모델이 공개되지 않은 엣지 AI 가속기에서 Llama 3.1 8B를 실행했다. 실행 시간은 12.3초에서 5.4초로 줄어 2.28배, 초당 토큰 수는 27.0에서 81.3으로 늘어 3.01배였고, 내부 대역폭은 76.8GB/s에서 614GB/s로 약 8배 증가했다. 모두 삼성의 초기 벤치마크 주장으로 독립 재현은 없다.
PIM이 겨냥하는 문제는 용량보다 데이터 이동이다. 기존 추론 시스템에서는 프로세서가 모델 가중치와 중간 결과를 메모리에서 반복해서 읽는다. 대역폭이 병목이 되면 연산 장치는 데이터를 기다리고, 전송 자체도 전력을 쓴다. 병렬 처리에 적합한 일부 연산을 메모리 가까이 옮기면 이동 경로를 줄일 수 있다. 이는 전체 모델이 메모리 안에서 실행된다는 뜻이 아니라, 선택된 작업의 왕복을 줄인다는 의미다.
이번 발표의 의미는 PIM이 HBM과 서버 실험을 넘어 LPDDR 영역으로 이동하고 있다는 점이다. LPDDR는 전력과 공간 제약이 큰 시스템을 위한 메모리다. 실제 모델에서도 이점이 유지된다면 개인용 AI 기기, 엣지 서버, 로컬 추론 시스템이 혜택을 볼 수 있다. Hot Chips 공식 프로그램은 이를 AI 추론용 LPDDR 기반 PIM 솔루션으로 명시해 공식 기술 발표임을 확인하지만 성능 수치를 검증하지는 않는다.
가장 중요한 반증은 출력 자체다. Tom’s Hardware는 PIM과 일반 LPDDR5X 실행의 출력이 달랐고 현장 참석자가 이를 지적했다고 보도했다. 삼성은 정확도 최적화가 진행 중이며 성능 이점은 유지될 것으로 본다고 밝혔다. 출력 품질이 같아지기 전까지 3.01배는 이번 시험의 처리량일 뿐 사용 가능한 추론 성능과 같지 않다. 공개 보도는 정확한 가속기와 배치 크기도 밝히지 않았다. 삼성은 전체 전력은 늘지 않을 것으로 봤지만 순간 피크 전력은 “훨씬 높다”고 인정했고, 비교 가능한 시스템 측정치는 공개하지 않았다.
따라서 현재의 합리적 결론은 삼성이 데이터 이동을 줄이는 가능성을 보였다는 것이지, 3.01배 처리량이 동일 정확도·통제된 전력·실제 소프트웨어 스택에서 유지됨을 증명한 것은 아니다. 먼저 동일 출력이나 표준 정확도 지표로 재시험하고, 이어 전체 시스템 전력, 개발 도구와 지원 연산, 고객 샘플링, 확정된 비용과 양산 시점을 확인해야 한다. 그때야 시연 속도가 실제 도입 가능한 제품 가치로 바뀐다.