BACK TO LIST[ SESSION DETAILS / 세션 주요 내용 ]
AI - Driven Memory, Memory-Driven IA: LPDDR6-PIM's and Journey to Market
Artificial intelligence workloads are rapidly migrating to smartphones, laptops, and other edge devices, and LPDDR6 will provide
the high speed, low power memory needed for today’s models.
To meet the growing demand for bandwidth, Processing In Memory (PIM) extends LPDDR6 by embedding processing units that specialize in GEMV next to DRAM banks.
This reduces data movement and delivers both higher performance and better energy efficiency than an NPU only solution.
This talk will describe JEDEC’s newly finalized (hopefully) LPDDR6
based PIM specification, highlighting the added command set, timing parameters, and backward compatible extensions.
The session will illustrate the energy efficiency advantages of PIM over traditional NPU only approaches, introduce the industry partners (SoC and memory vendors) involved. Attendees will leave with a clear view of how LPDDR6 PIM can enable the next generation of on device AI.
AI가 이끄는 메모리, 메모리가 이끄는 AI: LPDDR6-PIM과 상용화 여정
AI 워크로드는 스마트폰, 노트북 등 다양한 엣지 디바이스로 빠르게 확대되고 있으며, LPDDR6는 이러한 환경에 필요한 고속·저전력 메모리를 제공합니다.
증가하는 메모리 대역폭 요구를 충족하기 위해 PIM 기술은 DRAM 뱅크 옆에 GEMV 연산 전용 프로세싱 유닛을 내장합니다.
이를 통해 데이터 이동을 줄여 기존 NPU 단독 방식보다 높은 성능과 우수한 에너지 효율을 제공합니다.
본 발표에서는 JEDEC에서 새롭게 최종 제정될 예정인 LPDDR6 기반 PIM 규격을 소개하며, 추가된 명령어 세트(Command Set),
타이밍 파라미터 및 기존 규격과의 호환성을 유지하는 확장 기능을 설명합니다.
또한 PIM이 기존 NPU 기반 방식 대비 가지는 에너지 효율상의 장점을 소개하고, SoC 업체와 메모리 업체 등 관련 산업 파트너들의 참여 현황도 함께 설명합니다.
참석자들은 LPDDR6-PIM이 차세대 온디바이스 AI 구현에 어떤 역할을 할 수 있는지 명확하게 이해할 수 있을 것입니다.