Micron представи първата в света памет LPDDR‑SOCAMM2 с обем от 256 GB, идеална за изкуствен интелект.

Микрон стартира нов тип памет за центрове за данни

Компанията Микрон представи в света първия модул оперативна памет LPDRAM SOCAMM2 с обем 256 ГБ, специално създаден за високопроизводителни центрове за обработка на данни и задачи по изкуствен интелект.

Какво е новото?
ПараметърТрадиционна паметLPDRAM SOCAMM2Енергийна консумация–трябва три пъти по-нискаРазмер на модула–компактен, построен от монолитни кристали 32 ГбитПропускателна способност–повишена за инференс ИИЗадръжка–значително намалена
При работа с осмиканален процесор и 2 ТБ обща памет, скоростта на стартиране на модели ИИ (време до първия токен) се увеличава повече от две пъти и половина.

Кой го нуждае?
Модулът е насочен към:

- изпускане на големи езикови модели;

- всякакви работни натоварвания, където критични са обем памет, пропускателна способност и задръжка;

- сценарии, когато част от KV‑кеша може да се изтегли от видеопаметта в по-икономична системна памет без загуба на производителност.

Форм фактор и сътрудничество
SOCAMM2 – компактен вариант на формата RDIMM, но с по-малка енергийна консумация. Разработката на паметта се извършва заедно с Nvidia, което подчертава нейната пригодност за GPU‑акселерация ИИ.

Така Микрон предлага ефективно решение за центрове за данни, позволявайки намаляване на разходите за енергия и пространство, като едновременно се подобрява производителността на натоварванията с ИИ.