Компания d-Matrix розробила архітектуру тривимірної пам'яті 3DIMC, яка, згідно з заявами розробника, здатна кардинально змінити підхід до виконання завдань штучного інтелекту.
Процес роботи вже навченої нейромережі складає левову частку навантаження на сервери великих компаній. Саме тут, на думку інженерів d-Matrix, прихована головна проблема сучасного апаратного забезпечення, адже пам'ять HBM, безсумнівний лідер для навчання моделей, виявляється не такою вже ідеальною для їх повсякденного використання, споживаючи багато енергії та створюючи вузькі місця за пропускною спроможністю.
Новий підхід компанії полягає в принципово іншій компоновці чіпів. Технологія, що отримала назву Digital In-Memory Compute (DIMC), передбачає вертикальну збірку (3D-стекування). На кристали пам'яті LPDDR5 розміщуються спеціальні обчислювальні чіплети, які з'єднані через інтерпозер, що дозволяє виконувати обчислення прямо всередині масиву пам'яті, значно скорочуючи затримки та енергозатрати на переміщення даних.
Перший тестовий чіп Pavehawk вже функціонує в лабораторіях компанії. Проте в d-Matrix дивляться ще далі і анонсували наступне покоління архітектури під кодовою назвою Raptor. Саме воно, як запевняє стартап, зможе продемонструвати заявлені цифри: десятикратне перевагу в швидкості інференсу при одночасному зниженні енергоспоживання на 90% у порівнянні з класичною HBM-пам'яттю.
З економічної точки зору поява альтернативи HBM також може бути своєчасним, адже ринок сьогодні контролюється всього трьома гігантами: SK hynix, Samsung та Micron, що закономірно впливає на високу вартість продуктів. У разі успішного впровадження та масового переходу AI-індустрії на спеціалізовану пам'ять, подібну 3DIMC від d-Matrix, високопродуктивна пам'ять HBM дійсно з більшою ймовірністю може знайти шлях до рядових користувачів і в ігровий сегмент.
Основна причина — зміщення попиту. Якщо найбільші споживачі переорієнтуються на нові, більш ефективні для інференсу рішення, виробники HBM (Samsung, SK hynix, Micron) зіткнуться з необхідністю шукати нові ринки збуту для своїх потужностей. Це може призвести до збільшення пропозиції і, як наслідок, до зниження цін на HBM. В результаті те, що сьогодні є ексклюзивним і дорогим компонентом для топових AI-прискорювачів і професійних відеокарт, може стати більш доступним для високопродуктивних ігрових відеокарт.