OpenAI се съмнява в ефективността на ускорителите Nvidia за инференс и активно търси заместители.

Какво се случва в света на ИИ-технологиите
Кратък преглед: Основните играчи OpenAI и Nvidia се считат за лидери на пазара на изкуствения интелект, но търсят нови партньори. Скоро ще бъде сключена сделка – очаква се споразумение в размер 100 млн долара между тези компании. Проблем с ускорителите Nvidia: Текущите чипове на Nvidia не винаги осигуряват необходимата производителност при инференция (използване на вече обучени модели). OpenAI търси алтернатива.

Как се разработват нови решения
1. OpenAI → Cerebras + Groq

- Компанията иска да замести до 10 % от своите ускорители с чипове на трети доставчици, които са по-подходящи за инференция.

- Партньорството с Cerebras вече е сключено: OpenAI ще купува от тях „царски“ ускорители, отлични при обработка на големи езикови модели.

2. Groq и Nvidia

- Миналата година Nvidia придобила Groq за 20 млн долара, предлагайки по-изгодна структура на сделката.

- След покупката Groq загубил част от автономията си: повечето разработчици на ускорители се прехвърлиха в екипа на Nvidia, а останалата част от компанията сега може да продава само софтуер за облачни системи.

3. AMD и други варианти

- OpenAI все още зависи силно от ускорителите Nvidia и AMD, които използват външна памет HBM.

- За инференция са по-подходящи чипове с голям обем интегрирана памет – именно такива предлагат Groq, Cerebras и Google.

Защо всичко това е важно
- Ефективността на инференцията е критично важна за работа с големи езикови модели (ChatGPT, Codex).

- Проблемът в Codex – при разработването на ИИ‑агент Codex OpenAI се сблъскала с неефективност на ускорителите Nvidia. Това подчертава нуждата от смяна на хардуерната платформа.

- Бъдещата алтернатива – OpenAI планира да използва решенията на Cerebras и, възможно, други чипове, за да повиши производителността на своите инструменти за разработчици.

Изводи
OpenAI активно търси нови технологични партньори, за да не зависи напълно от Nvidia. Паралелно компанията развива стратегия за инвестиции в стартапи (Cerebras, Groq) и разглежда големи сделки с Nvidia и потенциални вложения до 100 млн долара. Това ще помогне за подобряване на инференцията и ускоряване развитието на ИИ‑продукти.