Nvidia представи Nemotron 3 Super 120B – отворен LLM със петкратно увеличение на скоростта за AI‑агенти.
Нова модел от Nvidia – Nemotron 3 Super
Nvidia обяви старта на Nemotron 3 Super, открита AI-модел тип Mixture‑of‑Experts (MoE).
* 120 млрд общих параметра, от тях 12 млрд активни.
* Предназначена за агентен AI – системи, където няколко „агента“ взаимодействат помежду си и със света.
Архитектура
Моделът използва хибриден подход Mamba‑Transformer (съчетание на слоеве Mamba и елементи Transformer).
В Nemotron 3 Super първия път се прилага парадигмата LatentMoE, слоевете Multi‑Token Prediction и предварителното обучение по протокола NVFP4. Според Nvidia този стек повишава точността и ускорява инференса.
Производителност
* Пропускна способност – до 5× по-бърза от предходната версия Nemotron Super.
* Точност – до 2× по-висока.
* Поддръжка на контекстно прозорец от 1 млн токена позволява на агентите да съхраняват пълното състояние на работния процес, намалявайки риска от отклонение от целта.
Практическо приложение
Nemotron 3 Super е подходящ за сложни задачи в многоагентни системи:
| Задача | Пример за използване |
|---|---|
| Генериране и дебъгинг на код без разделяне на документи | Автоматично писане и проверка на големи програми |
| Финансов анализ | Включване на хиляди страници от отчети в паметта на модела |
Обучение
Моделът е обучен върху синтетични данни, създадени с логически модели на мислене. Nvidia разкрива пълната методология:
* над 10 трилиона токена преди и след обучение;
* 15 среди за обучение чрез подкрепление;
* рецепти за оценка.
Изследователи могат да използват платформата Nvidia NeMo за допълнителна настройка или създаване на собствени версии на модела.
Технически детайли
* Поддръжка NVFP4 върху архитектурата Nvidia Blackwell.
* Намаляване на изискванията към паметта и ускорение на извеждането четири пъти в сравнение с FP8 на Nvidia Hopper без загуба на точност.
Достъпност
Моделът вече е достъпен:
* Чрез build.nvidia.com, Hugging Face, OpenRouter и Perplexity.
* Облачни партньори: Google Cloud Vertex AI, Oracle Cloud Infrastructure, CoreWeave, Together AI, Baseten, Cloudflare, DeepInfra, Fireworks AI, Modal.
* Като микросервис Nvidia NIM, позволяващ разгръщане локално или в облака.
Nemotron 3 Super отваря нови възможности за агентен AI, комбинирайки висока точност, мащабируемост и гъвкавост при настройка.
Коментари (0)
Споделете мнението си — моля, бъдете учтиви и по темата.
Влезте, за да коментирате