Стартиране на AI-модел на стар PDP-11: ентусиаст използваше процесор с 6 MHz и 64 KB RAM

Ветеранът на Microsoft демонстрира работата на трансформер върху стар компютър

*Дейв Пламмер (Dave Plummer) – известен разработчик на Windows,*

*показва, че съвременните ИИ‑модели могат да се обучават дори на оборудване от десетилетия.*

Какво е направено
- Оборудване: PDP‑11 / 44, 47‑годишен компютър с процесор 6 МГц и 64 КБ RAM.

- Модел: „Attention 11“ – трансформерна мрежа, написана на асемблер за PDP‑11 от Дамьен Бур (Damien Buret).

- Задача за обучение: да се построи обратната последователност от осем числа.

Моделът не трябва да запомня примерите; той трябва да научи правилото „объртане“ на последователността.

Как работи
1. Инициализация – моделът започва с произволни тегла, точността е почти нула.

2. Обучение – при всяка стъпка се извършва прям проход (8‑битова фиксирана точка) и обновяване на теглата.

3. Постепенно усвояване на патерна – след няколко стотици итерации механизмът за внимание „откри“ правилото, а моделът преминава от угадайки към истинско знание.

> “Наблюдаваме опростената анатомия на самото обучение… машината в крайна сметка пресича невидимата граница — от угадайки до знание.” – Пламмер

Резултати
- Точност: 100 % при задачата с обратната последователност.

- Скорост: около 350 обучителни стъпки, което е ~3,5 минути на PDP‑11/44 със кеш памет.

Какво означава това за съвременния ИИ
Пламмер подчертава, че фундаменталните принципи на обучение – повторяемите аритметични операции и корекцията на грешки – са напълно реализирани дори в такава проста система.

„Тази стара машина не мисли мистично; тя просто обновява няколко хиляди числа. Същността на съвременния ИИ е мащабирането на този процес.“

Следователно авторът доказал, че базовият механизъм на трансформерите остава същият, независимо от оборудването, върху което работят.