Сложностите при архивиране в мрежата нарастват: Wayback Machine и Wikimedia изпитват липса на HDD пространство

Кризис на съхранението на данни: как растежът на цените за носители забавя най-големите архивни проекти

Носителите стават все по-скъпи и рядки, което усложнява работата на организациите, които ежедневно запазват огромен обем информация от интернет.

1. Защо цените растат
* Твърдите дискове (HDD) сега струват три пъти повече от предишния им ниво.

* Растящият търсене от страна на големи корпорации и облачни доставчици застави производителите да намалят доставки, което доведе до дефицит.

2. Как това засяга Internet Archive
Показател | Стойност
---|---
Обем хранилище | ~210 PB
Ежедневен поток данни (Wayback Machine) | ~100 TB

* Изкуственият интелект увеличава натоварването: моделите се обучават върху огромни набори от данни, които често се вземат от архиви.

* Идеалните носители – 28–30 TB HDD – почти не се срещат в продажба или са твърде скъпи.

* Организацията е принудена да търси спонсори и получава само съвети от общността.

3. Проблемите на Wikimedia
* На платформата има над 65 милиона статии – това изисква големи изчислителни ресурси и внимателно разпределен бюджет.

* Трудности възникват при:

* Закупуване на памет и дискове;

* Доставка на сървъри;

* Планиране на бъдещи поръчки.

4. Усложняване на архивирането
* Големите езикови модели ИИ използват огромни набори от данни, които понякога се добиват незаконно.

* Собствениците на сайтове блокират достъпа до ресурсите си, без да разпознават „злоумышленници“ и „добросовестни услуги“, събиращи данни за образование.

* В резултат:

* Малките ентусиасти се принуждават да намалят или спрат работата;

* Очакване на стабилизацията на цените за носители.

Резултат
Нарастващата стойност и дефицитът на HDD създават сериозни бариери за некомерсиални архиви. Без нови източници на финансиране и по-достъпни технологии запазването на историята на интернет може да стане практически невъзможно.