Cisco открие причини, поради които дори изглеждащи перфектни доклади на ИИ за киберинциденти не трябва да се възприемат като истина

Cisco Talos изследва точността на големите езикови модели при създаването на кибер-отчети

Екипът Cisco Talos Incident Response провежда тест, за да установи колко надеждно съвременните LLM (ChatGPT, Claude и Gemini) могат да генерират технически отчети за киберинциденти. Резултатите показват, че дори най‑"професионално изглеждащите" документи съдържат фактологични грешки, противоречия и несъответствия.

Как се провежда изследването
* Подготовка – изследователите предоставят на всяка модел сурови бележки за инцидента с молба да състави отчет.

* Изход – трите LLM издават визуално полирани документи, но при подробен анализ се откриват неточности и неочаквани заключения.

Нейт Порс (Nate Pors), старши ръководител на отдела за реагиране на инциденти в Cisco Talos, подробно описва резултатите в корпоративния блог.

Защо LLM „грешат“
Cisco обяснява проблемите като вероятностна природа на моделите: те предсказват следващата дума по статистически тежести, а не разбират смисъла. Според Порс искаженията се проявяват в четири направления:

1. Различни фрагменти данни

При всеки заявка моделът се опира на различни части от входа, което прави невъзможно получаването на възпроизводими и стандартизирани резултати.

2. Несъгласувани заключения

Същите данни могат да доведат до различни препоръки: в един отчет ще се предложи принудителна смяна на пароли по цялата организация, а в друг – само точкови промени. Моделът често се задържа на първата генерирана препоръка, дори ако тя не е подходяща.

3. Нестандартна структура

Тъй като LLM форматират текста токен по токен, крайните документи могат да имат различна структура и оформление, което е критично в среда, където се изискват шаблони за контрол на качеството.

4. Проблеми с контекстния прозорец

При обем входни данни, надвишаващ лимита на контекста, моделът може да „забрави“ важна информация от началото на сесията и да издаде непредсказуеми или смесени резултати.

Какво означава това за киберсигурността
Cisco признава, че теоретично е възможно да ограничим задачата до конкретен фрагмент от отчета, но такъв подход лишава потребителите от спестяване на време. В сферата на киберзащитата дори малка грешка може да струва скъпо. Затова авторите на крайни документи трябва внимателно проверяват всяка дума и не се разчита напълно на препоръките на LLM.

Извод: големите езикови модели могат бързо да генерират отчети, но техните заключения изискват задължителна проверка от специалисти, за да се избегнат грешки и несъответствия в критично важния контекст на киберинциденти.