Вчені з Університету Техасу в Сан-Антоні (UTSA) розкрили малопомітну, але вкрай небезпечну загрозу, яку несе штучний інтелект. Мова йде про “галюцинації пакетів” – випадки, коли LLM, зокрема ті, що допомагають програмістам писати код, вигадують неіснуючі програмні бібліотеки.
LLM загрожує кібербезпеці
На відміну від звичних “галюцинацій” в ШІ, де модель вигадує факти у тексті, пакетна галюцинація виникає, коли модель рекомендує використання бібліотеки чи пакету, якого просто не існує. Програміст, довіряючи ШІ, може встановити підроблений пакет, ризикуючи безпекою власної системи.
Усе ускладнюється тим, що більшість сучасного програмування, особливо на Python або JavaScript, залежить від сторонніх бібліотек, які завантажуються з відкритих репозиторіїв, таких як PyPI або npm.
Зловмисники вже почали експлуатувати слабкість: коли LLM вигадує неіснуючий пакет – хакери просто створюють справжній, з тією ж назвою. Наступного разу, коли хтось знову отримає таку ж “пораду” від штучного інтелекту, шкідливий код опиниться у них на комп’ютері.
Команда провела понад 30 великих тестів, згенерувавши 2,23 мільйона зразків коду мовами Python та JavaScript. З них 440 445 фрагментів містили посилання на неіснуючі (галюциновані) пакети.
Моделі GPT виявились набагато обережнішими, генеруючи такі помилки у 5,2% випадків. У LLM з відкритим кодом рівень галюцинацій сягав 21,7%.