Маркетологи представляють інструменти для розробників з підтримкою штучного інтелекту як необхідні помічники для сучасних програмістів. Платформа для розробників GitLab, наприклад, стверджує, що її чат-бот Duo може “моментально генерувати список завдань”, що позбавляє користувачів від “необхідності переглядати тижні комітів”. Проте, ці компанії не зазначають, що такі інструменти, за своєю природою, можуть бути обмануті зловмисниками для здійснення ворожих дій проти їх користувачів.
Дослідники з компанії безпеки Legit в четвер показали атаку, що змусила Duo вставити шкідливий код у скрипт, який було доручено написати. Ця атака також може призвести до витоку приватного коду та конфіденційних даних, таких як деталі уразливостей нульового дня. Все, що потрібно, це вказати чат-боту на взаємодію з запитом на злиття або подібним контентом з зовнішнього джерела.
Двосічний меч AI асистентів
Механізм, що викликає атаки, полягає, звичайно, у так званих ін’єкціях запитів. Серед найбільш поширених форм експлуатації чат-ботів, ін’єкції запитів встраюються в контент, з яким чат-боту пропонується працювати, наприклад, у повідомлення електронної пошти, на яке потрібно відповісти, календар, що потребує перевірки, або веб-сторінку для підсумовування. Асистенти на основі великих мовних моделей настільки прагнуть виконувати інструкції, що готові приймати команди звідусіль, включаючи джерела, які можуть бути контрольованими зловмисниками.
Атаки, націлені на Duo, походили з різних джерел, які зазвичай використовуються розробниками. Прикладами є запити на злиття, коміти, описи помилок та коментарі, а також вихідний код. Дослідники продемонстрували, як інструкції, вбудовані в ці джерела, можуть спотворювати роботу Duo.
“Ця вразливість підкреслює двосічний характер AI асистентів, таких як GitLab Duo: коли вони глибоко інтегровані в робочі процеси розробки, вони успадковують не лише контекст, а й ризики,” написав дослідник Legit Омер Майраз. “Вбудувавши приховані інструкції в на перший погляд безпечний проектний контент, ми змогли маніпулювати поведінкою Duo, витягувати приватний вихідний код та показати, як відповіді AI можуть бути використані для непередбачених і шкідливих наслідків.”