Обмеження контексту природно визначає, який обсяг коду може обробляти велика мовна модель (LLM) одночасно. Якщо ви завантажуєте в модель великий обсяг кодових файлів, які потрібно перевіряти LLM кожного разу, коли ви запитуєте нову відповідь, це може швидко вичерпати ліміти токенів або використання.
Методи роботи
Щоб обійти ці обмеження, розробники кодових агентів використовують кілька хитрощів. Наприклад, моделі штучного інтелекту налаштовуються на написання коду для передачі певних завдань іншим програмним засобам. Вони можуть створювати скрипти на Python для вилучення даних з зображень або файлів замість обробки всього файлу через LLM, що економить токени та знижує ймовірність помилок.
Документація Anthropic зазначає, що Claude Code також використовує цей підхід для виконання складного аналізу даних у великих базах даних, формуючи цілеспрямовані запити та використовуючи команди Bash, такі як “head” і “tail”, для аналізу великих обсягів даних, не завантажуючи повні дані в контекст.
(Ці агенти штучного інтелекту, в деякому сенсі, є керованими, але напівавтономними програмами, які значно розширюють концепцію, яку ми вперше спостерігали на початку 2023 року.)
Іншою важливою інновацією в роботі агентів стало динамічне управління контекстом. Агенти можуть робити це кількома способами, не розкриваючи всі деталі у своїх закритих моделях коду, але ми знаємо про один з найважливіших методів, яким вони користуються: стиснення контексту.
Версія командного рядка OpenAI Codex, що виконується в терміналі macOS.
Коли кодова LLM наближається до свого межі контексту, цей метод стиснення зменшує історію контексту, підсумовуючи її, втрачаючи деталі, але скорочуючи історію до ключових моментів. Документація Anthropic описує це “стиснення” як дистиляцію змісту контексту у високій якості, зберігаючи ключові елементи, такі як архітектурні рішення та невирішені помилки, відкидаючи надмірний вихідний матеріал.
Таким чином, агенти штучного інтелекту періодично “забувають” значну частину своїх дій під час цього стиснення, але на відміну від старіших LLM-систем, вони не втрачають всю інформацію про те, що відбувалося, і можуть швидко адаптуватися, переглядаючи існуючий код, нотатки, що залишилися у файлах, журнали змін та ін.