Компанія Google запускає функцію неявного кешування в API моделей Gemini 2.5 Pro та 2.5 Flash. Розробники можуть розраховувати на автоматичну економію до 75% вартості запитів із повторюваним контекстом.
Нова функція від Google
Функція неявного кешування впроваджується автоматично, без необхідності попередньої конфігурації. Якщо запит до Gemini 2.5 містить фрагмент, що вже використовувався раніше, система самостійно визначить це і заощадить ресурси. Таким чином, розробникам більше не потрібно вручну вказувати, що кешувати, як це було раніше.
Google наголошує, що автоматична економія можлива лише тоді, коли запити мають спільний префікс, тобто повторювану частину на початку. Саме тому розробникам рекомендують ставити змінні елементи наприкінці, щоб система могла ефективно ідентифікувати повторюваний контекст.
За словами компанії Google, для активації кешування потрібно мінімум 1024 токени для Gemini 2.5 Flash або 2048 токенів для Pro-версії. Це незначний обсяг даних, що робить нововведення придатним навіть для невеликих запитів.
Попри оптимістичні заяви, Google наразі не надала зовнішніх підтверджень ефективності неявного кешу. Втім, після нещодавнього шквалу критики щодо попередньої реалізації кешування, компанія, схоже, прагне відновити довіру розробників.