Штучний інтелект на службі у веб-ботів: аналіз змін у веб-скануванні

Версія AI GPTBot від OpenAI та Claude від Anthropic щомісяця генерують майже мільярд запитів у мережі Vercel. Згідно з даними, GPTBot згенерував 569 мільйонів запитів минулого місяця, тоді як Claude становив 370 мільйонів. Також варто відзначити внесок PerplexityBot (24,4 мільйони запитів) і AppleBot (314 мільйони запитів). Разом ці AI-сканери становлять приблизно 28% від загального обсягу Googlebot, який складає 4,5 мільярди запитів. Це відкриває нові перспективи для SEO.

"Основні AI-сканери не рендерять JavaScript, хоча вони й стягують JavaScript-файли. AI-сканери часто є неефективними, оскільки ChatGPT та Claude витрачають більше 34% своїх запитів на сторінки 404. Тип контенту, на який ці сканери зосереджуються, варіюється. ChatGPT надає перевагу HTML (57,7%), тоді як Claude більше орієнтований на зображення (35,17%)".

🚀 Виходячи із недавніх даних від Vercel та Web Almanac, можна виділити три способи оптимізації для AI-сканерів. Зокрема, важливо розглянути сервер-сайд рендеринг, структуру та доставку контенту та технічні аспекти, такі як утримання оновлених мап сайту, реалізація відповідних редиректів, використання послідовних шаблонів URL та регулярний аудит помилок 404.

• 📌 AI-сканери становлять значну частину загального обсягу запитів у мережі.
• 📌 AI-сканери не рендерять JavaScript, але стягують JavaScript-файли.
• 📌 AI-сканери можуть бути неефективними, витрачаючи значний обсяг запитів на недоступні сторінки.
• 📌 Тип контенту, на який зосереджуються AI-сканери, може варіюватися.
• 📌 AI-сканери зосереджуються на конкретних регіонах.