Штучний інтелект на службі у веб-ботів: аналіз змін у веб-скануванні
Версія AI GPTBot від OpenAI та Claude від Anthropic щомісяця генерують майже мільярд запитів у мережі Vercel. Згідно з даними, GPTBot згенерував 569 мільйонів запитів минулого місяця, тоді як Claude становив 370 мільйонів. Також варто відзначити внесок PerplexityBot (24,4 мільйони запитів) і AppleBot (314 мільйони запитів). Разом ці AI-сканери становлять приблизно 28% від загального обсягу Googlebot, який складає 4,5 мільярди запитів. Це відкриває нові перспективи для SEO.
"Основні AI-сканери не рендерять JavaScript, хоча вони й стягують JavaScript-файли. AI-сканери часто є неефективними, оскільки ChatGPT та Claude витрачають більше 34% своїх запитів на сторінки 404. Тип контенту, на який ці сканери зосереджуються, варіюється. ChatGPT надає перевагу HTML (57,7%), тоді як Claude більше орієнтований на зображення (35,17%)".
🚀 Виходячи із недавніх даних від Vercel та Web Almanac, можна виділити три способи оптимізації для AI-сканерів. Зокрема, важливо розглянути сервер-сайд рендеринг, структуру та доставку контенту та технічні аспекти, такі як утримання оновлених мап сайту, реалізація відповідних редиректів, використання послідовних шаблонів URL та регулярний аудит помилок 404.
- 📌 AI-сканери становлять значну частину загального обсягу запитів у мережі.
- 📌 AI-сканери не рендерять JavaScript, але стягують JavaScript-файли.
- 📌 AI-сканери можуть бути неефективними, витрачаючи значний обсяг запитів на недоступні сторінки.
- 📌 Тип контенту, на який зосереджуються AI-сканери, може варіюватися.
- 📌 AI-сканери зосереджуються на конкретних регіонах.
Часто задавані питання
1. Що таке AI-сканери?
AI-сканери - це веб-боти, що використовують штучний інтелект для генерації запитів в мережі.
2. Чи впливають AI-сканери на SEO?
Так, AI-сканери можуть впливати на SEO, оскільки вони створюють значний обсяг запитів у мережі.
3. Як AI-сканери впливають на рендеринг JavaScript?
AI-сканери не виконують JavaScript, але вони стягують JavaScript-файли.
4. Як оптимізувати веб-сайт для AI-сканерів?
Для оптимізації веб-сайту для AI-сканерів можна використовувати сервер-сайд рендеринг, структурувати контент ясно та семантично, а також утримувати оновлені мапи сайту.
This article was generated with the assistance of AI based on the referenced material, then manually reviewed and edited by the author for accuracy and usefulness.
https://www.searchenginejournal.com/ai-crawlers-account-for-28-of-googlebots-traffic-study-finds/535948/
