Боротьба з фальшивим трафіком від Googlebot: поради від експерта Google

Мартін Сплітт, представник Google, попереджає власників веб-сайтів бути обережними з трафіком, який, як здається, надходить від Googlebot. Багато запитів, що, ніби-то, від Googlebot, насправді від третіх осіб, які займаються скрапінгом.

🚀 Фальшиві краулери можуть спотворювати аналітику, споживати ресурси і ускладнювати точну оцінку продуктивності вашого сайту. Якщо ви підозрюєте фальшиву активність Googlebot, Сплітт радить використовувати такі інструменти Google для її перевірки: URL Inspection Tool (Search Console), Rich Results Test, Crawl Stats Report.

Важливою деталлю, яку варто відзначити, є те, що ці інструменти перевіряють те, що бачить і робить реальний Googlebot, але вони не виявляють безпосередньо імітаторів у ваших серверних журналах.

• 📌 Щоб повністю захиститися від фальшивих Googlebot, вам потрібно: порівняти серверні журнали з офіційними IP-діапазонами Google; реалізувати верифікацію за допомогою зворотного DNS-пошуку; використовувати вищезазначені інструменти для встановлення базового легітимного поведінки Googlebot.

Сплітт також наголосив на важливості моніторингу відгуків сервера на запити сканування, зокрема: помилки 500-ї серії, помилки отримання даних, таймаути, проблеми з DNS. Ці проблеми можуть значно впливати на ефективність сканування та видимість в пошуку для великих веб-сайтів, на яких розміщено мільйони сторінок.

🚀 Поза безпекою, фальшивий трафік від Googlebot може впливати на продуктивність веб-сайту та SEO-зусилля. Сплітт наголосив, що доступність веб-сайту в браузері не гарантує доступу Googlebot, вказуючи на різні потенційні перешкоди, включаючи: обмеження у файлі robots.txt, налаштування брандмауерів, системи захисту від ботів, проблеми з маршрутизацією в мережі.