Google проти веб-скраперів: вплив на SEO інструменти

Google вдарив по веб-скраперам, які збирають дані з результатів пошуку, що спричинило глобальні збої в багатьох популярних інструментах для відстеження рангу, таких як Semrush, які залежать від надання свіжих даних зі сторінок результатів пошуку. Серед цих інструментів є і такі, що вже давно використовують алгоритми для витягування даних з різних джерел, але тепер це стає єдиним можливим варіантом обійти обмеження Google.

Обмеження для SEO інструментів

Те, що робить Google, має значний вплив на свіжість даних, які можуть надавати SEO інструменти. Багато SEO інструментів відчувають відсутність даних, які зазвичай можна отримати, скрапивши сторінки результатів пошуку Google (SERPs).

«Наразі це впливає і на мої інструменти, оскільки ми використовуємо постачальника даних третьої сторони, і ВСІ великі були заблоковані вчора. Багато з них все ще заблоковані» - @RyanJones, який оперує декількома інструментами.

Заборона веб-скрапінгу Google

Довгий час в Google було заборонено автоматизовану перевірку рангу в результатах пошуку, але здається, Google дозволяв багатьом компаніям скрапити свої результати пошуку та стягувати плату за доступ до даних про ранжування для відстеження ключових слів та рейтингів.

Блокування скраперів - складний процес

Блокування скраперів - ресурсомістка задача, особливо через те, що вони можуть відповісти на блокування, змінюючи свою IP-адресу та агента користувача, щоб обійти будь-які блокування. Інший спосіб блокування скраперів - це визначення конкретних поведінок, наприклад, скільки сторінок запитує користувач. Надмірна кількість запитів сторінок може спричинити блокування. Проблема цього підходу полягає в тому, що він може стати ресурсомістким, якщо потрібно відстежувати всі заблоковані IP-адреси, яких може бути мільйони.

Відгуки в соціальних мережах

В соціальних мережах з'явилися повідомлення про те, що Google жорстко б'є по веб-скраперам, з одним коментарем про те, що інструмент Scrape Owl не працює для них, в той час як інші зазначають, що дані Semrush не оновлюються.

«Google, здається, зробив оновлення вчора вночі, яке блокує більшість скраперів та багато API. Google, просто дайте нам платний API для результатів пошуку. Ми заплатимо вам замість цього.» - твіт Раяна Джонса.

Немає оголошення від Google

До цього часу від Google не було жодного оголошення, але можливо, що обговорення в Інтернеті змусить когось в Google вважати за потрібне зробити заяву.