Ефективне використання файлу robots.txt для веб-сайтів: Рекомендації аналітика Google

Гарі Іллайс, аналітик Google, нещодавно в своєму дописі на LinkedIn наголосив на важливості використання файлу robots.txt власниками веб-сайтів. Він пропонує використовувати цей файл для запобігання доступу веб-краулерів до URL-адрес, які викликають дії, такі як додавання товарів до кошика або списку бажань. Іллайс акцентує увагу на тому, що важливо заблокувати доступ до URL-адрес з параметрами типу "?add_to_cart" або "?add_to_wishlist" через файл robots.txt.

“Looking at what we’re crawling from the sites in the complaints, way too often it’s action URLs such as ‘add to cart’ and ‘add to wishlist.’ These are useless for crawlers, and you likely don’t want them crawled.” - Gary Illyes

🚀Іллайс також зазначив, що хоча використання методу HTTP POST також може запобігти скануванню таких URL, краулери все ще можуть робити POST-запити, тому використання robots.txt залишається доцільним. Наприклад, якщо на вашому веб-сайті є URL-адреси типу "https://example.com/product/scented-candle-v1?add_to_cart" та "https://example.com/product/scented-candle-v1?add_to_wishlist" - вам слід додати для них правило disallow у файлі robots.txt.

• 📌 Використання файлу robots.txt дозволяє зменшити навантаження на сервери, забороняючи веб-краулерам доступ до непотрібних URL-адрес.
• 📌 Правильне використання robots.txt може значно покращити ефективність веб-краулерів.
• 📌 Стандарти robots.txt були розроблені ще у 1990-х роках і залишаються актуальними й досі.

🚀Іллайс підтверджує, що краулери Google повністю дотримуються правил robots.txt, з рідкісними винятками, які детально документовані для сценаріїв, пов'язаних з "викликами користувача або контрактними запитами". Він також наголошує, що дотримання протоколу robots.txt є одним з основних принципів політики Google щодо сканування веб-сайтів.