Googles Gary Illyes змінив уявлення про розміщення файлів robots.txt

Gary Illyes, аналітик Google, у своєму повідомленні на LinkedIn, викликав давню домненку про необхідність розміщення файлу robots.txt в кореневому каталозі сайту (наприклад, example.com/robots.txt). Він пояснив, що це не є обов'язковою вимогою, і розкрив менш відому особливість Протоколу виключення роботів (REP).

"Файл robots.txt не обов'язково повинен бути розміщений в кореневому каталозі (example.com/robots.txt)."

Gary Illyes пояснює, що допустимо мати два окремі файли robots.txt, розміщені на різних доменах - один на основному веб-сайті, а інший на мережі доставки контенту (CDN). Таким чином, веб-сайти можуть централізувати свій файл robots.txt на CDN, контролюючи при цьому індексацію своєї основної сторінки. 🚀

• 📌 Наприклад, веб-сайт може мати два файли robots.txt: один за адресою https://cdn.example.com/robots.txt та інший за адресою https://www.example.com/robots.txt.
• 📌 Це дозволяє підтримувати єдиний, всеохоплюючий файл robots.txt на їх CDN і перенаправляти запити з їх основного домену до цього централізованого файлу.
• 📌 Illyes зазначає, що індексатори, які дотримуються RFC9309, будуть слідувати за перенаправленням і використовувати цільовий файл як файл robotstxt для оригінального домену.