Настав час написати дещо для новачків у світі сео, і сьогодні мова піде про одну дуже корисну «штучку» без наявності якої складно обійтися.
Robots.txt – звичайний документ, що має безценное вплив і користь, він знаходитися в кореневому каталозі Вашого ресурсу. У цьому файлі містяться інструкції для роботів-пошукачів. За допомогою цього файлика можна забороняти індексування будь-якого розділу або сторінки на Вашому сайті, можна також давати вказівки на основне дзеркало Вашого сайту. Ще можна вказувати шлях до іншого не менш важливого файлу – sitemap. Чим корисний файл robots.txt добре спостерігається на прикладі закрити від індексації розділів з технічною інформацією сайту. Якщо ці сторінки відкриті для індексації, значить пошуковий робот буде намагатися прибрати їх з індексу. З-за чого можуть зникнути не тільки технічні сторінки, але і важлива, унікальна інформація Вашого сайту.
Як створювати і настроювати robots.txt?
Створюється robots.txt дуже просто, за допомогою звичайного (стандартного) блокнота, після чого, цей файлик потрібно помістити в кореневу папку сайту. Отже, першим ділом пошуковий робот після того, як почне входити до Вас на сайт, прочитає цей файл, в якому написані всі інструкції для нього. Але головне це не створити robots, а зробити правильний robots. Продовжимо, як налаштувати robots.txt? Для налаштування використовують дві основні команди, перша це User-agent, а друга – Disallow. Перша відповідає за те, який саме робот буде слідувати інструкціям і виконувати заборони на індексацію, які прописані в другій, тобто в Disallow.
Приклад примітивної налаштування robots.txt:
User-agent:* Disallow:/ — така інструкція говорить про те, що не буде індексувати повністю весь сайт у всіх пошукових системах. Якщо після слова Disallow написати шлях до потрібного Вам файлу або каталогу, то не буде індексуватися тільки цей файл. Не пишіть кілька шляхів і заборон в одному рядку – вона просто-напросто не буде працювати. Якщо потрібно навпаки відкрити деякі файли до індексації, а решта закрити, то використовується директива Allow, замість Disallow. Правильний robots – половина успіху, пам’ятайте це.
В robots.txt використовуються, не тільки дві основних, але і декілька додаткових директив:
Директиву Host використовують не завжди, а тільки тоді, коли Ваш сайт має не одне, а декілька дзеркал. Дана директива просто-напросто вказує на основне дзеркало. Саме це дзеркало, зазначений у директиві і буде присутня в пошукових ведучих.
Директива Sitemap – ще одна додаткова команда, яка допомагає пошуковому роботу знайти файлик з картою ресурсу.
Crawl-delay – директива, що використовується для того, щоб створювати затримки між завантаженнями сторінок сайту пошукових роботів. Дана директива є корисною тоді, коли Ваш сайт має досить велику їх кількість. Наприклад: Crawl-delay: 3 – означає паузу між завантаженнями сторінок в 3 секунди.
Request-rate – директива, яка несе відповідальність за періодичність завантажень сторінок за допомогою пошукового робота. Наприклад: Request-rate: 1/10 – буде означати, що одна сторінка буде завантажувати 10 секунд роботом.
Visit-time – рідко використовується директива, але дуже цікава і важлива. З її допомогою можна виставляти час, в який Ваш сайт можна відвідувати. Час тут виставляється за Гринвічем, тобто: Visit-time: 0400-0600.
До чого призводить неправильно налаштований robots.txt?
Неправильна або некоректна настройка robots.txt призводить до того, що сторінки, які повинні бути дуже глибоко заховані сторінки з конфіденційною інформацією користувачів або власників сайту) будуть відкриті для індексації. Буває і навпаки, що потрібні Вам сторінки просто не будуть мати індексу. З-за чого правильний robots є дуже важливою частина SEO-оптимізації сайту.
Правильно у мене налаштований robots, як це перевірити?
Щоб це зробити, потрібно скористатися спеціальним сервісом від Yandex Вебмастер, що носить назву: Аналізатор robots.txt. Впишіть з’явилися в поле потрібно ввести ім’я домену, які потрібно перевірити, після Ви побачите всі свої помилки.
Якщо вам ліньки забивати собі голову правильним побудовою роботс.тхт, то скористайтеся цим сервісом і просто «підглянете» як складено цей файл у інших блогерів.
Схожі записи
- Урок 17. Різні мікроформати пошукачів: як вони працюють?
- Урок 15. Російська подкастинг і його роль в просуванні сайту
- Урок 14. SEO: Поведінкові фактори — база для просування.
- Урок 12. Що таке подкасти і для чого вони потрібні
- Урок 11. Регіональна видача google: що це таке?
- Урок 10. Просування сайту в регіонах
- Урок 9. Супутникові карти місцевості в контексті просування сайту
