При необходимости вы можете запретить поисковым системам индексировать страницы, папки, весь ваш сайт или просто ваш поддомен. Это особенно удобно для таких вещей, как 404 страницы и аналогичного контента.
Как запретить индексацию сайта?
1.С помощью файла robots.txt;
2. В консоле веб-мастера;
3. С помощью настроек сервера (доступ по паролю, либо закрыть доступ определенным IP-адресам).
С помощью файла robots.txt.
1. Откройте настройки своего сайта.
2. Перейдите на вкладку “SEO”.
3. Зайдите в раздел “Разное”.
4. Добавьте правила в файл robots.txt:
Для всего сайта:
User-agent: *
Disallow: /
Для отдельных страниц:
User-agent: *
Disallow: /page-name
Для всех папок сайта:
User-agent: *
Disallow: /folder-name
В консоле веб-мастера Вордпресс.
Выберите Панель управления->Настройки->Чтение->Рекомендовать поисковым машинам не индексировать сайт.
С помощью настроек сервера.
Иногда боты не реагируют на запреты, установленные указанными выше способами. Тогда приходиться решать вопрос на уровне сервера с помощью файла .htaccess.
Пропишите в данном файле следующее:
Все способы легки в реализации, а их настройка не занимает много времени. Так, вы сможете выполнить все настройки самостоятельно и защитить нужную информацию от ботов поисковых систем.