Правильный файл robots.txt для WordPress 2019

13 сентября 2019 WordPress SEO
Самый оптимальный и простой код файла robots.txt для вашего сайта на WordPress, который подойдет для всех поисковиков. Этот вариант использую на данном сайте. Не забудьте заменить maindot.ru на адрес вашего сайта.
Содержание файла robots.txt для WordPress
Если вы используете HTTPS, в директиве Host: нужно указать главное зеркало сайта вместе с протоколом.
Если на сайте используются 2 карты сайта, то указываем каждую в новой строчке в директиве Sitemap. Например плагин Google XML Sitemap создает 2 карты: обычную и в сжатом виде.
Читайте также: проверенный сайт каталог, где можно скачать 3d модели бесплатно
User-agent: * # правила для всех роботов Disallow: /cgi-bin # папка на хостинге по умолчанию Disallow: /? # все параметры запроса на главной Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins Disallow: *?s= # поиск Disallow: *&s= # поиск Disallow: */embed # все встраивания Allow: */uploads # открываем uploads Allow: /*/*.js # внутри /wp- (/*/ - для приоритета) Allow: /*/*.css # внутри /wp- (/*/ - для приоритета) Allow: /wp-*.png # картинки в плагинах, cache папке и т.д. Allow: /wp-*.jpg # картинки в плагинах, cache папке и т.д. Allow: /wp-*.jpeg # картинки в плагинах, cache папке и т.д. Allow: /wp-*.gif # картинки в плагинах, cache папке и т.д. Allow: /wp-*.svg # картинки в плагинах, cache папке и т.д. Allow: /wp-*.pdf # файлы в плагинах, cache папке и т.д. Allow: /wp-admin/admin-ajax.php # Карта сайта Sitemap: https://maindot.ru/sitemap_index.xml # Карта сайта в сжатом виде если есть #Sitemap: http://example.com/sitemap.xml.gz # сжатая версия (.gz) # Главное зеркало сайта Host: maindot.ru
Не знал, что можно использовать сразу две карты. Автору респект!