Руководство по самостоятельному созданию сайта для музыканта или диджея - Строганов Александр. Страница 13

Итак… Что нужно для создания правильного robots. txt

Обязательно должны присутствовать две директивы – User-agent и Disallow. User-agent – определяет для какого бота (от какой поисковой системы) предназначено послание, а функция Disallow запрещает индексировать ту или другую страницу.

Если вы хотите задать для всех ботов одни и теже правила – просто пропишите после функции User-agent символ звездочку. Если при этом нужно запретить (допустим) индексирование страницы ваш-сайт.ru /abc. html и полностью содержимое директории (папки) private, то ваш файл будет иметь такое содержание:

User-agent: *

Disallow: /abc. html

Disallow: /private/

В случае, если вам нужно разрешить полный доступ роботу, который индексирует сайт, ваш файл будет таким:

User-agent: *

Disallow:

Особенности robots. txt

Есть еще несколько особенностей и нюансов, но повторюсь – информации в интернете по этому вопросу (для желающих глубже изучить) достаточно много, поэтому не считаю необходимым подробно на ней останавливаться в рамках данного курса.

Добавлю только то, что нужно разделять директивы для яндекса и остальных поисковиков, в силу того, что для яндекса обязательно присутствие директивы host (чтобы не было проблем с индексацией зеркала ресурса), но понимает ее только яндекс соответственно. Такая вот дурацкая заморочка, но имеет место быть.

Кроме того, желательно, чтобы размер файла не превышал 500 кб (по рекомендации гугла) для избежания ошибок индексации (вручную этого размера вы врядли достигните, но созданные автоматически с помощью некоторых CMS этот файл может превзойти данное ограничение).

Также нужно указать в файле путь к карте сайта, для того, чтобы робот быстрее ориентировался на страницах вашего ресурса, а соответственно чтобы процесс индексации вашего сайта проходил быстрее.

Если вашему мозгу мало – можете продолжить изучение данного, очень захватывающего вопроса. Если достаточно – берите файл

http://red-nuts.com/sitedj/robots.txt

– меняйте внутри него фразу» «ваш-сайт.ru на адрес своего ресурса и заливайте в корень. На крайний случай – можете взять его в другом месте, но хорошенько проверьте, прежде чем размещать у себя.

Карта сайта

Точнее нужно их две – для поисковых роботов и для людей (ваших посетителей)

Карта XML – для роботов

Необходима для поисковых роботов, чтобы они не плутали по бесконечным перелинковками и четко ориентировались где что находится и куда держать путь, по какой ветке, чтобы правильно все проиндексировать и ничего не пропустить.

В прошлый раз, если помните, мы с вами прописывали файл robots. txt и в нем в самом конце мы как раз делали строку, в которой и прописывался путь к этой самой карте (sitemap. xml). Эти «сайтмэпы» генерирует специальный плагин, который отвечает за то, чтобы показать роботу, что у нас появилась новая статья и в карте она сразу же отображается. Если вы откроете ту последнюю ссылку, то увидите, то эта карта из себя представляет.

Для примера можете посмотреть на мою:

http://www.red-nuts.com/sitemap.xml

Там вы можете увидеть все открытые для робота ссылки, последнюю дату генерации карты, приоритеты для робота и как часто происходят изменения.

Чтобы установить этот плагин – заходите в админку вашего сайта, далее в раздел меню Плагины-> Установить новый. В поиск вводим XML Sitemap, Enter, после чего нам в результатах выдадут много разных плагинов. Выбираем Google XML Sitemaps (смотрите скриншот) – жмем установить, затем активировать.

После этого заходим в меню – Параметры (Настройки) и находим там пункт XML-Sitemap

Там мы можем посмотреть и изменить (если нужно) все параметры, увидеть когда была сформирована карта сайта и тд. Трогать там ничего не нужно (особенно, если не знаете для чего какой параметр) – все уже настроено правильно по умолчанию. Напротив построения robots. txt только можете убрать галочку, так как данный файл со всеми настройками у вас уже есть (смотрите скрин).

И обязательно проверьте url карты сайта, что там все в порядке, все открывается (смотрите скрин)

Вот такая картина (у вас скорее всего поменьше) откроется перед вами

Таким образом путевая карта для поисковых роботов готова. Переходим к карте сайта для ваших посетителей.

Карта сайта для людей

Когда на вашем ресурсе будет достаточно большое количество статей и публикаций, чтобы лучше ориентироваться в них новым пользователям в помощь создается карта сайта. Заходя на нее пользователь сразу видит все древо информации, которая представлена на вашем сайте и может легко ориентироваться, особенно, если его интересуют публикации по какой то определенной теме.

Должен также заметить, что карта сайта сейчас, возможно, не так популярна среди посетителей сайтов, как раньше. Тем не менее, еще достаточно большое количество пользователей ориентируется по ней, чтобы найти всю нужную информацию. Кроме того, подобная карта также помогает поисковым машинам лучше и быстрее индексировать ваш интернет ресурс.

Делается это также за пару минут, поэтому предлагаю сделать это действие один раз и забыть о нем, а система будет работать и помогать вашему ресурсу без чьей либо помощи в дальнейшем.

Делается все просто – есть также специальный плагин, но который не находится в поиске плагинов через админ панель, а последняя его версия берется на сайте разработчика – вот здесь: http://www.dagondesign.com/articles/sitemap-generator-plugin-for-wordpress/

Скачиваете последнюю версию плагина к себе на компьютер и затем через админ панель в меню плагинов закачиваете к себе на сайт. Активируете и идете в настройки плагина. Все оформил почти также – в комиксах =)

сначала на сайте (ссылка выше) скачиваете Latest Release

затем в своей админке на вашем сайте загружаете архив с плагином

жмем установить

активируем плагин

идем в настройки

В настройках выставляете (все что не указано – оставляете как есть) следующее:

Language – Russian

Show comment count after posts: – поставить галочку

Show dates after posts: – поставить галочку

Sitemap navigation method: – галочку на пункте «Pages: 1 2 3 4 5»

Sitemap links open in new window: – поставить галочку

Все остальное оставляем как есть. Далее жмем Update options и в боковом меню выбираем раздел – старницы-> все страницы-> создать новую

Создаем страницу «карта сайта» и в режиме редактирования html (Текст) вставьте следующий ключ: <! – ddsitemapgen – >

Затем жмем – опубликовать. Все – карта сайта для людей готова

Как видите – все довольно просто и сделать нужно один раз, а потом вашего участия более не потребуется.