Sitemap.xml и robots.txt, где их взять и что с ними делать?

  Доброго времени суток! При регистрации сайта в поисковых системах вам понадобятся два файла robots.txt и sitemap.xml, которые предназначены для роботов поисковых систем и указывают им какие страницы вашего сайт отдавать в индексацию, а какие нет. А так же чтобы избежать от дублирования контента в индексации. Файл sitemap.xml необходим поисковым системам Google, Yahoo, Яндекс, Bing для правильной индексации сайта. Если ваш сайт построен на основе какой-нибудь CMS, то, как правило, существуют плагины, которые делают это в автоматическом режиме. Например, для Wordpress это плагин Google XML Sitemaps . Также вы можете написать его сами, кодировка файла обязательно должна быть utf-8. Приведу пример для одной страницы: [stextbox id="grey"] http://example.com/ - адрес страницы 2005-01-01 -дата последнего обновления monthly - периодичность обновления 0.8 - приоритет индексации [/stextbox]   Выделенный кусок кода должен повторяться для каждой страницы вашего сайта. Или же вы можете прибегнуть к услугам сторонних сервисов, например, я пользовался http://www.mysitemapgenerator.com Sitemap может помочь поисковикам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковая машина смогла более разумно индексировать сайт. Файл robots.txt Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д. Вот пример моего robots.txt: [stextbox id="grey"] User-agent: * Disallow: /cgi-bin Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Disallow: /tag/ Disallow: /page/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Host: example.com – адрес вашего сайта, с www или без, прописывается без http:// Sitemap: http:// example.com /sitemap.xml – адрес по которому находится файл sitemap.xml [/stextbox]   В нём я запрещаю к индексации все ненужные файлы и папки, в индексацию попадают только статьи и главная страница. Надеюсь эта информация будет полезна для вас и ваши творения будут быстро и правильно индексироваться. Если возникнут вопросы или трудности с этими файлами спрашивайте, обязательно отвечу.