[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
  • Страница 1 из 1
  • 1
Модератор форума: Noggano  
Ucoz форум |Воронежский портал форум обо всем|у нас весело » Раскрутка и оптимизация сайтов » Школа юного оптимизатора » Лекция 3 (Использование robots.txt)
Лекция 3 (Использование robots.txt)
vladislawДата: Воскресенье, 03.01.2010, 17:06 | Сообщение # 1
Хозяин сайта
Группа: Администраторы
Сообщений: 1547
Награды: 34
Статус: Offline
Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры:
Code
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту

User-agent: *
Disallow: /cgi-bin # блокирует доступ к страницам     
                       #начинающимся с '/cgi-bin'
для главного домена указываем в robots.txt хост (это нужно что бы старый домен стал зеркалом ,а новый домен стал главным.пример
Code
Host: www.ваш сайт.ru
для Sitemap так же можно указать пусть в robots.txt пример
Code
Sitemap:http://ваш сайт.ru/sitemap.xml
Sitemap:http://ваш сайт/sitemap-forum.xml
Подробно о robots.txt вы найдете здесь Ждите следующий урок и задавайте вопросы ,если есть у кого дополнения то прошу высказать.
 
Ucoz форум |Воронежский портал форум обо всем|у нас весело » Раскрутка и оптимизация сайтов » Школа юного оптимизатора » Лекция 3 (Использование robots.txt)
  • Страница 1 из 1
  • 1
Поиск: