Итак, постараюсь объяснить просто и быстро. Robots.txt - это файл, который запрещает индексировать некоторые страницы. Вот например наш robots
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search Sitemap: http://all-net.do.am/sitemap.xml
Sitemap: http://all-net.do.am/sitemap-forum.xml
Sitemap: http://all-net.do.am/sitemap-shop.xml
в конце есть еще сайтмап, но на счет него в следующем посте. Такой робот есть на каждом новом сайте на ucoz. Робот помогает поисковой системе индексировать только нужные ссылки, например, зачем нам нужно терять время, пока индексируется /index/ если он ведет на главную страницу. Вот в принципе и все, что я хотел сказать, до встречи в следующем посте!
19.12.2010