Next Generation CMS :: Форум поддержки

Monix

Участник

Откуда: Новосибирск

Здесь с 2009-12-15

Сообщений: 23

Рейтинг :   0 

Сайт

Правильный robots.txt - какой он?

Помогите закрыть все не нужные страницы и возможные дубли.
Оставить только страницы категорий и статей
Все остальное для поисковиков - ерунда ненужная...

Евгений

Модератор

Откуда: Россия

Здесь с 2009-04-08

Сообщений: 1,014

Рейтинг :   38 

Сайт

Re: Правильный robots.txt - какой он?

Monix, держи:

User-agent: *
Disallow: /engine/
Disallow: /templates/
Allow: /uploads/images/
Disallow: /uploads/images/thumb/
Disallow: /uploads/
Allow: /plugin/gsmg/
Disallow: /plugin/
Disallow: /*.print
Disallow: /search/
Allow: /rss.xml
Disallow: /*.xml
Disallow: /login/
Disallow: /logout/
Disallow: /register/
Disallow: /activate/
Disallow: /lostpassword/
Disallow: /profile.html
Disallow: /users/
Sitemap: http://АДРЕС_ТВОЕГО_САЙТА.ru/plugin/gsmg/
Host: http://АДРЕС_ТВОЕГО_САЙТА.ru/

---

I ♥ NGeneration CMS