Проблема индексации моих сайтов на NG

oldvovk · 2011-07-24 16:35:39

Что то придолбал меня яндекс с индексацией.

1. Вначале жизни сайта вроде начинает клевать, страницы появляются, проходит 2-3 месяца и начинают вываливаться страницы. В итоге получаем АГС.
2. Что еще характерно - в описании сайта фигурирует совсем не основной текст, а все что хочется, топ меню, боковой сайдбар, нижний бар и подвал.
3. По вебмастеру постоянно пытается найти страницу разделов т.е. к примеру /blog/ и получает соответственно 404. Хотя по логике двига она есть /blog.html

Чего делать? По первым двум идея пока одна - блокнуть дубли аксесом и попробовать ноиндексом блокнуть ему все вышеперечисленное части текста и оставить основной текст.

А вот чего с третим делать теперь. Менять формат ссылок?

GRADUSnick · 2011-07-24 17:33:29

блокнуть дубли аксесом

чё такое "аксес"?
для дублей достаточно robots.txt грамотно составленного

По вебмастеру постоянно пытается найти страницу разделов т.е. к примеру /blog/ и получает соответственно 404. Хотя по логике двига она есть /blog.html

странно написано. раньше чпу иное было?

StronG · 2011-07-24 18:18:15

Странно, у меня тьфу-тьфу-тьфу, только растут показатели, есть порталы уже с 20к станиц и еще растут :cool:

oldvovk · 2011-07-24 19:40:56

блокнуть дубли аксесом

Не до конца прописал мысли. Изменить ссылки разделов, а через файл .htaccess редиректнуть html разделов на получившееся.

странно написано. раньше чпу иное было?

А чего странного? Двиг по дефолту разве по другому делает или я ошибаюсь?

Выход пока реально вижу - корректировать ссылки разделов в вид без html

Отредактировано oldvovk (2011-07-24 19:46:11)

GRADUSnick · 2011-07-24 21:40:33

Изменить ссылки разделов, а через файл .htaccess редиректнуть html разделов на получившееся.

это не поможет избавиться от дублей

Двиг по дефолту разве по другому делает или я ошибаюсь?

да. только вопрос был иной - чпу раньше которое было на сайте успело попасть в индекс?

Выход пока реально вижу - корректировать ссылки разделов в вид без html

а странно то, что описывается проблема как-то странно, непонятным языком. надо смотреть логи в панели ЯВМ.

есть порталы уже с 20к станиц и еще растут

как наполняешь? в ручную или каким-то приватным граббером?

easmik · 2011-07-25 04:10:26

У меня 11 тыс проиндексировано и не какой АГС мне не страшен, даже не смотря на то что у меня описания совсем мало и бот считает страницы одинаковыми более чем на 90%.

StronG · 2011-07-25 07:00:51

как наполняешь? в ручную или каким-то приватным граббером?

Нет, граббером не пользуюсь, у меня в основном рефераты, мед.порталы, авто и кулинария. Для них использую сканы из советских книг и журналов и перевод из зарубежной литературы. Для рефератов примерно одна база собранная из разных источников, но с разными параметрами уникализации.

oldvovk, попробуй в robots прописать параметры по этой инструкции

oldvovk · 2011-07-25 14:18:33

oldvovk, попробуй в robots прописать параметры

Да он такой же практически, смотрел как-то, ну если только добавлено еще чуть по страницам.

да. только вопрос был иной - чпу раньше которое было на сайте успело попасть в индекс?

Да не менялось оно, было и есть дефолт.

а странно то, что описывается проблема как-то странно, непонятным языком. надо смотреть логи в панели ЯВМ.

Что конкретно непонятно? Что по дефолту раздел имеет расширение .html? Или что в постатейке фигурирует уже без html? Что бот судя по ссылке пытается найти раздел без html раз в ссылках он есть и не находит.

Это проблема, скорее не движка, а бота Яндекса, но от этого не легче. Еще trashka давненько говорила, что лучше бы изменить чпу разделов и не светить там .html. Поздно увидел, теперь кромсать по живому придется.

legenda · 2011-07-25 17:12:42

oldvovk, а ты пробовал сделать Sitemap и скормить его яндексу и гуглу?
кстате проблема с индексацией у тебя з каким поисковиком?

oldvovk · 2011-07-26 23:41:51

Да с ботом Яндекса. Сайтмеп есть.

Проблема то с Яндексом есть у многих по поводу агс. Я и не стал тут на этом заострять внимание.

Больше смущает вторая проблема по тексту. По другим движкам не сталкивался с таким, чтобы в сниппете меню лезло, категории. Просмотрел код - ничего нет криминального. Попер в эксперимент, засунул в ноиндекс незначимые части. Посмотрю его реакцию.

По третей - все же сменил чпу на без html. Google шемет - уже поменял на 2 сайтах все. По его данным ошибок нет. Подождем Я. - его и так тут глючит с вебмастером.

Да и вопрос - как сделать, чтобы при запросе несуществующей страницы сайт.ru/portfolio/?t=jetoo.html

отдавалась не главная а ошибка 404

Отредактировано oldvovk (2011-07-26 23:46:39)

GRADUSnick · 2011-07-27 07:18:18

Что бот судя по ссылке пытается найти раздел без html раз в ссылках он есть и не находит.

вот откуда ссылки на раздел без расширения html на сайте, если расширения html отсутствуют

Это проблема, скорее не движка, а бота Яндекса, но от этого не легче.

ни движок, ни яндекс в этом не виноват - кривость рук вебмастера, вот основная проблема

v01d · 2011-07-27 11:02:55

У меня яшка не видит содержимого в тегах loc. Кому удалось скормить яшке карту?

oldvovk · 2011-07-27 12:15:13

вот откуда ссылки на раздел без расширения html на сайте, если расширения html отсутствуют

Это вопрос, утверждение или вывод?

ни движок, ни яндекс в этом не виноват - кривость рук вебмастера, вот основная проблема

Я вам вроде в трамвае на ногу не наступал, за что ж тогда скрытое оскорбление? Блин, гуру, как на серче, главное - пукнуть.

StronG · 2011-07-27 13:03:41

oldvovk, насколько уникальный контент? Попробуйте шаблон адаптировать для поиска (H1, H2 ...)

GRADUSnick · 2011-07-28 15:16:18

Это вопрос, утверждение или вывод?

Это вывод из того сумбурного текста, что ты написал.

Я вам вроде в трамвае на ногу не наступал, за что ж тогда скрытое оскорбление? Блин, гуру, как на серче, главное - пукнуть.

1. я с сёрча.
2. яндекс никому тоже на ноги не наступал, зачем его оскорблять? Он не виноват в твоих проблемах

У меня яшка не видит содержимого в тегах loc. Кому удалось скормить яшке карту?

мне.

Next Generation CMS :: Форум поддержки

Объявление

#1 2011-07-24 16:35:39

Проблема индексации моих сайтов на NG

#2 2011-07-24 17:33:29

Re: Проблема индексации моих сайтов на NG

#3 2011-07-24 18:18:15

Re: Проблема индексации моих сайтов на NG

#4 2011-07-24 19:40:56

Re: Проблема индексации моих сайтов на NG

#5 2011-07-24 21:40:33

Re: Проблема индексации моих сайтов на NG

#6 2011-07-25 04:10:26

Re: Проблема индексации моих сайтов на NG

#7 2011-07-25 07:00:51

Re: Проблема индексации моих сайтов на NG

#8 2011-07-25 14:18:33

Re: Проблема индексации моих сайтов на NG

#9 2011-07-25 17:12:42

Re: Проблема индексации моих сайтов на NG

#10 2011-07-26 23:41:51

Re: Проблема индексации моих сайтов на NG

#11 2011-07-27 07:18:18

Re: Проблема индексации моих сайтов на NG

#12 2011-07-27 11:02:55

Re: Проблема индексации моих сайтов на NG

#13 2011-07-27 12:15:13

Re: Проблема индексации моих сайтов на NG

#14 2011-07-27 13:03:41

Re: Проблема индексации моих сайтов на NG

#15 2011-07-28 15:16:18

Re: Проблема индексации моих сайтов на NG

Подвал форума