Dimadima965
9.06.2019 - 22:01
Доброго времени суток всем! Возникла проблема над которой бьюсь уже вот как месяц! Есть сайт на самописном двигле. Сайт - многостраничник.
С недавнего времени яндекс начал ЗАГРУЖАТЬ (не индексировать) непонятные адреса. Причем если нормальный адрес выглядит так:
https//www.site[dot]ru/korobka/dhl, отдает ессно 200, то непонятные адреса выглядят вот так
https//www.site[dot]ru/korobka/dhl/cnc - отдает 400, причем страница https//www.site[dot]ru/korobka/cnc тоже себе существует и отдает 200.
В первом приближении абсолютно понятно что дело в двигле и что последний где то спамит такие ссылки. Залезли под капот, да есть, такое место, которое генерит эту бяку, убрали. Но спустя месяц Яша не прекратил грузить это д-мо.
Протащили весь сайт через Xenu, и вот удивление НЕТУ таких ссылок, а Яша продолжает грузить сие.
Все возможные места в двигле проверяли, все чисто.
Вопрос где и как еще можно увидеть откуда данное берется, хотя бы с какой страницы идут ссылки.
HTTP_REFER пустой.
Заранее всем спасибо!
FatCat
10.06.2019 - 00:51
| Цитата (Dimadima965 @ 9.06.2019 - 21:01) |
| хотя бы с какой страницы идут ссылки. |
С других сайтов. Может быть и с вебархива, сохранившего старую версию твоего сайта.
_____________
Бесплатному сыру в дырки не заглядывают...
Dimadima965
10.06.2019 - 20:07
| Цитата (FatCat @ 10.06.2019 - 00:51) |
| Цитата (Dimadima965 @ 9.06.2019 - 21:01) | | хотя бы с какой страницы идут ссылки. |
С других сайтов. Может быть и с вебархива, сохранившего старую версию твоего сайта.
|
Думаю вряд ли, уж ооочень много загружает. Каждый день практически грузит эту бяку.
FatCat
10.06.2019 - 22:15
ЕМНИП, в панели яндекс.вебмастер можно посмотреть ссылающиеся сайты.
У меня похожее было несколько лет назад: яндекс завалил меня предупреждениями о недоступных страницах с редиректом, я долго искал, потом плюнул на это дело, с год продолжалась эпопея, потом само собой сошло на нет.
_____________
Бесплатному сыру в дырки не заглядывают...
Dimadima965
12.06.2019 - 09:16
Дак страниц в индексе 30000 а загружено 65000 и 35000 из них 404)))))))) я так понимаю в глазах Яши я заслуженный спамер, со всеми вытекающими... Отписались платонам, но ожидаемо тишина!!! Главное в гугл и намека на это г**но нет.
FatCat
12.06.2019 - 11:17
| Цитата (Dimadima965 @ 12.06.2019 - 08:16) |
| я так понимаю в глазах Яши я заслуженный спамер |
В глазах яши ты проблема, которую им нужно решать.
35К 404-х страниц — это 35К напрасных обходов робота, напрасных расходований яшиных ресурсов. Помножь на миллионы сайтов с аналогичными проблемами после перехода на https.
Тупо забанить и перестать обходить эти миллионы сайтов яша не может себе позволить. Значит, рано или поздно разберется.
_____________
Бесплатному сыру в дырки не заглядывают...
Dimadima965
12.06.2019 - 13:11
Абсолютно согласен с тобой, но проблема вся в том, что пока яша разберется много времени уйдет, а это не есть гуд!))
Dimadima965
12.06.2019 - 13:19
Думаю эксперимент провести, скинуть все на ноль, в сайт-мапе оставить одну главную, и потом наращивать потихоньку, понятно что хорошие линки тоже слетят, но если ничего не делать то можно и АГС получить, а это уже вообще пздц.
Начать по блочно пускать страницы, и таким макаром выяснить откуда сие идет. Хотя .... если xenu не видит этих ссылок... короче в тупике я)))))
Уже отключили все что хотя бы косвенно может генерить такое, все равно лезет собака))), сегодня загрузило))))))
FatCat
12.06.2019 - 21:49
| Цитата (Dimadima965 @ 12.06.2019 - 12:19) |
| можно и АГС получить |
АГС не за это дают. Об этом можешь не беспокоиться.
_____________
Бесплатному сыру в дырки не заглядывают...
Быстрый ответ:
Powered by dgreen
Здесь расположена полная версия этой страницы.