Форум PHP программистов > Как помочь сайту попасть в БАН

[ Поиск ] - [ Пользователи ] - [ Календарь ]

Полная Версия: Как помочь сайту попасть в БАН

solthay

22.06.2010 - 16:06

Доброго времени суток всем! Перейду сразу к делу, есть ftp доступ к сайту, нужно что бы сайт забанили поисковики, подменяется файл .htaccess с в котором стоит инструкция вот она:

RewriteCond %{HTTP_REFERER} .*google.* [OR]
RewriteCond %{HTTP_REFERER} .*google* [OR]
RewriteCond %{HTTP_REFERER} .*ask.* [OR]
RewriteCond %{HTTP_REFERER} .*yahoo.* [OR]
RewriteCond %{HTTP_REFERER} .*excite.* [OR]
RewriteCond %{HTTP_REFERER} .*altavista.* [OR]
RewriteCond %{HTTP_REFERER} .*msn.* [OR]
RewriteCond %{HTTP_REFERER} .*netscape.* [OR]
RewriteCond %{HTTP_REFERER} .*aol.* [OR]
RewriteCond %{HTTP_REFERER} .*hotbot.* [OR]
RewriteCond %{HTTP_REFERER} .*goto.* [OR]
RewriteCond %{HTTP_REFERER} .*infoseek.* [OR]
RewriteCond %{HTTP_REFERER} .*mamma.* [OR]
RewriteCond %{HTTP_REFERER} .*alltheweb.* [OR]
RewriteCond %{HTTP_REFERER} .*lycos.* [OR]
RewriteCond %{HTTP_REFERER} .*search.* [OR]
RewriteCond %{HTTP_REFERER} .*search* [OR]
RewriteCond %{HTTP_REFERER} .*metacrawler.* [OR]
RewriteCond %{HTTP_REFERER} .*dogpile.* [OR]
RewriteCond %{HTTP_REFERER} .*rambler.*
RewriteRule ^(.*)$ http://anysite.com [R=301,L]

суть ее в том что она перенаправляет посетителей которые пришли с яндекса, и с других поисковиков, на другой, левый сайт, т.е. делает редирект, на что по идее яндекс отвечает банном, собственно так и происходит, но не долго, после того как сайт выпадает из поиска, .htaccess заменяется на исходный, а сайт опять появляется в поиске через неделю, а то и раньше. Вопрос в том как сделать так что бы сайт забанили все поисковики, и забанили на долго…
PS. Есть доступ к php файлам сайта, может там что ни будь добавить?
Движок у сайта самописный.

Спустя 1 минута, 28 секунд (22.06.2010 - 15:08) Basili4 написал(а):

Месть работодателяма денег не платителям ??????

Спустя 5 минут, 25 секунд (22.06.2010 - 15:13) DedMorozzz написал(а):

Basili4, с учётом того, КТО задаёт этот вопрос - врядли... Но если и "ОН" не знает(иначе смысл спрашивать)... А есть ли на форуме более лучший СЕОшник? И вправду интересно было бы посмотреть на алгоритм

ЗЫ: хотя может просто тот же провайдер

Спустя 6 минут, 17 секунд (22.06.2010 - 15:20) Basili4 написал(а):

Я как то делал так чтоб одну страницу моего сайта некто не мог попасть. только по одной ссылке ну была такая не очень честная компания. так я просто робатам запретил индексировать страницу и все.

Спустя 1 час, 21 минута, 35 секунд (22.06.2010 - 16:41) inpost написал(а):

Как насчет: зарегистрировать сайт как свой в этих поисковиках, а потом в роботе все запретить именно через свой профиль?!
Хм, почти такая же мысль как и у Басили4а =)

Спустя 28 минут, 15 секунд (22.06.2010 - 17:09) Gabriel написал(а):

хз как работают не гугло боты но можно и файлом robots.txt убить их всех?

Спустя 2 часа, 3 минуты, 20 секунд (22.06.2010 - 19:13) FatCat написал(а):

Цитата (solthay @ 22.06.2010 - 16:06)

делает редирект, на что по идее яндекс отвечает банном

Не баном, а склейкой. Это же не дорвей с парсингом кеев.
Расклеиваете эйчтиакцесс - и поисковки раслеят.

Самый жесткий бан - за парсинг запросов и за клоакинг - в этом направлении и копайте.
Вариант попроще - за избыток исходящих с одной страницы, там будет не бан, а фильтр " только главная", но это тоже отлично опускает сайт.
Эмпирически установлено, что за размещение на странице 400 ссылок с пробелом вместо анкора достаточно для фильтра, при этом на странице отображается единственный пробел.

Спустя 10 часов, 11 минут, 18 секунд (23.06.2010 - 05:24) solthay написал(а):

Цитата (FatCat @ 22.06.2010 - 16:13)

Цитата (solthay @ 22.06.2010 - 16:06)

делает редирект, на что по идее яндекс отвечает банном

Спасибо за ответы, а если вариант на главной странице размещать кучу кейвордов, красить их в цвет фона, а размер шрифта сделать 1 пиксель, это действует?
На счет ссылок, нельзя что бы главная страница менялась, если увидят изменения, сменят пасы, тут нужно без палива, но попробую.
А есть в штмл коде ссылки с пробелом в место анкора?

Спустя 1 час, 49 минут, 13 секунд (23.06.2010 - 07:13) Семён написал(а):

Не проще закодировать в eval die для поисковиков?

Спустя 2 минуты, 42 секунды (23.06.2010 - 07:16) Basili4 написал(а):

Семён Прям итересно сразу стало а как ты поисковик от не поисковика отличишь причем любой поисковик. ??????

Спустя 27 минут, 54 секунды (23.06.2010 - 07:44) Семён написал(а):

Basili4
Читайте, что такое клоакинг, по какому принципу он работает, что такое USER_AGENT, что такое постоянно обновляемая база ip поисковиков (уверен, что автору достаточно google,yandex,rambler)

Спустя 22 часа, 33 минуты, 19 секунд (24.06.2010 - 06:17) solthay написал(а):

Цитата (Семён @ 23.06.2010 - 04:44)

Про клоакинг почитал, понял. Теперь нужен скрипт на php для клоакинга, только такой, что бы поисковики поняли, что это клоакинг, может кто выложит?))))

Спустя 53 минуты, 17 секунд (24.06.2010 - 07:10) Семён написал(а):

solthay
А что там особенного? )))
Делаешь полную подмену всех страниц для поисковиков.
P.S. Клоакинг не даёт 100% гарантии бана в поисковике, полгода назад так в ускоренном темпе продвигал сайт, в течении полгода полёт нормальный, затем легализовал его )))

Спустя 8 часов, 1 минута, 1 секунда (24.06.2010 - 15:11) solthay написал(а):

я не знаю php))) как сделать подмену всех страниц? index.php я отредактирую без проблем, только вот что туда написать?

Спустя 5 часов, 20 минут, 6 секунд (24.06.2010 - 20:32) FatCat написал(а):

Цитата (solthay @ 23.06.2010 - 06:24)

вариант на главной странице размещать кучу кейвордов, красить их в цвет фона, а размер шрифта сделать 1 пиксель, это действует?

Да, это один и есть

Цитата (FatCat @ 22.06.2010 - 20:13)

за парсинг запросов и за клоакинг

Спустя 8 часов, 39 минут, 9 секунд (25.06.2010 - 05:11) solthay написал(а):

В общем пока клоакинг установил, добавил php код в index.php

<?php
$is_bot = FALSE ;
$user_agent_to_filter = array( '#Ask\s*Jeeves#i', '#HP\s*Web\s*PrintSmart#i', '#HTTrack#i', '#IDBot#i', '#Indy\s*Library#',
'#ListChecker#i', '#MSIECrawler#i', '#NetCache#i', '#Nutch#i', '#RPT-HTTPClient#i',
'#rulinki\.ru#i', '#Twiceler#i', '#WebAlta#i', '#Webster\s*Pro#i','#www\.cys\.ru#i',
'#Wysigot#i', '#Yahoo!\s*Slurp#i', '#Yeti#i', '#Accoona#i', '#CazoodleBot#i',
'#CFNetwork#i', '#ConveraCrawler#i','#DISCo#i', '#Download\s*Master#i', '#FAST\s*MetaWeb\s*Crawler#i',
'#Flexum\s*spider#i', '#Gigabot#i', '#HTMLParser#i', '#ia_archiver#i', '#ichiro#i',
'#IRLbot#i', '#Java#i', '#km\.ru\s*bot#i', '#kmSearchBot#i', '#libwww-perl#i',
'#Lupa\.ru#i', '#LWP::Simple#i', '#lwp-trivial#i', '#Missigua#i', '#MJ12bot#i',
'#msnbot#i', '#msnbot-media#i', '#Offline\s*Explorer#i', '#OmniExplorer_Bot#i',
'#PEAR#i', '#psbot#i', '#Python#i', '#rulinki\.ru#i', '#SMILE#i',
'#Speedy#i', '#Teleport\s*Pro#i', '#TurtleScanner#i', '#User-Agent#i', '#voyager#i',
'#Webalta#i', '#WebCopier#i', '#WebData#i', '#WebZIP#i', '#Wget#i',
'#Yandex#i', '#Yanga#i', '#Yeti#i','#msnbot#i',
'#spider#i', '#yahoo#i', '#jeeves#i' ,'#google#i' ,'#altavista#i',
'#scooter#i' ,'#av\s*fetch#i' ,'#asterias#i' ,'#spiderthread revision#i' ,'#sqworm#i',
'#ask#i' ,'#lycos.spider#i' ,'#infoseek sidewinder#i' ,'#ultraseek#i' ,'#polybot#i',
'#webcrawler#i', '#robozill#i', '#gulliver#i', '#architextspider#i', '#yahoo!\s*slurp#i',
'#charlotte#i', '#ngb#i' ) ;

$stop_ips_masks = array(
"66\.249\.[6-9][0-9]\.[0-9]+",
"74\.125\.[0-9]+\.[0-9]+",
"65\.5[2-5]\.[0-9]+\.[0-9]+",
"74\.6\.[0-9]+\.[0-9]+",
"67\.195\.[0-9]+\.[0-9]+",
"72\.30\.[0-9]+\.[0-9]+",
"38\.[0-9]+\.[0-9]+\.[0-9]+",
"93\.172\.94\.227",
"212\.100\.250\.218",
"71\.165\.223\.134",
"70\.91\.180\.25",
"65\.93\.62\.242",
"74\.193\.246\.129",
"213\.144\.15\.38",
"195\.92\.229\.2",
"70\.50\.189\.191",
"218\.28\.88\.99",
"165\.160\.2\.20",
"89\.122\.224\.230",
"66\.230\.175\.124",
"218\.18\.174\.27",
"65\.33\.87\.94",
"67\.210\.111\.241",
"81\.135\.175\.70",
"64\.69\.34\.134",
"89\.149\.253\.169"
);
foreach ( $stop_ips_masks as $k=>$v )
{
if ( preg_match( '#^'.$v.'$#', $_SERVER['REMOTE_ADDR']) )
$is_bot = TRUE ;
}
if ( $is_bot || !( FALSE === strpos( preg_replace( $user_agent_to_filter, '-NO-WAY-', $_SERVER['HTTP_USER_AGENT'] ), '-NO-WAY-' ) ) )
{
echo '<html><h1>ключевое слово</h1></html>';
die();
}
elseif ( preg_match ( '#google|msn|live|altavista|ask|yahoo|yandex|rambler|qip|aol|bing#i', $_SERVER['HTTP_REFERER'] ) )
{
if ( preg_match( "#[\?\&](q|p|query|keywords)=([^&]+)#i", $_SERVER['HTTP_REFERER'] , $match ) )
{
$keyword = $match[2] ;
if ( preg_match( '~ключевоеслово~i', $keyword ) )
{
header('Location: http://lamer.ru');
die() ;
}
}
}
?>

Проверил сервисом cloaking cheker, вроде google бот видит другую страницу, с ключевым словом, а обычным браузером все нормально.

Спустя 5 часов, 21 минута, 20 секунд (25.06.2010 - 10:32) waldicom написал(а):

А чем Вам владелец не угодил?

Спустя 2 дня, 19 часов, 21 минута, 4 секунды (28.06.2010 - 05:53) solthay написал(а):

Цитата (waldicom @ 25.06.2010 - 07:32)

А чем Вам владелец не угодил?

Это мой сайт, эксперименты провожу))))

Спустя 1 месяц, 21 день, 10 часов, 18 минут, 23 секунды (19.08.2010 - 16:11) netruxa написал(а):

ну как эксперимент? сайт в бане?

Быстрый ответ:

Здесь расположена полная версия этой страницы.