Спустя 16 минут, 56 секунд (17.07.2012 - 13:41) Игорь_Vasinsky написал(а):
бота трудно по IP отловить, ещё сложнее по юзер агенту (если кто-то замутит с курлом).
а вообще - попробуй взглянуть логи апача своего сайта - там полубому есть следы и гугл бота и яши - сравни IP - может они дейст-но с одного адреса гулять выходят.
а вообще - попробуй взглянуть логи апача своего сайта - там полубому есть следы и гугл бота и яши - сравни IP - может они дейст-но с одного адреса гулять выходят.
Спустя 1 минута, 16 секунд (17.07.2012 - 13:42) qaz333 написал(а):
короче у меня тут появилось несколько идей
как вхиос определяет где хостинг
http://whois.domaintools.com/213.155.26.137
(тоесть пишет Resolve Host: 137-26-155-213.hosting.ua)
и где провайдер
http://whois.domaintools.com/188.247.115.144
(без Resolve Host: )
можно былобы конешно организовать парсер для проверки, но может ето можно сделать самому пару тройков строчек в скрипте, если да то как?
как вхиос определяет где хостинг
http://whois.domaintools.com/213.155.26.137
(тоесть пишет Resolve Host: 137-26-155-213.hosting.ua)
и где провайдер
http://whois.domaintools.com/188.247.115.144
(без Resolve Host: )
можно былобы конешно организовать парсер для проверки, но может ето можно сделать самому пару тройков строчек в скрипте, если да то как?
Спустя 14 минут, 3 секунды (17.07.2012 - 13:56) Игорь_Vasinsky написал(а):
слишком долго будешь инфу получать, либо юзать прокси (платные всё время рабочие) так - спалят и сочтут за доссера.
Спустя 2 минуты, 6 секунд (17.07.2012 - 13:58) qaz333 написал(а):
Цитата (Игорь_Vasinsky @ 17.07.2012 - 10:56) |
слишком долго будешь инфу получать, либо юзать прокси (платные всё время рабочие) так - спалят и сочтут за доссера. |
нутак тот вхиос сам по себе тоже php скрипт, может тоже можно организовать, тотже функционал как на нём? если да то как?
Спустя 39 минут, 58 секунд (17.07.2012 - 14:38) qaz333 написал(а):
Цитата (Игорь_Vasinsky @ 17.07.2012 - 10:56) |
слишком долго будешь инфу получать, либо юзать прокси (платные всё время рабочие) так - спалят и сочтут за доссера. |
короче я прочитал про то как сделать свой вхиос сервис и понял что в предыдушем вопросе спросол ерунду
наверн, чтобы не спалили как доссера, сделаю так, Каждый ип также буду проверять в вхиосе, и записывать результат в БД, тогда будет своя база и сервис вхиос не так часто будет использоватся,
как вам такая идея? не сллишком будет большая нагрузка на сайт если скрипт будет искать айпи в милионной базе? если например ещол просто присваивать сессию чтобы проверять 1 раз на сутки
Спустя 4 минуты, 50 секунд (17.07.2012 - 14:43) DarkLynx написал(а):
Цитата (qaz333 @ 17.07.2012 - 11:38) | ||
короче я прочитал про то как сделать свой вхиос сервис и понял что в предыдушем вопросе спросол ерунду наверн, чтобы не спалили как доссера, сделаю так, Каждый ип также буду проверять в вхиосе, и записывать результат в БД, тогда будет своя база и сервис вхиос не так часто будет использоватся, как вам такая идея? не сллишком будет большая нагрузка на сайт если скрипт будет искать айпи в милионной базе? если например ещол просто присваивать сессию чтобы проверять 1 раз на сутки |
Всё зависит от оборудования, структуры, индексов, и масштабов проекта.. Короче много из-за чего.
Самый наглядный пример.. ВКонтакте.. У них в таблицах и по более миллиона записей, как видите не лагает ведь =)
Спустя 18 минут, 39 секунд (17.07.2012 - 15:02) qaz333 написал(а):
Цитата (DarkLynx @ 17.07.2012 - 11:43) |
Самый наглядный пример.. ВКонтакте.. У них в таблицах и по более миллиона записей, как видите не лагает ведь =) |
Ну так у них наверн, хост ядер так в 8)) и оперативки гигов под 20)) а не ядро в 2.88 мгц на хостинге за 30 руб в месяц))) как пойдёт доход от рекламы перееду на хостинг помощнее, а покамисть пошол точить скрипты
Спустя 1 час, 40 минут, 31 секунда (17.07.2012 - 16:42) Игорь_Vasinsky написал(а):
очень многое предусмотреть придётся, например:
- проверять время между запросами
- смотреть IP и юзер агента
- про попытке парсинга - выставлять капчу
и многое другое.
а вообще:
если был спарсен IP - и найден город - писать в БД
и при повторной попытке про этот IP - шарить у ся в БД и если нету - то уже запускать свой парсер.
- проверять время между запросами
- смотреть IP и юзер агента
- про попытке парсинга - выставлять капчу
и многое другое.
а вообще:
если был спарсен IP - и найден город - писать в БД
и при повторной попытке про этот IP - шарить у ся в БД и если нету - то уже запускать свой парсер.
Спустя 1 час, 46 минут, 7 секунд (17.07.2012 - 18:29) qaz333 написал(а):
Лан, спасиб всем, давайте не будем о грусном, могу предложить пойти поиграть в класные онлайн-игры заходим не стесняемся))