phpseven
7.03.2013 - 17:04
Здравствуйте как написать парсер рубрик яндекс каталога (http://yaca.yandex.ru/) со всеми под рубриками и чтобы вывести на странице в древовидной форме.
Я знаю как сайты можно парсить а вот рубрики не могу очень трудно.
Прошу подскажите как это сделать.
Игорь_Vasinsky
7.03.2013 - 17:11
| Цитата |
| Здравствуйте как написать парсер рубрик яндекс каталога |
для начала купить оч много хороших прокси серверов.
_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
phpseven
7.03.2013 - 17:16
| Цитата (Игорь_Vasinsky @ 7.03.2013 - 17:11) |
| Цитата | | Здравствуйте как написать парсер рубрик яндекс каталога |
для начала купить оч много хороших прокси серверов.
|
Я не понимаю ваш ответ.
Игорь_Vasinsky
7.03.2013 - 17:31
дубли не создавай.
чтобы парсить яшу - тебе нужно будет постоянно прятаться за прокси сервером.
постоянное обращение к яше - у яшу вызовет только одно чувство - чувство бана.
а так как парсер в несколько этапов - он тебя уже поймает на первой регулярке - пока ты её подберёшь - ты даже до первого этапа парсинга не доберёшся.
_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
| Цитата |
| а так как парсер в несколько этапов - он тебя уже поймает на первой регулярке - пока ты её подберёшь - ты даже до первого этапа парсинга не доберёшся. |
Яшу парсить зло, он иногда палится на загрузке картинки 1 на 1 пиксель, если её не грузишь, то ты ботинок и бананчик получи. И они периодически меняют логику.
Так, что "Здравствуйте как написать парсер рубрик яндекс каталога ", не сделать как в той сказке: Горшочек вари!
walerus
7.03.2013 - 20:17
| Цитата |
| Я знаю как сайты можно парсить а вот рубрики не могу очень трудно. |
В чем конкретно трудности?, пример своего парсера, мысли... и т.д., написать можно, практически ничего заоблочного...
vadimk
18.03.2013 - 22:26
| Цитата (Игорь_Vasinsky @ 7.03.2013 - 17:31) |
дубли не создавай.
чтобы парсить яшу - тебе нужно будет постоянно прятаться за прокси сервером.
постоянное обращение к яше - у яшу вызовет только одно чувство - чувство бана.
а так как парсер в несколько этапов - он тебя уже поймает на первой регулярке - пока ты её подберёшь - ты даже до первого этапа парсинга не доберёшся. |
У меня парсер Яндекс.Маркета более 2 недель проработал, так и не забанили.
Стараюсь максимально возможно эмулировать браузер.
Быстрый ответ:
Powered by dgreen
Здесь расположена полная версия этой страницы.