xr0m3oz
16.05.2013 - 12:06
Есть сайт
http://www.ittour.com.ua/ , мне нужно с него спарсить горчие туры,
я вообще использую simple dom html
Но досада вот в чем,там подгружаются туры аджаксом ,и отправляются пост запросом.
Например когда заходишь на главную там мне не нужно ничего парсить,
нужно парсить каждое нажатие например на страну ТУРЦИЯ и оно выводит все по турции это надо спарсить,и так по каждой стране.
Я уже и как не пробывал ничего не выходит, какие у кого есть идеи, большое спасибо.
Игорь_Vasinsky
16.05.2013 - 12:11
| Цитата |
| Я уже и как не пробывал ничего не выходит |
как пробовал?
_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
xr0m3oz
16.05.2013 - 12:16
| Цитата (Игорь_Vasinsky @ 16.05.2013 - 12:11) |
| Цитата | | Я уже и как не пробывал ничего не выходит |
как пробовал?
|
В фаерфоксе через Фаер баг смотрел куда шлется запрос,и можно ли отуда его вытянуть,там отправляется Json запрос ,причем каждый раз с новым хешем на сколько я понял, если 2 раза по одному тоже запросу обратиться ничего не выводит. Пишет нету результатов.
Потом решил купить виндовс сервер, записать макрос мышки, программой Xstarter
Что бы оно открывало браузер заходило на сайт,клацало на страны, и сохраняло каждую хтмл страницу страны,после чего конектилось через прогу Файл зила , по фтп заливало все файлы.
А потом я склееваю их всех в один файл и Simple html dom вытягиваю все нужное.
Но если следить за процессом (быть подключенным и не сворачивать окно "Удаленного рабочего стола" то все работает четко как надо, как только свернешь или вообще отключишься от удаленного рабочего стола там происходит не понятно что. И в итоге не получаешь нужного результата.
Игорь_Vasinsky
16.05.2013 - 12:19
))) да вы силён батюшка))
дай линк на донора. гляну что за хитрый сервис
_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
xr0m3oz
16.05.2013 - 12:23
| Цитата (Игорь_Vasinsky @ 16.05.2013 - 12:19) |
))) да вы силён батюшка))
дай линк на донора. гляну что за хитрый сервис |
http://www.ittour.com.ua/Я не спец в пхп,только учусь, и если бы страны передавались в ссылке,было бы проще, а так нету параметров в ссылке.
Просто я уже сделал сайтик небольшой,и мне надо эта инфа,а если не получиться то выходит все что делал зря.
Игорь_Vasinsky
16.05.2013 - 12:27
не понял - а где там список стран?
_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
xr0m3oz
16.05.2013 - 12:29
| Цитата (Игорь_Vasinsky @ 16.05.2013 - 12:27) |
| не понял - а где там список стран? |
Игорь_Vasinsky
16.05.2013 - 12:42
| Цитата |
callback:jsonp1368693027169
action:get_showcase_tour
type:48
items_per_page:30
country:0 |
это порядковый номер поиска - продолжай его каждый раз увеличивай на 1
потом - ты куки то создаёшь?
| Цитата |
Set-Cookie:cms_site_user-7a3e0676020c06cfe2ceb0156f883c3d-1=deleted; expires=Thu, 01-Jan-1970 00:00:01 GMT
Set-Cookie:cms_site_user-7a3e0676020c06cfe2ceb0156f883c3d-2=deleted; expires=Thu, 01-Jan-1970 00:00:01 GMT |
_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
xr0m3oz
16.05.2013 - 12:45
| Цитата (Игорь_Vasinsky @ 16.05.2013 - 12:42) |
| Цитата | callback:jsonp1368693027169
action:get_showcase_tour
type:48
items_per_page:30
country:0 |
это порядковый номер поиска - продолжай его каждый раз увеличивай на 1
потом - ты куки то создаёшь?
| Цитата | Set-Cookie:cms_site_user-7a3e0676020c06cfe2ceb0156f883c3d-1=deleted; expires=Thu, 01-Jan-1970 00:00:01 GMT
Set-Cookie:cms_site_user-7a3e0676020c06cfe2ceb0156f883c3d-2=deleted; expires=Thu, 01-Jan-1970 00:00:01 GMT |
|
Куки не создаю, а вы могли бы сообразить решение и сколько это может стоить?
Я просто уже выдумками уже дня 3 игрался, и в итоге ничего не получилось, ток зря виндовс сервер оплатил на месяц.
Игорь_Vasinsky
16.05.2013 - 12:47
ну я щас вообще на работе. да и дома вермени особо нет.
цены и сроки трудно сказать. я же не знаю что и сколько ты хочешь собрать
_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
xr0m3oz
16.05.2013 - 12:50
Мне бы как то вытянуть каждую страну, в хтмле саму таблицу,и запаковать в 1 файл. все страны хтмл таблицы, а потом я тот файл обработаю Siple html dom
xr0m3oz
16.05.2013 - 13:07
как можно узнать правильный пост запрос
нашел
http://snippets.pp.ru/article/22 Может каждую страницу получиться вытянуть
xr0m3oz
16.05.2013 - 18:05
Ничего не получается, кто может за денежку сделать?
Быстрый ответ:
Powered by dgreen
Здесь расположена полная версия этой страницы.