[ Поиск ] - [ Пользователи ] - [ Календарь ]
Полная Версия: Вопрос по парсерам
xr0m3oz
Есть сайт http://www.ittour.com.ua/ , мне нужно с него спарсить горчие туры,
я вообще использую simple dom html

Но досада вот в чем,там подгружаются туры аджаксом ,и отправляются пост запросом.

Например когда заходишь на главную там мне не нужно ничего парсить,
нужно парсить каждое нажатие например на страну ТУРЦИЯ и оно выводит все по турции это надо спарсить,и так по каждой стране.

Я уже и как не пробывал ничего не выходит, какие у кого есть идеи, большое спасибо.
Игорь_Vasinsky
Цитата
Я уже и как не пробывал ничего не выходит

как пробовал?



_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
xr0m3oz
Цитата (Игорь_Vasinsky @ 16.05.2013 - 12:11)
Цитата
Я уже и как не пробывал ничего не выходит

как пробовал?

В фаерфоксе через Фаер баг смотрел куда шлется запрос,и можно ли отуда его вытянуть,там отправляется Json запрос ,причем каждый раз с новым хешем на сколько я понял, если 2 раза по одному тоже запросу обратиться ничего не выводит. Пишет нету результатов.

Потом решил купить виндовс сервер, записать макрос мышки, программой Xstarter
Что бы оно открывало браузер заходило на сайт,клацало на страны, и сохраняло каждую хтмл страницу страны,после чего конектилось через прогу Файл зила , по фтп заливало все файлы.

А потом я склееваю их всех в один файл и Simple html dom вытягиваю все нужное.

Но если следить за процессом (быть подключенным и не сворачивать окно "Удаленного рабочего стола" то все работает четко как надо, как только свернешь или вообще отключишься от удаленного рабочего стола там происходит не понятно что. И в итоге не получаешь нужного результата.
Игорь_Vasinsky
))) да вы силён батюшка))

дай линк на донора. гляну что за хитрый сервис

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
xr0m3oz
Цитата (Игорь_Vasinsky @ 16.05.2013 - 12:19)
))) да вы силён батюшка))

дай линк на донора. гляну что за хитрый сервис

http://www.ittour.com.ua/

Я не спец в пхп,только учусь, и если бы страны передавались в ссылке,было бы проще, а так нету параметров в ссылке.

Просто я уже сделал сайтик небольшой,и мне надо эта инфа,а если не получиться то выходит все что делал зря.
Игорь_Vasinsky
не понял - а где там список стран?

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
xr0m3oz
Цитата (Игорь_Vasinsky @ 16.05.2013 - 12:27)
не понял - а где там список стран?

http://awesomescreenshot.com/0db1a3npe3

посмотрите пожалуйста я скрин сделал
Игорь_Vasinsky
Цитата
callback:jsonp1368693027169
action:get_showcase_tour
type:48
items_per_page:30
country:0


это порядковый номер поиска - продолжай его каждый раз увеличивай на 1

потом - ты куки то создаёшь?

Цитата
Set-Cookie:cms_site_user-7a3e0676020c06cfe2ceb0156f883c3d-1=deleted; expires=Thu, 01-Jan-1970 00:00:01 GMT
Set-Cookie:cms_site_user-7a3e0676020c06cfe2ceb0156f883c3d-2=deleted; expires=Thu, 01-Jan-1970 00:00:01 GMT


_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
xr0m3oz
Цитата (Игорь_Vasinsky @ 16.05.2013 - 12:42)
Цитата
callback:jsonp1368693027169
action:get_showcase_tour
type:48
items_per_page:30
country:0


это порядковый номер поиска - продолжай его каждый раз увеличивай на 1

потом - ты куки то создаёшь?

Цитата
Set-Cookie:cms_site_user-7a3e0676020c06cfe2ceb0156f883c3d-1=deleted; expires=Thu, 01-Jan-1970 00:00:01 GMT
Set-Cookie:cms_site_user-7a3e0676020c06cfe2ceb0156f883c3d-2=deleted; expires=Thu, 01-Jan-1970 00:00:01 GMT

Куки не создаю, а вы могли бы сообразить решение и сколько это может стоить?
Я просто уже выдумками уже дня 3 игрался, и в итоге ничего не получилось, ток зря виндовс сервер оплатил на месяц.
Игорь_Vasinsky
ну я щас вообще на работе. да и дома вермени особо нет.

цены и сроки трудно сказать. я же не знаю что и сколько ты хочешь собрать

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
xr0m3oz
Мне бы как то вытянуть каждую страну, в хтмле саму таблицу,и запаковать в 1 файл. все страны хтмл таблицы, а потом я тот файл обработаю Siple html dom
xr0m3oz
как можно узнать правильный пост запрос

нашел http://snippets.pp.ru/article/22

Может каждую страницу получиться вытянуть
xr0m3oz
Ничего не получается, кто может за денежку сделать?
Быстрый ответ:

 Графические смайлики |  Показывать подпись
Здесь расположена полная версия этой страницы.
Invision Power Board © 2001-2024 Invision Power Services, Inc.