Странно работает:
$text=file_get_contents($url);
Закачивает не всю страницу. Раздел внутри с перечнем не попадает (проверял, сохранял в файл строку $text). Почему он не всё закачивает. Разве это нормально ???
Спустя 6 минут, 46 секунд (17.06.2010 - 18:49) Nikitian написал(а):
Раздел может подкачиваться js-ом уже после загрузки страницы.
Спустя 13 минут, 38 секунд (17.06.2010 - 19:03) asrt09 написал(а):
| Цитата (Nikitian @ 17.06.2010 - 15:49) |
| Раздел может подкачиваться js-ом уже после загрузки страницы. |
!!! Я зашел на сайт, нажал кнопку обновить и, действительно, заметил задержку почти в секунду и надпись: "ЗАГРУЗКА"!!!
А как мне решить эту проблему, дайте совет, плиз.
Спустя 1 час, 53 минуты, 27 секунд (17.06.2010 - 20:56) Nikitian написал(а):
Покажите сайт.
Вам нужен именно контент, который подгружается или всё в куче?
Вам нужен именно контент, который подгружается или всё в куче?
Спустя 27 минут, 43 секунды (17.06.2010 - 21:24) asrt09 написал(а):
| Цитата (Nikitian @ 17.06.2010 - 17:56) |
| Покажите сайт. Вам нужен именно контент, который подгружается или всё в куче? |
По сути только то что подгружается.
Как я понял из твоего совета, js-ом подгружаются данные - таблица 5х5 (с логинами и фото) мне она и нужна.
С другими сайтами всё было проще: закачал file_get_contents-ом, потом preg_match_all разбил и в базу запросом. А ТУТ - Страшный зверь.
Сайт tagged.com
а точнее сылка
http://www.tagged.com/browse.html#params=_..._0_-1_-1_-1_1_1
Спустя 1 час, 43 минуты, 37 секунд (17.06.2010 - 23:08) Nikitian написал(а):
Там всё непросто. Необходимо отправлять POST-запрос на адрес
Вот какой запрос нужно отправлять
Параметры: application/x-www-form-urlencoded
Очень вероятно, что в запросе имеются вариативные данные.
В ответ приходят json-данные, которые и надо разбирать.
http://www.tagged.com/api/?application_id=user&format=json&session_token=c37k34ujog4q23dv1tch1a0rg1
Вот какой запрос нужно отправлять
Свернутый текст
Параметры: application/x-www-form-urlencoded
method=tagged.search.renderQuery&callback=tagged.search.results.formResponseSuccess&api_signature=&gender=B&min_age=18&max_age=-1&country=-1&distance=0&location=&location_nd=&language=-1&show=25&rel_status=0&interested_in=0&sexual_orientation=0ðnicity=0&religion=0&offset=0&num_results=25&is_browsing=1&search_prefs=_B_18_-1_-1_0___undefined_-1_25_0_0_0_0_0_keyword__0_-1_-1_-1 method=tagged.util.echoIt&data=restarted%20from%20fetch&callback=TAGGED.api.handleDefer&api_signature=&track=2mR33DBg8E
Очень вероятно, что в запросе имеются вариативные данные.
В ответ приходят json-данные, которые и надо разбирать.
Спустя 28 минут, 19 секунд (17.06.2010 - 23:36) asrt09 написал(а):
| Цитата (Nikitian @ 17.06.2010 - 20:08) |
Там всё непросто. Необходимо отправлять POST-запрос на адрес http://www.tagged.com/api/?application_id=user&format=json&session_token=c37k34ujog4q23dv1tch1a0rg1 Вот какой запрос нужно отправлять Свернутый текст Параметры: application/x-www-form-urlencoded
Очень вероятно, что в запросе имеются вариативные данные. В ответ приходят json-данные, которые и надо разбирать. |
Пока ничего не понял, но чувствую что должно сработать. Буду пробовать. Спасибо.
Спустя 13 часов, 58 минут, 26 секунд (18.06.2010 - 13:34) asrt09 написал(а):
| Цитата (Nikitian @ 17.06.2010 - 20:08) |
Там всё непросто. Необходимо отправлять POST-запрос на адрес http://www.tagged.com/api/?application_id=user&format=json&session_token=c37k34ujog4q23dv1tch1a0rg1 Вот какой запрос нужно отправлять Свернутый текст Параметры: application/x-www-form-urlencoded
Очень вероятно, что в запросе имеются вариативные данные. В ответ приходят json-данные, которые и надо разбирать. |
Не хочу показаться двоечником, но можно на примере.
Я думал, что сходу напишу скрипт и всё. Написал, точнее скачал:
<?
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, 'http://www.tagged.com/browse.html');
curl_setopt($curl, CURLOPT_HEADER, 1);
curl_setopt($curl, CURLOPT_POST, 1);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
//переменные, которые будут переданные по методу post
//curl_setopt($curl, CURLOPT_POSTFIELDS, 'name='.urlencode('John').'&surname='.urlencode('Smith'));
curl_setopt($curl, CURLOPT_USERAGENT, 'Opera 10.00');
$res = curl_exec($curl);
if(!$res) { $error = curl_error($curl).'('.curl_errno($curl).')';
echo $error; }
else echo $res;
curl_close($curl);
?>
но я так и не понял куда что вставлять
если в строке урл-а написать для теста: http://www.tagged.com, то он без проблем заходит на первую страницу, а дальше что то не получается