[ Поиск ] - [ Пользователи ] - [ Календарь ]
Полная Версия: с помощью curl скачиваются часть статей
mstdmstd

Подскажите, парсю новости с сайта http://www.rollingstone.com/news
скачав содержимое с помощью curl и далее регуляркой выдираю статьи с содержимым.
Работает, но статьи скачиваются не все. В браузере при прокрутке скроллингом вниз часть статей догружается динамически.

А можно ли скачать все статьи курлом или для этого есть другие средства ? Какие ?

Спасибо!

AllesKlar
Цитата (mstdmstd @ 9.08.2017 - 08:57)
В браузере при прокрутке скроллингом вниз часть статей догружается динамически.

Значит подгружается аяксом.
Смотреть в консоль на запросы, и тем же curl-ом отправлять тоже самое к серверу.
Тем более, что там все прекрасно "докачивается", без всяческих проверок а-ля свой/чужой.

http://www.rollingstone.com/content-cards?json=true&limit=20&offset=16&page=3&type=feed

Можно вообще без curl и парсинга, удаленный сервер прекрасно отдает все данные и так.

_____________
[продано копирайтерам]
Быстрый ответ:

 Графические смайлики |  Показывать подпись
Здесь расположена полная версия этой страницы.
Invision Power Board © 2001-2024 Invision Power Services, Inc.