[ Поиск ] - [ Пользователи ] - [ Календарь ]
Полная Версия: Блин, да как это спарсить то?
netruxa
Ребята, всем привет. Давненько здесь не был, но сегодня столкнулся с задачей, с которой чувствую один не справлюсь

Вот есть каталог _https://ru.mouser.com/Optoelectronics/_/N-5g5v/

Когда заходишь с ПК, видишь Результаты: 110,445 https://yadi.sk/i/to3Zrasn-iek5g

Но когда пытаешься спарсить, показывает намного меньше 81,416 https://yadi.sk/i/QN9ssj1lXdHCpg

Перепробовал все библиотеки для парсинга, все заголовки копировал 1в1 из браузера, менял сервера, чтобы исключить геопривязку. Все равно все товары не выдает

Что это может быть?)

_____________
ввв.парсер.рф - онлайн система проверки позиций Вашего сайта в поисковиках. Для форумчан 100 рублей на счет.
Эли4ка
Ну а код то где? rolleyes.gif
netruxa
Цитата (Эли4ка @ 14.03.2019 - 14:49)
Ну а код то где? :rolleyes:

Ну вот, например,
		$url_category='https://ru.mouser.com/Power/Power-Supplies/Modular-Power-Supplies/_/N-fb8wp/';

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url_category);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_COOKIE, 0);
curl_setopt($ch, CURLOPT_TIMEOUT, 30);

curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

$response = curl_exec($ch);
curl_close($ch);

echo 'r='.$response;exit;


Пробовал и с куками, и без куков. и useragent менял - все равно выдает меньшее количество товаров, чем через браузер.

_____________
ввв.парсер.рф - онлайн система проверки позиций Вашего сайта в поисковиках. Для форумчан 100 рублей на счет.
brevis
Вроде все ок:

1. user posted image

2. user posted image

3. user posted image

_____________
Чатик в телеге
Быстрый ответ:

 Графические смайлики |  Показывать подпись
Здесь расположена полная версия этой страницы.
Invision Power Board © 2001-2025 Invision Power Services, Inc.