Доброе время суток всем.
Такая проблема, пишу парсер Яндекс маркета, для сравнения цен конкурентов, сам парсер в принципе написан, но проблема в том что очень много страниц обрабатывать, а время выполнения скрипта не резиновое. Когда дело с 50 страницами, еще нормально, скрипт выполняется 52 секунды, что в принципе терпимо, а когда дело доходит до 1000 страниц естественно обрывается. Как быть, чтоб обработать эти 1000 страниц.
Достаю их через сокеты, может есть вариант быстрее, или работать в несколько потоков? Как это делать?
Полная Версия: Парсер маркета
Редирект и гет параметром после каждых 10 -20 страниц
_____________
Ex3m.com.ua — Активный образ жизни
_____________
Ex3m.com.ua — Активный образ жизни
Пробывал, но после 22 редиректа хром замирает и кричит что их слишком много.
<?php
header('Refresh: 3; URL=/pars.php?p='.$_GET['p']+1);
?>
_____________
Ex3m.com.ua — Активный образ жизни
header('Refresh: 3; URL=/pars.php?p='.$_GET['p']+1);
?>
_____________
Ex3m.com.ua — Активный образ жизни
Вроде ниче так помогло, спасибо 
CaguCT
а смысл такие задачи запускать браузером? Запускай в консоли, или хостинг не позволяет?
а смысл такие задачи запускать браузером? Запускай в консоли, или хостинг не позволяет?
| Цитата (killer8080 @ 17.10.2012 - 18:06) |
| а смысл такие задачи запускать браузером? |
потому что может хостинг не позволять... Сам же написал)))
_____________
Ex3m.com.ua — Активный образ жизни
| Цитата (dron4ik @ 18.10.2012 - 12:50) |
| потому что может хостинг не позволять... Сам же написал))) |
Это был вопрос к ТС, откуда мне знать что у него за хостинг. Может он просто не знает о других способах запуска скриптов.
Здесь расположена полная версия этой страницы.