Всем привет.
Есть задача сделать парсер сайтов. Он должен получать все ссылки с заданного url и проверить их статус, а после отобразить ссылку и его код ответа.
Я сделал этот парсер на основе phpQuery.
Однако на некоторых сайтах (не всех) медленно происходит обработка. С большинством сайтов обработка происходит достаточно быстро (до 30 сек). Однако на некоторых сайтах больше 2-х минут. И не сказать что там так много ссылок, что из-за этого все так медленно.
Кто то знает почему такое происходит, и есть ли возможность при парсинге реализовать какую то проверку, если ответ по ссылке
превышает какое то время, прервать запрос и перейти к следующей ссылке?
Заранее спасибо за ответы.