Совершаю парсинг новостей с сайта и иногда вылазит вот такая ошибка :
failed to open stream: HTTP request failed! HTTP/1.1 503 Service Temporarily Unavailable
подскажите пожалуйста что это значит? Зарание спасибо!
Спустя 5 минут, 31 секунда (23.06.2011 - 15:55) Nikitian написал(а):
Это значит, что сайт, откуда тянете новости, лежит.
Спустя 3 минуты, 9 секунд (23.06.2011 - 15:58) major28 написал(а):
сайт работает стабильно с точки зрения пользователя который заходит на сайт через браузер. Я обращаюсь к сайту через file_get_contents в цикле с количеством итераций около 50. То что он мне выдает такую ошибку это значит что я слишком часто пытаюсь к нему обратиться я правильно понимаю?
Спустя 49 минут, 2 секунды (23.06.2011 - 16:47) Nikitian написал(а):
да, проблема скорее всего в частоте
Спустя 46 секунд (23.06.2011 - 16:48) Winston написал(а):
cURL'ом попробуй потянуть.
Возможно они как-то блокируют доступ к сайту извне.
Если ты парсишь новости, то там наверняка есть RSS ?
Возможно они как-то блокируют доступ к сайту извне.
Если ты парсишь новости, то там наверняка есть RSS ?
Спустя 17 минут, 12 секунд (23.06.2011 - 17:05) major28 написал(а):
| Цитата |
| Если ты парсишь новости, то там наверняка есть RSS ? |
а что это меняет? ты имееш виду типо можно с помощью simplexml спарсить?
Спустя 1 час, 1 минута, 7 секунд (23.06.2011 - 18:06) walerus написал(а):
В Rss лентах, в большинстве случаем, новость не полностью отображена, скорее всего ТС это не устроит )). Можно как вариант, сделать функцию, которая будет получать контент, и если функция вернула ошибку ( к примеру как у ТС - 503), то сделать sleep, на несколько секунд, и попробовать еще раз получить контент, ну и так, до определенного кол-ва раз, например 3 - 5, если и опять ошибка, то пропустить данный урл...
Спустя 4 дня, 21 час, 40 минут, 5 секунд (28.06.2011 - 15:46) amqpuTamuH4uk написал(а):
http://www.jino.ru/support/faq/problems/er....html#error-503
твой скрипт позылает слишком много запросов в короткий прмежуток времени, сервер не успевает это все жевать и выкидывает 503 error (ведь на сайт и другие люди заходят, а поди знай, мож еще ктото его парсит)
твой скрипт позылает слишком много запросов в короткий прмежуток времени, сервер не успевает это все жевать и выкидывает 503 error (ведь на сайт и другие люди заходят, а поди знай, мож еще ктото его парсит)
Спустя 12 минут, 21 секунда (28.06.2011 - 15:58) Winston написал(а):
major28
Что ты парсишь? Страницу или rss ?
Что ты парсишь? Страницу или rss ?
| Цитата (major28 @ 23.06.2011 - 17:05) |
| можно с помощью simplexml спарсить |
Можно и регулярками.
Спустя 2 часа, 1 минута, 53 секунды (28.06.2011 - 18:00) major28 написал(а):
парсю страницу)
Спустя 14 минут, 10 секунд (28.06.2011 - 18:14) Winston написал(а):
Ну так rss проще парсить и там не содержится столько мусора как на странице.
И проще будет разобрать ее
И проще будет разобрать ее
Спустя 1 час, 22 минуты, 37 секунд (28.06.2011 - 19:37) major28 написал(а):
ну это понятно)))
Спустя 1 минута, 48 секунд (28.06.2011 - 19:39) Winston написал(а):
Ошибка что в первом посте еще актуальна ?
Спустя 1 час, 20 минут, 46 секунд (28.06.2011 - 21:00) walerus написал(а):
| Цитата |
| http://www.jino.ru/support/faq/problems/er....html#error-503 твой скрипт позылает слишком много запросов в короткий прмежуток времени, сервер не успевает это все жевать и выкидывает 503 error (ведь на сайт и другие люди заходят, а поди знай, мож еще ктото его парсит) |
Если такое происходит из за двух парсящих человек, то это не сайт, а какое то УГ, которое убивается за 10ть секунд... Возможно, что более правдоподобно, стоит ограничение по времени на 1ну сессию, IP, или еще как то, и человеку просто отдается 503...
major28 и PHPprogramer, такое ощущение что мои посты либо не видны, либо их проигнорили, в RSS содержится НЕ всегда вся статья/новость, НО, если RSS устраивает ТС, то конечно проще RSS разобрать...
Спустя 39 минут, 26 секунд (28.06.2011 - 21:39) major28 написал(а):
walerus все я видел)) я знаю что в rss не все) мне то не rss нужно парсить а страницы))
Спустя 6 минут, 19 секунд (28.06.2011 - 21:45) walerus написал(а):
Жесть в две темы разговаривать 
Спустя 5 минут, 36 секунд (28.06.2011 - 21:51) major28 написал(а):
)))
Спустя 34 минуты, 43 секунды (28.06.2011 - 22:26) Winston написал(а):
Показывай код, и страницу.