Брал погоду с сайта wap.gismeteo.ru. Скрипт был на php и его задача была по максимуму облегчать страницу, убирая всё ненужное. Загружал через file_get_contents. Но в один прекрасный день, стало выдавать ошибку 403. Думал что заблокировали по IP. Попробовал загрузить с помощью curl через proxy. Но результат всё тот же. Кто знает как они заблокировали ? Как можно это обойти ? Погоду смотрел максимум 2-3 раза в день. Может нужно было эмулировать браузер с помощью fsockopen. Или это не помогло бы ? В общем если кто знает решение проблемы, отпишитесь пожалуйста.
Заранее благодарю.
Спустя 6 минут, 4 секунды (9.07.2009 - 13:44) waldicom написал(а):
Самый простой способ: зайти браузером и в это же время сниффером или подобным посмотреть, какие заголовки он шлет. И перенять все заголовки себе.
Спустя 59 минут, 8 секунд (9.07.2009 - 14:44) alien2006 написал(а):
В смысле какие заголовки браузер шлёт или сервер ? Если браузер, то не понимаю чем мне это поможет. Я уже полностью эмулировал браузер, отправляя все заголовки, которые отправляет он. а
сервер:
HTTP/1.x 200 OK
Server: nginx/0.7.59
Date: Thu, 09 Jul 2009 11:25:30 GMT
Content-Type: text/html; charset=utf-8
Connection: keep-alive
Keep-Alive: timeout=10
X-Powered-By: PHP/5.2.9-pl2-gentoo
Expires: Mon, 26 Jul 1997 05:00:00 GMT
Cache-Control: no-cache, must-revalidate
Pragma: no-cache
Last-Modified: Thu, 09 Jul 2009 15:25:30 +0400
Content-Encoding: gzip
Content-Length: 2010
Что именно то нужно искать ?
сервер:
HTTP/1.x 200 OK
Server: nginx/0.7.59
Date: Thu, 09 Jul 2009 11:25:30 GMT
Content-Type: text/html; charset=utf-8
Connection: keep-alive
Keep-Alive: timeout=10
X-Powered-By: PHP/5.2.9-pl2-gentoo
Expires: Mon, 26 Jul 1997 05:00:00 GMT
Cache-Control: no-cache, must-revalidate
Pragma: no-cache
Last-Modified: Thu, 09 Jul 2009 15:25:30 +0400
Content-Encoding: gzip
Content-Length: 2010
Что именно то нужно искать ?
Спустя 2 минуты, 21 секунда (9.07.2009 - 14:46) waldicom написал(а):
Да, нужно полностью эмулировать браузер с помощью сокетов (наверняка есть и другие варианты), так как браузер есть не что иное как простой сейан telnet'а на определенный порт.
Т.е. важны заголовки, которые посылает клиент.
Т.е. важны заголовки, которые посылает клиент.
Спустя 6 минут, 10 секунд (9.07.2009 - 14:52) alien2006 написал(а):
Так Вы думаете что они заблокировали не по IP, а именно на определение реального бразузера ?
Тогда я не понимаю что можно сделать. Отправляю через сокет все заголовки которые выдал сниффер, результат - 403. Может сниффер не всё кажет ? Сниффер встраиваемый в браузер.
P.S. Просто дело в том, что с другого хостинга всё работает. А загружать с текущего с подменой IP через curl я пробовал - 403.
Тогда я не понимаю что можно сделать. Отправляю через сокет все заголовки которые выдал сниффер, результат - 403. Может сниффер не всё кажет ? Сниффер встраиваемый в браузер.
P.S. Просто дело в том, что с другого хостинга всё работает. А загружать с текущего с подменой IP через curl я пробовал - 403.
Спустя 11 минут, 10 секунд (9.07.2009 - 15:03) waldicom написал(а):
Так это же легко проверить... Если с помощью обычного браузера (Firefox, IE, Opera...) можно получить данные, а с помощью скрипта в это же время и с этого же айпи нет - то все очевидно.
Спустя 11 минут, 16 секунд (9.07.2009 - 15:15) alien2006 написал(а):
Администратор хостинга написал что с сервера с помощью браузера он не может открыть страницу.
Спустя 1 день, 4 часа, 7 минут (10.07.2009 - 19:22) skycast написал(а):
может в хостинге трабла? с какого работает а с какого нет?
Спустя 1 год, 11 дней, 23 часа, 23 минуты, 35 секунд (22.07.2010 - 18:45) Guest написал(а):
Похожая проблема, зайти немогу
а вот когда меня айпи через hideip ili tor то через браузер заходит, а curl multi + proxy опять возвращает 403 ошибку
а вот когда меня айпи через hideip ili tor то через браузер заходит, а curl multi + proxy опять возвращает 403 ошибку