Правила     Закладки     Карма    Календарь    Журналы    Помощь    Поиск    PDA    Чат   
        СМС-ки
   
Пейджер выключен!
 
Фильтр авторов:    показать 
  скрыть
  Закрытая темаСоздание новой темыСоздание опроса

> curl proxy
programmer_hard  
 ۩  [x] Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
*

Профиль
Группа: Пользователь
Сообщений: 38
Пользователь №: 5151
На форуме: 9 лет, 3 месяца, 29 дней
Карма:




Здравствуйте.
Вообщем проблема нехорошая - пытаюсь парсить гугл через прокси
curl_setopt ( $ch , CURLOPT_PROXY, $proxy);
у меня около 300 прокси и все они ничего не возвращают (. Неужели все эти прокси нерабочие ?

вот сама функция:

Код
function CurlPage ( $path, $post, $proxy ) {
$ch = curl_init ( $path );
@curl_setopt ( $ch , CURLOPT_USERAGENT , $agent );
@curl_setopt ( $ch , CURLOPT_HTTPHEADER , $header );
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_TIMEOUT, 4);

if($post!='')
{
curl_setopt($ch, CURLOPT_POST,1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
}

if($proxy!='')
{
curl_setopt ( $ch , CURLOPT_PROXY, $proxy);
}

$tmp = @curl_exec ( $ch );
curl_close ( $ch );
return $tmp;
}



а вот обращение к гуглю:

Код
$page=CurlPage('http://www.google.com/search?q='.$key,'',$proxy);




Спустя 7 часов, 54 минуты, 9 секунд (7.06.2008 - 17:25) Axel Orson написал(а):
А ты прокси проверял? Прокси чекером каким-нить.. Если прокси бесплатные, вполне может быть что все не рабочие, но скорее твой тайм аут слишком маленький. На бесплатных проксях он большоооой. В общем... проверь прокси.

Спустя 8 дней, 2 часа, 38 минут, 50 секунд (15.06.2008 - 20:04) programmer_hard написал(а):
Цитата(Axel Orson @ 7.6.2008, 20:25) [snapback]40225[/snapback]
А ты прокси проверял? Прокси чекером каким-нить.. Если прокси бесплатные, вполне может быть что все не рабочие, но скорее твой тайм аут слишком маленький. На бесплатных проксях он большоооой. В общем... проверь прокси.

проверял
Код
N Proxy Latency Checked at (GMT +03) Src
1 69.62.141.46:3128 10 ms 15/06/2008 19:06:46 Link #101
2 64.66.192.62:80 19 ms 15/06/2008 19:12:12 Link #134
3 64.66.192.62:32080 20 ms 15/06/2008 19:09:35 Link #101
4 208.72.1.77:80 51 ms 15/06/2008 19:12:21 Link #134
5 72.158.32.163:8080 58 ms 15/06/2008 19:05:58 Link #62
6 69.30.227.98:3128 61 ms 15/06/2008 19:06:42 Link #101
7 12.166.113.170:80 68 ms 15/06/2008 19:09:38 Link #101

делал таймаут 30 сек .... все равно пусто ((((
можт чето не правильно делаю (все прокси - анонимные )
ЗЫ: проверял прокси для парсинга других сайтах - тоже ничего(

Спустя 1 год, 1 месяц, 19 дней, 21 час, 53 минуты, 10 секунд (5.08.2009 - 17:57) Гость_Max написал(а):
Попробуй явно указать user-agent
PM
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:

Опции темы Закрытая темаСоздание новой темыСоздание опроса