ini_set('max_execution_time', 600);
//замеряем время начала работы скрипта
$st_time	=	microtime(true);

//устанавливаем переменные...
$url		=	$_POST['url'];
$types		=	$_POST['types'];
$maxPages	=	(int)$_POST['max'];
$host		=	explode('/', substr($url, 7));
$host		=	substr($url, 0, 7).$host[0].'/';
//про последние 2 строчки подробней: таким вот образом получаем Адрес сайта (на случай, если ввели
//адрес странички сайта) - разбиваем на массив по слешу и берём первую часть...

//для удобства работы с КУРЛом, напишем простенькую функцию
//параметры: $host - адрес, $referer - откуда пришли (можно подделать, в статистике парсимого сайта будет отображаться, что мы пришли, например, с Яндекса :))
//$file	- идентификатор файла (если мы хотим скачать файл, то передаём его идентификатор)
function curl_get($host, $referer = null, $file = null){
	//инициализация curl и задание основных параметров
	$ch = curl_init($host);
	curl_setopt($ch, CURLOPT_USERAGENT, 'KOZ1024 Site Parser');
	curl_setopt($ch, CURLOPT_HEADER, 0);
	curl_setopt($ch, CURLOPT_REFERER, $referer);
	//если дали ссылку на файл
	if (!is_null($file)){
		//то устанавливаем опцию записи в файл,
		curl_setopt($ch, CURLOPT_FILE, $file);
		//и выполняем
		curl_exec($ch);
		//не забываем закрыть соединение
		curl_close($ch);
	}else{
		//если же ссылку на файл не дали, то возвращаем страничку
		ob_start();
		curl_exec($ch);
		print(curl_error($ch));
		curl_close($ch);
		return ob_get_clean();
	}
}
//получаем html-код исходной страницы
$page	=	curl_get($url);
//регулярным выражением ищем вхождение ссылок
preg_match_all('#href="([A-z0-9.-]+)"#', $page, $matches);
//получаем массив всех-всех ссылок с этой старницы
$links		=	$matches[1];
$cnt		=	0;
//цикл: пока не прошли весь массив ссылок, либо пока не скачали макс. количество файлов (не действет в случае 0)
for($i=0; ($i<sizeof($links)&&($cnt<$maxPages||$maxPages==0)); $i++){
	//если в ссылке есть нужное нам расширение
	if (strpos($links[$i], $types)!==false){
		//то открываем файл, "курлим" в него содержимое файла на сервере, закрываем, увеличиваем счётчик
		$fp		=	fopen($links[$i], 'w');
		curl_get($host.$links[$i], $url, $fp);
		fclose($fp);
		$cnt++;
	}else{
		//иначе это ещё одна ссылка, перейдём по ней, найдём все ссылки и занесём их в массив
		$page	=	curl_get($links[$i], $url);
		preg_match_all('#href="([A-z0-9.-]+)"#', $page, $matches);
		$links	=	array_merge($links, $matches[1]);		
	}
}
//замеряем время окончания работы и выводим...
$en_time	=	microtime(true);
print 'Скачано файлов: '.$cnt.'<br />Время выполнения: '.($en_time-$st_time);

//то открываем файл, "курлим" в него содержимое файла на сервере, закрываем, увеличиваем счётчик
		$fp		=	fopen($links[$i], 'w');
		curl_get($host.$links[$i], $url, $fp);
		fclose($fp);
		$cnt++; 

print_r( $links [$i] );

Спустя 51 минута, 21 секунда (22.04.2012 - 19:32) Bodich написал(а):

какой бы адрес не вводил
preg_match_all('#href="([A-z0-9.-]+)"#', $page, $matches);
print_r( $matches );
дает
Array ( [0] => Array ( ) [1] => Array ( ) )

Спустя 2 минуты, 33 секунды (22.04.2012 - 19:41) Bodich написал(а):

http://koz1024.net/curl-site-parser/
а пишет - проверен в боевых условиях

ну хорошо может подскажешь как научится парсить на курле , может ссылку на ресурс хороший ..

Спустя 1 минута, 29 секунд (22.04.2012 - 19:45) Игорь_Vasinsky написал(а):

Цитата

ну хорошо может подскажешь как научится парсить на курле , может ссылку на ресурс хороший ..

у меня в подписи надпись парсеры - мой хлеб. так что извеняй.

поиск на форуме "CURL" - есть топик от winston

preg_match_all('#href="(.*)iusU"#', $page, $matches);

preg_match_all('#<a\s+href\s*=\s*["\']?([^\s>]+?)["\']?[.]*?>(.*?)</a>#i',$page, $matches);

 $ch = curl_init('http://povarec.net');
//Установка опций
curl_setopt($ch, CURLOPT_USERAGENT, 'KOZ1024 Site Parser');
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, 'http://example.com');
//выполнение (результат отобразится на экран)
curl_exec($ch);
//Закрытие соединения
curl_close($ch);

curl_setopt($ch, CURLOPT_REFERER, 'http://google.com/');
curl_setopt($ch, CURLOPT_USERAGENT, 'Googlebot/2.1 (+http://www.googlebot.com/bot.html)');

Спустя 1 час, 55 минут, 53 секунды (24.04.2012 - 13:43) Bodich написал(а):

хм видимо я задал запрещенный вопрос , ибо нехорошо грабить чужой контент

Спустя 10 часов, 8 минут, 27 секунд (24.04.2012 - 23:51) walerus написал(а):

Bodich - На счет Гугла, лучше у него спросить ), как он шарит кто первый, если бы кто то знал(мб кто то и знает...) как он определяет, то не было бы, "рерайтеров" и всей остальной лабуды, а все тупо становились бы копирайтерами, указывая гуглу, стуча в грудь пяткой, что автор статьи - это ты ! ), а не тот новостной сайт. Причем, я думаю что новостной сайт, индексируется за минуты, а то и быстрее, чем твой сайт, с паршеным контентом, если конечно ты не в топ 3 гугла .

Как вариант, тебе ставить ссылку под статьей на источник, что бы гугл тебя сразу не выплюнул на N-ю страницу.

Цитата

и еще зачем парсят новостную ленту , та ведь не вся новость, а только превьюшка ..??

Ты все правильно подметил - только превьюшка(но не всегда, есть и полностью статьи распологают), но кто мешает перейти по адресу статьи? и ее распарсить.