Форум PHP программистов > Парсер для стены группы в ВК

[ Поиск ] - [ Пользователи ] - [ Календарь ]

Полная Версия: Парсер для стены группы в ВК

VolodinAS

11.11.2012 - 02:20

Пытаюсь распарсить стену одной из групп. Хотя, какую-либо группу бы не парсил - нуль реакций. Вот код:

<?php

$page = "http://vk.com/gendelusions";


include_once("simple_html_dom.php");

$html = file_get_html($page);

//echo $html;
echo "<hr>";

foreach($html->find(".wall_post_text") as $txt){

$rrr[] = $txt->plaintext;

}

print_r($rrr);

?>

На страницу ничего не выводит. Хотя содержимое страницы присутствует. Помогите разобраться, что не так? Что нужно дописать, чтобы парсер работал?

Zzepish

11.11.2012 - 02:48

контакт так легко не пропарсишь- у него защита от ботов (насколько я слышал).
Да и парсер у тебя непонятный!

Эли4ка

11.11.2012 - 06:27

Цитата

контакт так легко не пропарсишь- у него защита от ботов

при чем тут защита от ботов?просто если браузер неопознан,то редирект на мобильную версию..
VolodinAS
работайте с Api VK..пять минут регистрации,и куча проблем исчезнет..я это уже как-то говорила в другой теме..

123456

11.11.2012 - 09:43

Там же всё просто! Где-то на форуме есть моя тема, где собираются данные с одной записи. Ну там цикл добавить и всё готово

T1grOK

11.11.2012 - 12:01

1) Использовать CURL
2) Использовать прокси серверы, так как у контакта есть ограничение, на количество обращений в секунду.

P.S. Еще бы неплохо посмотреть "законным путем" vk oauth, не помню предоставляется ли там такая возможность(смотреть стены групп). Если да, то и парсить не надо контакт отдаст готовый xml файл.

_____________
Mysql, Postgresql, Redis, Memcached, Unit Testing, CI, Kohana, Yii, Phalcon, Zend Framework, Joomla, Open Cart, Ymaps, VK Api

Эли4ка

11.11.2012 - 12:18

Цитата

количество обращений в секунду

не более 3 в секунду..

Zzepish

11.11.2012 - 14:59

Эли4ка
Да?
Просто кто-то писал, что там стоит защита от таких приколов)

Игорь_Vasinsky

11.11.2012 - 17:17

стены не у всех публичные.

и ставить задержку перед запросами.

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker

Zzepish

11.11.2012 - 17:22

Игорь_Vasinsky
Игорь, здоров XD
Каким боком ты насолил создателю МОНСТРЫ?XD

Игорь_Vasinsky

11.11.2012 - 17:34

где я насолил?

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker

Zzepish

11.11.2012 - 17:44

Игорь_Vasinsky
http://phpforum.ru/index.php?showtopic=685...0&#entry2152057

T1grOK

11.11.2012 - 18:00

Цитата (Игорь_Vasinsky @ 11.11.2012 - 13:17)

стены не у всех публичные.

и ставить задержку перед запросами.

Не знаю, не знаю. Когда нужно собрать 1000 единиц данных - это одно, другое если скажем 200000, когда с этими задержками процесс затягивается на долгие долгие часы...
Ускоритель Прокси - проверено!

_____________
Mysql, Postgresql, Redis, Memcached, Unit Testing, CI, Kohana, Yii, Phalcon, Zend Framework, Joomla, Open Cart, Ymaps, VK Api

Игорь_Vasinsky

11.11.2012 - 18:02

Прокси - деньги - доказано

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker

Эли4ка

13.11.2012 - 10:29

API VK рулит...и в принципе если прокси ставит,то задержку уже не надо...

Быстрый ответ:

Здесь расположена полная версия этой страницы.