[ Поиск ] - [ Пользователи ] - [ Календарь ]
Полная Версия: Конкретные вопросы по парсингу
userphp
Зарегался на сайте. Залогинился. На моей страничке инфа обновляется постоянно.
Требуется часть инфы парсить хотя бы раз в сутки.Никакого криминала. Это моя инфа, просто нужно автоматом собрать несколько строк в текстовый файл, чтобы не заходить вручную. Проблема, как перед парсингом прописать в коде мои родные login и пароль, одним словом, зайти на свою страницу из программы, а уж потом get_contents и пошло творчество.



Спустя 1 минута, 48 секунд (18.11.2010 - 13:34) Семён написал(а):
Легко, почитай что такое CURL + использование COOKIES

Спустя 5 минут, 23 секунды (18.11.2010 - 13:39) userphp написал(а):
Спасибо! А нет ли хорошей ссылки на конкретный ман?

Спустя 2 минуты, 9 секунд (18.11.2010 - 13:41) Семён написал(а):
Первая ссыль с поисковика
http://forum.searchengines.ru/showthread.php?t=286480

Спустя 1 минута, 36 секунд (18.11.2010 - 13:43) userphp написал(а):
Вот еще вопрос, который меня мучает.
Если в этой задаче нужная инфа-есть ссылки, которые формируются на страничке динамически. Т.е. спарсил я страничку, а ссылочек-то и нет. С чего начать мне разборку, чтобы в итоге получить ссылки, которые замечательно видны, когда глядишь на страничке?

Спустя 6 минут, 52 секунды (18.11.2010 - 13:50) Семён написал(а):
Как понять динамически? JS чтоли их отображает ?

Спустя 17 часов, 44 минуты, 3 секунды (19.11.2010 - 07:34) Guest написал(а):
Ну вот я хочу собрать рекламные ссылки прямо с морды, а в ее исходнике этих ссылок нет, хоть вручную смотришь исходный код страницы, хоть после парсинга.
Да, похоже, что js их делает. Я так понимаю, что эти ссылки контекстно формируются на морде, и каждый раз при обновлении страницы они могут быть другими. Вопрос, как подобраться к вычислению конечного результата, самих этих ссылок?

Спустя 1 минута, 43 секунды (19.11.2010 - 07:35) userphp написал(а):
Ну вот я хочу собрать рекламные ссылки прямо с морды, а в ее исходнике этих ссылок нет, хоть вручную смотришь исходный код страницы, хоть после парсинга.
Да, похоже, что js их делает. Я так понимаю, что эти ссылки контекстно формируются на морде, и каждый раз при обновлении страницы они могут быть другими. Вопрос, как подобраться к вычислению конечного результата, самих этих ссылок?

Спустя 37 минут, 58 секунд (19.11.2010 - 08:13) userphp написал(а):
Я по Вашему совету воспользовался курлой. Формально все работает. Но в некоторых случаях сайт отбивает такое обращение и в куке пишет типа, ваш логин а пароль сформирован курлой на свой риск, ну и не дает залогиниться. Видимо есть механизм защиты от такой авторизации. Что это за механизм и можно ли его обойти? Может тоже есть ссылка, прочитать про это дело.
Спасибо!
Быстрый ответ:

 Графические смайлики |  Показывать подпись
Здесь расположена полная версия этой страницы.
Invision Power Board © 2001-2025 Invision Power Services, Inc.