Правила     Закладки     Карма    Календарь    Журналы    Помощь    Поиск    PDA    Чат   
        СМС-ки
   
Пейджер выключен!
 
Фильтр авторов:    показать 
  скрыть
  Ответ в темуСоздание новой темыСоздание опроса

> Граббер сайта по его поиску, идеи граббера
ihaveabiggun  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Пользователь
**

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 55
Пользователь №: 30023
На форуме: 5 лет, 10 месяцев, 3 дня
Карма:




Есть такая задача. Написать граббер сайта используя внутренний поиск по сайту.

То есть, на сайте есть строка для поиска и есть фильтры категорий. Оставляем строку пустой, и выбираем по одному фильтру (для максимально возможного количества результатов поиска). Далее парсим результаты поиска и сохраняем их себе.

В теории все более менее ясно, но на практике даже не знаю с какой бы стороны подступиться.

P.S. Ясно, что cURL, но хотелось бы услышать вразумительные подсказки\идеи (код не прошу!)
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
kamanch  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 590
Пользователь №: 32899
На форуме: 5 лет, 1 месяц, 13 дней
Карма: 25




Цитата
Оставляем строку пустой, и

И получаем "Вы не ввели фразу для поиска"
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
ihaveabiggun  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Пользователь
**

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 55
Пользователь №: 30023
На форуме: 5 лет, 10 месяцев, 3 дня
Карма:




Не. Сайт на это нормально реагирует и выдает все результаты из выбранной категории smile.gif

Собственно то, что мне и нужно. Вытащить, чем больше тем лучше.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Игорь_Vasinsky  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



c начала 2017 года в Новосибирске.
******

Профиль
Журнал
Группа: ★ЛжеЭксперт★
Завсегдатай форума
Сообщений: 26456
Пользователь №: 21350
На форуме: 7 лет, 5 месяцев, 2 дня
Карма: 739




Цитата
идеи (код не прошу!)

меня озарило.. напишу за 4к руб.


--------------------
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql (TSql, BI OLAP, MDX), Git, SVN, CodeIgnater, Yii 2, JiRA, Redmine, Bitbucket, Composer
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
ihaveabiggun  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Пользователь
**

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 55
Пользователь №: 30023
На форуме: 5 лет, 10 месяцев, 3 дня
Карма:




Я тут не прошу написать мне готовое решение за $ , а просил дельных советов\идей.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
kamanch  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 590
Пользователь №: 32899
На форуме: 5 лет, 1 месяц, 13 дней
Карма: 25




Ну ты сайт покажи и скажи, какие данные с него надо получить.
А то: хочу машину - скажите, какую купить.
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
ihaveabiggun  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Пользователь
**

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 55
Пользователь №: 30023
На форуме: 5 лет, 10 месяцев, 3 дня
Карма:




[ЗАКРЫТО]

Решено, но код не дам ...
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
kamanch  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 590
Пользователь №: 32899
На форуме: 5 лет, 1 месяц, 13 дней
Карма: 25




Цитата
Решено, но код не дам ...

Жадина - говядина - соленый огурец.
Придется теперь к Игорь_Vasinsky идти и за 4к у него заказывать.
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Эли4ка  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Хамка дичайшая
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 3240
Пользователь №: 27007
На форуме: 6 лет, 4 месяца, 22 дня
Карма: 33

Не пью :
24 года, 7 месяцев, 28 дней


Все это реализуется с помощью регулярных выражений,я так думаю..
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Stasonix  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Упертый как баран
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 954
Пользователь №: 26253
На форуме: 6 лет, 6 месяцев, 8 дней
Карма: 0




и cURL?
PMICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Эли4ка  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Хамка дичайшая
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 3240
Пользователь №: 27007
На форуме: 6 лет, 4 месяца, 22 дня
Карма: 33

Не пью :
24 года, 7 месяцев, 28 дней


Stasonix
зачем..можно и без ничего обойтись,хотя если прокси надо,то без cURL не обойтись..
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
  Быстрый ответ
Информация о Госте
Введите Ваше имя
Кнопки кодов
Для вставки цитаты, выделите нужный текст и
НАЖМИТЕ СЮДА
Введите сообщение
Смайлики
:huh:  :o  ;) 
:P  :D  :lol: 
B)  :rolleyes:  <_< 
:)  :angry:  :( 
:unsure:  :blink:  :ph34r: 
     
Показать всё

Опции сообщения  Включить смайлики?
 Включить подпись?
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:

Опции темы Ответ в темуСоздание новой темыСоздание опроса