[ Поиск ] - [ Пользователи ] - [ Календарь ]
Полная Версия: Написать скрипт
zgreen
Добрый день, нужно написать скрипт для парсинга title из выдачи яндекса по поисковому слову.

Пример работы парсера:

Программа берет запрос (можно загрузить несколько запросов через запятую или пробел)
Вставляет его в яндекс
Получает выдачу топ 10
Берет тег title из всех сайтов топ 10
Сравнивает теги на совпадение, применение запятых, тире, слешей(всех разделителей и порядок слов)
Выбирается самый средний из всех, который попадает под эти критерии
Генерирует тег с добавление оригинальности, которая задается заранее (как правило это название сайта в конце тега)
После этого выгружается в файл или таблицу вида : Ключ | Title

Пример выдачи по запросу: купить двуспальную кровать


1. Двуспальные кровати - купить двуспальную кровать от производителя в Москве, цена в интернет-магазине Мебельвиа


2. Двуспальные кровати, купить кровать двуспальную — Орматек

3. Двуспальные кровати - купить двуспальную кровать в Москве, недорого от производителя в Интернет магазине

4. Двуспальные кровати от 2900 руб. Купить двуспальную кровать — МДМ

5. Кровати в Москве, цены в каталоге СТОЛПЛИТ

6. Двуспальные кровати, купить двуспальную кровать недорого в Москве
7. Кровати двуспальные от 2790 руб в Москве от производителя

8. Кровати двуспальные| Купить двуспальную кровать в интернет-магазине Сон Сити по низкой цене!

9. Недорогие двуспальные кровати, купить двуспальную кровать недорого в Москве в интернет-магазине ЛайфМебель


Из всех Этих тайтлов самое подходящее и среднее это:

3. Двуспальные кровати - купить двуспальную кровать в Москве, недорого от производителя в Интернет магазине
Игорь_Vasinsky
35к деревнных. от Вас подробное описание "Самое подходящее и среднее это:"

_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
zgreen
Цитата (Игорь_Vasinsky @ 28.08.2017 - 17:12)
35к деревнных. от Вас подробное описание "Самое подходящее и среднее это:"

что то крутовато для простого парсера
killer8080
Цитата (zgreen @ 28.08.2017 - 19:58)
что то крутовато для простого парсера

парсинг наименьшая проблема, попробуй сначала преодолеть защиту от ботов wink.gif
walerus
Это не просто парсер... Это парсер выдачи !, тем более что она не "одинакова" для всех, учитывается не мало параметров для получения выдачи, но это уже тонкости которые будут обговариваться в ТЗ.

И как правильно заметил killer8080, с антиботами будут некоторые трудности, потом еще определить нужно "среднее" значение... так что
Цитата
35к деревнных
это еще по Божески.
Ron
Цитата (walerus @ 29.08.2017 - 01:59)
это еще по Божески.

Ну кстати да. Если и дешевле кто возьмется, то несильно. Либо с околонулевым результатом, таких "мастеров" пруд пруди.

Быстрый ответ:

 Графические смайлики |  Показывать подпись
Здесь расположена полная версия этой страницы.
Invision Power Board © 2001-2025 Invision Power Services, Inc.