Всем привет не знал куда еще запостить. В общем возникла задача написать парсер, который будет работать быстро, асинхронно, через прокси с большими объемами данных и ежедневно. Начал на PHP, но потом понял, что идея не очень хорошая. Нужных инструментов не нашел по этому решил написать свой. Надеюсь здесь все же nodejs тоже знают)
Представляю вашему вниманию: Nyama Node.js Framework
Github: https://github.com/EvilDevRu/nyama
Особенности:
- MVC структура
- Возможность работы через прокси
- Проверка прокси на живучесть на старте парсинга.
- По умолчанию встроен cheerio для разбора DOM
- Поддержка пользовательских компонентов.
На данный момент содержит простой пример. В ближайшее время добавлю поддержку баз данных.
_____________
HTML5, CSS3, jQuery, Node.js, PHP, Yii, Joomla, MySQL, MongoDb, GIMP