Есть сайт - магазин бизнес безделушек. И есть 3 поставщика, дающие xml файлы со своей продукцией. Файлы обновляются на их серверах 1раз/час. Ну, допустим, мы будем проверять их раз в сутки - в ручном режиме (3 кнопки - скачать/распарсить/вставить в базу). Таким образом я попытался ументшить время выполнения запроса, разбив задачу на 3 этапа.
Но вопрос в следующем - если при вставке в базу, качать картинки - то обработать 5k-8k товаров (по 2 картинки в каждом) - итого 10-16k картинок - нереально. Ну 10-15шт, возможно при том, что спец.функция делает еще и их ресайз.
Что делать? Как и когда качать картинки? Кроном? Как? Создать какую то очередь и запускать скрипт каждых 5-10 минут?
Качнуть большое количество картинок придется только раз - впервые. Потом будут качаться только новые товары. И обновляться текстовка старых.
У кого-нибудь есть идеи?
Или, может, создать скрипт, который принимает фоновый пост запрос, и загружает картинки из очереди (которая, допустим, в БД?) и запускать его каждый раз, когда пользователь заходит на сайт?
Я в замешательстве... реальные решения пока не приходят в голову...
Спустя 1 час, 1 минута, 26 секунд (15.08.2012 - 20:40) sergeiss написал(а):
| Цитата (cyber-c @ 15.08.2012 - 21:38) |
| Качнуть большое количество картинок придется только раз - впервые. Потом будут качаться только новые товары. И обновляться текстовка старых. |
Исходя из этого, я думаю, надо просто закачать все картинки через FTP
А ресайз сделать уже для закачанных картинок. Сделать специальный скрипт, который берет картинку и делает ее ресайз, сохраняет измененный файл. И так далее, до тех пор, пока не пройдется по всем указанным ему картинкам. Если надо, то по ходу дела что-то пишется в БД.А что будет потом, а не на начальном этапе... Это уже другая задача.
Спустя 11 часов, 25 минут, 34 секунды (16.08.2012 - 08:05) kamanch написал(а):
Если не дадут доступ к фтп:
Если есть доступ к картинкам по http, то можно сгенирировать список ссылок и закачать картинки обычным download-manager'ом FlashGet, ReGet и т.п.
Если есть доступ к картинкам по http, то можно сгенирировать список ссылок и закачать картинки обычным download-manager'ом FlashGet, ReGet и т.п.
Спустя 1 день, 9 часов, 32 минуты, 40 секунд (17.08.2012 - 17:38) dron4ik написал(а):
Парсером вынимай все ссылка на картинки, а потом уже переливай, к примеру по 100, с условием что это единожды!)
Спустя 4 часа, 14 минут, 34 секунды (17.08.2012 - 21:53) cyber-c написал(а):
Хм...
Если кроном запустить - будет чесать пока не розчешет?
[php]max_execution_time integer[/php] - Если PHP запущен из командной строки, это значение по умолчанию равно 0.
Если кроном запустить - будет чесать пока не розчешет?