Genrih1
26.03.2015 - 08:10
Подскажите как быстро переместить все данные из *.DBF (или *.TXT) В таблицу Mysql.
Дело в том что загрузка будет происходить раз в неделю по несколько *.DBF (или *.TXT) файлов, в каждом файле может быть до 5 млн. записей.
Нашел код программы
http://stackoverflow.com/questions/1427023...-files-to-mysql или
http://www.coolcomputing.com/article.php?sid=4628.
При перекидывании 500 тыс записей затрачивается около часа.
Программа пишется для людей которые вообще плохо разбираются в компах. Обучать их конвертировать в другие форматы дело не благодарное и без полезное.
Цитата AllesKlar из соседней темы: Прочитай файл, сгенерируй из него sql-дамп, сохрани дамп в файл и через консоль залей в базу.
_____________
Принимаю заказы, писать в ЛС
Genrih1
26.03.2015 - 09:12
Дело в том что загрузка будет происходить раз в неделю по несколько *.DBF (или *.TXT) файлов, в каждом файле может быть до 5 млн. записей.
Я хочу автоматизировать процесс, а не стоять каждый раз возле консоли и заливать данные на сервер
Игорь_Vasinsky
26.03.2015 - 09:18
повесь задачу на крон.
_____________
HTML, CSS (Bootstrap), JS(JQuery, ExtJS), PHP, MySQL, MSSql, Posgres, (TSql, BI OLAP, MDX), Mongo, Git, SVN, CodeIgnater, Symfony, Yii 2, JiRA, Redmine, Bitbucket, Composer, Rabbit MQ, Amazon (SQS, S3, Transcribe), Docker
Чем плох
dBase?
Выгреб некоторое количество строк, залил в mysql, выгреб - залил. НУ *.ТХТ только чтением - не бд шный это тип.
Регулярный запуск конечно по крону (планировщик задач для вин хостинга).
Вот есть примеры использования dBase:
https://php.net/manual/ru/ref.dbase.php#74547
_____________
Трус не играет в хокей
Genrih1
27.03.2015 - 04:56
dBase Долго кусками передавать много времени занимает.
Если использовать LOAD DATA INFILE для ТХТ - то время загрузки занимает 20-30 сек.
Если аналогичная функция для DBF файлов. что бы также быстро перекидывала на сервак необходимую информацию.
AllesKlar
27.03.2015 - 06:14
Genrih1
Я так понимаю, dBase на винде?
Как варинат, напиши небольшую программку на каком-нибудь .NET (бейсик, шарп..) там полчаса делов. Потом этой же тулзой конектишься по ssh к серверу, льешь туда дамп, разворачиваешь дамп.
Пакуешь все это в симпотичный екзешник, называешь "Импорт данных" и отдаешь его этим людям, которые вообще плохо разбираются в компах.
_____________
[продано копирайтерам]
Genrih1
27.03.2015 - 08:13
Да наверное так и придется делать, жаль что PHP так плохо работает с DBF.