[ Поиск ] - [ Пользователи ] - [ Календарь ]
Полная Версия: Добавление большого количества данных в БД
Stiv22
Воникла задача занести данные из текстового файла (около 10млн. записей и размером около 300 Мб) в БД MySql. При попытке открыть файл возникает ошибка недостатка памяти для выполнения этой операции. Другие варианты в голову не приходят. Натолкните, пожалуйста, на путь истинный.



Спустя 7 минут, 13 секунд (25.07.2012 - 13:17) h234 написал(а):
Спарсить файл построчно. Открываем fopen() и поехали ... =)

Спустя 1 минута, 20 секунд (25.07.2012 - 13:18) kamanch написал(а):
Что в файле?
Дамп базы?
Если да, то льешь файл по ftp, потом телнетом цепляешься к серверу и в консоли пишешь
mysql --user=USER_NAME --pass=PASSWORD --host=DB_HOST --default-character-set=CODE_PAGE DB_NAME < dump_file.txt

Вместо USER_NAME, PASSWORD, DB_HOST, CODE_PAGE, DB_NAME подставляешь данные для доступа к базе

Спустя 53 секунды (25.07.2012 - 13:19) kamanch написал(а):
Цитата
Спарсить файл построчно. Открываем fopen() и поехали ... =)

Сервер скрипт убъет по таймауту

Спустя 49 секунд (25.07.2012 - 13:20) Placido написал(а):
Можно попробовать открыть Notepad++, по крайней мере файл весом в 170 МБ у меня открывался. Вот здесь я писал, как я импортировал такой файл в БД.

Спустя 4 минуты, 1 секунда (25.07.2012 - 13:24) h234 написал(а):
Цитата (h.n.81 @ 25.07.2012 - 10:19)
Цитата
Спарсить файл построчно. Открываем fopen() и поехали ... =)

Сервер скрипт убъет по таймауту

set_time_limit(0);

Ну или разбить файл на несколько...

Спустя 7 минут, 5 секунд (25.07.2012 - 13:31) kamanch написал(а):
Цитата
set_time_limit(0);

Ну зачем писать глупости? Человек же поверит.
Хостер не позволит этого.

Спустя 3 минуты, 51 секунда (25.07.2012 - 13:35) h234 написал(а):
Цитата
Ну зачем писать глупости? Человек же поверит.

Это не глупости, а ВАРИАНТ решения проблемы. Может у него локальный сервер.

Спустя 1 час, 31 минута, 41 секунда (25.07.2012 - 15:07) neadekvat написал(а):
Stiv22, Sypex Dumper

Спустя 6 дней, 2 часа, 7 минут, 33 секунды (31.07.2012 - 17:14) Stiv22 написал(а):
Цитата (neadekvat @ 25.07.2012 - 13:07)
Sypex Dumper


Спасибо всем. Проверил все предложенные способы, но этот оказался самым оптимальным.

ПС neadekvat, сожалению плюс в карму добавить не могу из-за малого количества сообщений.
Быстрый ответ:

 Графические смайлики |  Показывать подпись
Здесь расположена полная версия этой страницы.
Invision Power Board © 2001-2024 Invision Power Services, Inc.