Форум PHP программистов > Импорт множества строк в mysql

[ Поиск ] - [ Пользователи ] - [ Календарь ]

Полная Версия: Импорт множества строк в mysql

asdf27

6.04.2016 - 23:56

Доброго времени, форум. Делаю дорвеи, столкнулся с проблемой. Просьба указать в какую сторону копать, на каком этапе спотыкаюсь.

Итак, имею массив строк 2-10 слов в количестве 10 тыс. строк.

Алгоритм:

1. Вставляю строки в textarea и POST'ом отправляю.
2. Принимающий скрипт разбивает строки explode("\r\n"), проверяет наличие дублей.
3. Если условие соблюдено, INSERT в базу.

Проблема в том, что максимум добавляется 3200 строк. Если брать в среднем 50 символов, размер данных 150 кб, что мне кажется не много для POST-запроса.

Ошибки не вываливаются, но скрипт не завершается.

Предполагаю, что может:

1. Обрезается POST-массив
2. Таймаут апача, но лимиты увеличил и сделал ребут
3. База моросит, а где - не понимаю.

Какой из пунктов более вероятен? Делаю на локале, ресурсов хватает.

FatCat

7.04.2016 - 00:00

Цитата (asdf27 @ 6.04.2016 - 22:56)

что может

Лимит 2 мегабайта.

Лучше LOAD DATA INFILE, там хоть гигабайт.

_____________
Бесплатному сыру в дырки не заглядывают...

asdf27

7.04.2016 - 00:10

Разобрался. Во-первых проглядел, стоит error_reporting(0). Снял, прогрузил, получил

Цитата

Fatal error: Maximum execution time of 120 seconds exceeded in

И это удивило, т.к. я увеличивал время. Ошибка заключается в том, что я редактировал php.ini по пути C:\wamp\bin\php\php5.5.12, а надо C:\wamp\bin\apache\apache2.4.9\bin

asdf27

7.04.2016 - 00:17

FatCat, пробовал ускорить процесс путем чтения строк из файла. Тут от php уже не зависит скорость INSERT'а в базу?

UPDATED: пошел курить LOAD DATA INFILE, спасибо

FatCat

7.04.2016 - 02:24

Цитата (asdf27 @ 6.04.2016 - 23:17)

от php уже не зависит скорость INSERT'а в базу?

Это наверное самый быстрый метод импорта.

_____________
Бесплатному сыру в дырки не заглядывают...

asdf27

7.04.2016 - 05:08

Спасибо.

Еще вопрос: что такое дорвей - представление имеете. У меня на один дор состоит из 10к страниц. Запарился с базами и файлами опций, решил генерить чистую статику. Если положить 10к html-файлов в корень, насколько затруднительным будет чтение? Разнесения по каталогам не избежать?

FatCat

7.04.2016 - 10:50

Делал такое давным-давно. Правда не дорвей, а сапо-сайт. http://bird-phoenix.ru/ - до сих пор крутится. Статика.
Вообще без БД. Кидаешь в корень техстовый файл и запускаешь билдер, который прямо из файла генерит статику.
Нормально всё валится в одну директорию.

_____________
Бесплатному сыру в дырки не заглядывают...

asdf27

7.04.2016 - 16:16

))) сам писал словарь?))
Кстати, по запросу "впьвадлп" ты в топе...

FatCat

7.04.2016 - 18:24

Цитата (asdf27 @ 7.04.2016 - 15:16)

сам писал словарь?

Я лишь исполнитель.
Я предлагал модуль сделать, который бы генерировал случайные наборы букв и проверял в яндексе - был бы постоянно растущий самонаполняемый сайт. Но заказчик то ли жену посадил гаммы играть на клавиатуре, то ли кошку гонял по клавишам...

_____________
Бесплатному сыру в дырки не заглядывают...

asdf27

7.04.2016 - 21:19

У меня кот такое периодически пишет, видимо вариант номер [1]))

Быстрый ответ:

Здесь расположена полная версия этой страницы.