Правила     Закладки     Карма    Календарь    Журналы    Помощь    Поиск    PDA    Чат   
        СМС-ки
   
Пейджер выключен!
 
Фильтр авторов:    показать 
  скрыть
  Ответ в темуСоздание новой темыСоздание опроса

> Импорт множества строк в mysql
asdf27  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 253
Пользователь №: 32917
На форуме: 4 года, 5 месяцев, 5 дней
Карма: 1




Доброго времени, форум. Делаю дорвеи, столкнулся с проблемой. Просьба указать в какую сторону копать, на каком этапе спотыкаюсь.

Итак, имею массив строк 2-10 слов в количестве 10 тыс. строк.

Алгоритм:

1. Вставляю строки в textarea и POST'ом отправляю.
2. Принимающий скрипт разбивает строки explode("\r\n"), проверяет наличие дублей.
3. Если условие соблюдено, INSERT в базу.

Проблема в том, что максимум добавляется 3200 строк. Если брать в среднем 50 символов, размер данных 150 кб, что мне кажется не много для POST-запроса.

Ошибки не вываливаются, но скрипт не завершается.

Предполагаю, что может:

1. Обрезается POST-массив
2. Таймаут апача, но лимиты увеличил и сделал ребут
3. База моросит, а где - не понимаю.

Какой из пунктов более вероятен? Делаю на локале, ресурсов хватает.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
FatCat  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Чеширский кот
******

Профиль
Журнал
Группа: Администратор
Почтальон группы
Сообщений: 5911
Пользователь №: 1
На форуме: 10 лет, 10 месяцев, 3 дня
Карма: 125

Не пью :
22 года, 3 месяца, 4 дня


Цитата (asdf27 @ 6.04.2016 - 22:56)
что может

Лимит 2 мегабайта.

Лучше LOAD DATA INFILE, там хоть гигабайт.


--------------------
Бесплатному сыру в дырки не заглядывают...
PMПисьмо на e-mail пользователюICQ
    1   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
asdf27  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 253
Пользователь №: 32917
На форуме: 4 года, 5 месяцев, 5 дней
Карма: 1




Разобрался. Во-первых проглядел, стоит error_reporting(0). Снял, прогрузил, получил

Цитата
Fatal error: Maximum execution time of 120 seconds exceeded in


И это удивило, т.к. я увеличивал время. Ошибка заключается в том, что я редактировал php.ini по пути C:\wamp\bin\php\php5.5.12, а надо C:\wamp\bin\apache\apache2.4.9\bin
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
asdf27  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 253
Пользователь №: 32917
На форуме: 4 года, 5 месяцев, 5 дней
Карма: 1




FatCat, пробовал ускорить процесс путем чтения строк из файла. Тут от php уже не зависит скорость INSERT'а в базу?

UPDATED: пошел курить LOAD DATA INFILE, спасибо
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
FatCat  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Чеширский кот
******

Профиль
Журнал
Группа: Администратор
Почтальон группы
Сообщений: 5911
Пользователь №: 1
На форуме: 10 лет, 10 месяцев, 3 дня
Карма: 125

Не пью :
22 года, 3 месяца, 4 дня


Цитата (asdf27 @ 6.04.2016 - 23:17)
от php уже не зависит скорость INSERT'а в базу?

Это наверное самый быстрый метод импорта.


--------------------
Бесплатному сыру в дырки не заглядывают...
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
asdf27  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 253
Пользователь №: 32917
На форуме: 4 года, 5 месяцев, 5 дней
Карма: 1




Спасибо.

Еще вопрос: что такое дорвей - представление имеете. У меня на один дор состоит из 10к страниц. Запарился с базами и файлами опций, решил генерить чистую статику. Если положить 10к html-файлов в корень, насколько затруднительным будет чтение? Разнесения по каталогам не избежать?
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
FatCat  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Чеширский кот
******

Профиль
Журнал
Группа: Администратор
Почтальон группы
Сообщений: 5911
Пользователь №: 1
На форуме: 10 лет, 10 месяцев, 3 дня
Карма: 125

Не пью :
22 года, 3 месяца, 4 дня


Делал такое давным-давно. Правда не дорвей, а сапо-сайт. http://bird-phoenix.ru/ - до сих пор крутится. Статика.
Вообще без БД. Кидаешь в корень техстовый файл и запускаешь билдер, который прямо из файла генерит статику.
Нормально всё валится в одну директорию.


--------------------
Бесплатному сыру в дырки не заглядывают...
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
asdf27  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 253
Пользователь №: 32917
На форуме: 4 года, 5 месяцев, 5 дней
Карма: 1




))) сам писал словарь?))
Кстати, по запросу "впьвадлп" ты в топе...
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
FatCat  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Чеширский кот
******

Профиль
Журнал
Группа: Администратор
Почтальон группы
Сообщений: 5911
Пользователь №: 1
На форуме: 10 лет, 10 месяцев, 3 дня
Карма: 125

Не пью :
22 года, 3 месяца, 4 дня


Цитата (asdf27 @ 7.04.2016 - 15:16)
сам писал словарь?

Я лишь исполнитель.
Я предлагал модуль сделать, который бы генерировал случайные наборы букв и проверял в яндексе - был бы постоянно растущий самонаполняемый сайт. Но заказчик то ли жену посадил гаммы играть на клавиатуре, то ли кошку гонял по клавишам...


--------------------
Бесплатному сыру в дырки не заглядывают...
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
asdf27  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 253
Пользователь №: 32917
На форуме: 4 года, 5 месяцев, 5 дней
Карма: 1




У меня кот такое периодически пишет, видимо вариант номер [1]))
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
  Быстрый ответ
Информация о Госте
Введите Ваше имя
Кнопки кодов
Для вставки цитаты, выделите нужный текст и
НАЖМИТЕ СЮДА
Введите сообщение
Смайлики
:huh:  :o  ;) 
:P  :D  :lol: 
B)  :rolleyes:  <_< 
:)  :angry:  :( 
:unsure:  :blink:  :ph34r: 
     
Показать всё

Опции сообщения  Включить смайлики?
 Включить подпись?
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:

Опции темы Ответ в темуСоздание новой темыСоздание опроса