Правила     Закладки     Карма    Календарь    Журналы    Помощь    Поиск    PDA    Чат   
        СМС-ки
   
Пейджер выключен!
 
Фильтр авторов:    показать 
  скрыть
  Закрытая темаСоздание новой темыСоздание опроса

> Fatal error в simple_html_dom
kuzroman  
 ۩  [x] Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Единичный
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 482
Пользователь №: 21611
На форуме: 7 лет, 3 месяца, 24 дня
Карма: 2




возникает ошибка переполнения кеша памяти.
Может у кого была эта проблема при работе с большим колличеством информации при парсинге с помощью simple_html_dom.php?

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 39 bytes) in Z:\home\localhost\www\...\simple_html_dom.php on line 1080

Может кто пробовал усовершенствовать класс?

..... блин щас прикинул это же 128мб, да ни одна страница не может столько весить.



Спустя 1 минута, 43 секунды (25.01.2012 - 21:51) Winston написал(а):
Походу слишком большой файл парсишь?
Попробуй вверху скрипта прописать
ini_set('memory_limit', '128M');

128 количество выделяемой памяти.

Спустя 1 минута, 32 секунды (25.01.2012 - 21:53) kuzroman написал(а):
Цитата (Winston @ 25.01.2012 - 18:51)
Походу слишком большой файл парсишь?
Попробуй вверху скрипта прописать
ini_set('memory_limit', '128M');

128 количество выделяемой памяти.

Спасибо. Попробую.

Спустя 5 минут, 26 секунд (25.01.2012 - 21:58) Winston написал(а):
Цитата (kuzroman @ 25.01.2012 - 20:49)
блин щас прикинул это же 128мб, да ни одна страница не может столько весить.

А это не страница столько весит, это PHP нужно столько памяти, чтобы обработать.

С помощью memory_get_usage() можешь посмотреть сколько памяти использует PHP в байтах.

Спустя 51 минута, 36 секунд (25.01.2012 - 22:50) kuzroman написал(а):
Да. все вспомнил и восполнил пробелы по настройкам php.ini.
Спасибо.

Спустя 18 минут, 51 секунда (25.01.2012 - 23:08) alexbel2404 написал(а):
ох и тяжелые эти либы (phpQuery, simple_html_dom и т.д.), юзай регулярки) у меня после парсинга 10 страниц выдачи гугла, phpQuery сжирала около 1 гб памяти вроде) уже точно не вспомню.

Спустя 16 часов, 23 минуты, 52 секунды (26.01.2012 - 15:32) kuzroman написал(а):
Цитата (alexbel2404 @ 25.01.2012 - 20:08)
ох и тяжелые эти либы (phpQuery, simple_html_dom и т.д.), юзай регулярки) у меня после парсинга 10 страниц выдачи гугла, phpQuery сжирала около 1 гб памяти вроде) уже точно не вспомню.

с php-html-dom таких проблем нет. страницы в 50тыс строк и более глотает нормально.
Просто иногда встречаются действительно огромные страницы, на которые уходит много ресурсов.
С регулярками знаком, и это, если честно, не оптимальный вариант, когда приходится писать парсеры на множество сайтов.


--------------------
kuzroman@list.ru
PMПисьмо на e-mail пользователюСайт пользователя
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:

Опции темы Закрытая темаСоздание новой темыСоздание опроса