Может у кого была эта проблема при работе с большим колличеством информации при парсинге с помощью simple_html_dom.php?
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 39 bytes) in Z:\home\localhost\www\...\simple_html_dom.php on line 1080
Может кто пробовал усовершенствовать класс?
..... блин щас прикинул это же 128мб, да ни одна страница не может столько весить.
Спустя 1 минута, 43 секунды (25.01.2012 - 21:51) Winston написал(а):
Походу слишком большой файл парсишь?
Попробуй вверху скрипта прописать
128 количество выделяемой памяти.
Попробуй вверху скрипта прописать
ini_set('memory_limit', '128M');
128 количество выделяемой памяти.
Спустя 1 минута, 32 секунды (25.01.2012 - 21:53) kuzroman написал(а):
| Цитата (Winston @ 25.01.2012 - 18:51) |
| Походу слишком большой файл парсишь? Попробуй вверху скрипта прописать ini_set('memory_limit', '128M'); 128 количество выделяемой памяти. |
Спасибо. Попробую.
Спустя 5 минут, 26 секунд (25.01.2012 - 21:58) Winston написал(а):
| Цитата (kuzroman @ 25.01.2012 - 20:49) |
| блин щас прикинул это же 128мб, да ни одна страница не может столько весить. |
А это не страница столько весит, это PHP нужно столько памяти, чтобы обработать.
С помощью memory_get_usage() можешь посмотреть сколько памяти использует PHP в байтах.
Спустя 51 минута, 36 секунд (25.01.2012 - 22:50) kuzroman написал(а):
Да. все вспомнил и восполнил пробелы по настройкам php.ini.
Спасибо.
Спасибо.
Спустя 18 минут, 51 секунда (25.01.2012 - 23:08) alexbel2404 написал(а):
ох и тяжелые эти либы (phpQuery, simple_html_dom и т.д.), юзай регулярки) у меня после парсинга 10 страниц выдачи гугла, phpQuery сжирала около 1 гб памяти вроде) уже точно не вспомню.
Спустя 16 часов, 23 минуты, 52 секунды (26.01.2012 - 15:32) kuzroman написал(а):
| Цитата (alexbel2404 @ 25.01.2012 - 20:08) |
| ох и тяжелые эти либы (phpQuery, simple_html_dom и т.д.), юзай регулярки) у меня после парсинга 10 страниц выдачи гугла, phpQuery сжирала около 1 гб памяти вроде) уже точно не вспомню. |
с php-html-dom таких проблем нет. страницы в 50тыс строк и более глотает нормально.
Просто иногда встречаются действительно огромные страницы, на которые уходит много ресурсов.
С регулярками знаком, и это, если честно, не оптимальный вариант, когда приходится писать парсеры на множество сайтов.
_____________
kuzroman@list.ru