95-96% времени идёт потребление 5-5.5 гб (httpd).
Периодами происходит скачек и потребление памяти вырастает до 13-14гб памяти и сайт начинает медленно работать, через минут 10 стабилизируется и снова 5гб.

Как вычислить, кто и сколько потребляет памяти, чтобы найти проблемную зону и исправить её?
При максимальной загрузке памяти в 14 гб я вижу следующую картину: обработка запросов слишком медленная, сайт еле работает, отсюда запросы начинают копиться, итого если глянуть на ситуацию спустя 1 минуту - множество маленьких простых запросов Аяксом, но это понятно, что они просто начали копиться и всё. Отсюда причиной роста не эти множество мелких запросов, а другая причина, либо 1 скрипт является не оптимизированным, либо ддосят, либо другой процесс на сервере скушал всё.

У меня свой сервер, есть htop установленный, есть права рута. От того, что есть htop - мне легче не становится, я не знаю как запускать, куда смотреть...

Ах да, 14gb - это потребление httpd, у mysql 2-3gb СТАБИЛЬНО.

_____________
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).

Есть какие-то тяжелые экспорты/репорты в админке?

- Должны быть какие-то скрипты, которые вызывают подозрение в первую очередь.

- Может быть стоит выставить memory_limit значительно меньший чем есть (сейчас -1 что ли? если так, то чревато как раз подобными проблемами). В тестовой среде, конечно. Поскольку на проблемных местах будешь получать Allowed memory size of # bytes exhausted, ну и очевидно найти их станет проще.

- Использование памяти можно попробовать отслеживать при помощи memory_get_usage() более подробно. Еще удобнее будет xdebug для этого

- Пыховый GC просто крайне ужасен. если есть долгоиграющие скрипты, то крайне рекомендуется удалять ссылки все объекты, которые уже не будут использоваться. Это само по себе правда не гарантирует очистку памяти

Так же это могут быть последствия ддос-атаки, например. По логам надо смотреть сколько запросов в это время, куда, и тд. Если не ддос, то можно попробовать проблемный урл выделить, если такой есть.

"Еще удобнее будет xdebug для этого"
- Можно настроить, чтобы он собирал потребляемую память скриптами и логировал всё? Если да, то ссылочку можно на этот момент?

memory_limit 128M для всех стоит. Всего процессов одновременных для апача - 400, 100*400 = грубо говоря те же 14гб, но в данном случае должно было быть так, что сразу все скушали столько памяти, что невозможно, потому что проверял частозапрашиваемые страницы, ajax, они представляют из себя 70-75% всех запросов, и они потребляют 1мб памяти.

- Должны быть какие-то скрипты, которые вызывают подозрение в первую очередь.
Каждый второй, по очереди проверяю и убеждаюсь, что они нормально работают. Но проверил пока 1/10 сайта, слишком много скриптов.

"Если не ддос, то можно попробовать проблемный урл выделить, если такой есть."
Глазами анализировать? Там около 20-100 запросов в секунду.

_____________
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).

Была подобная проблема, когда дисковая система не справлялась, из-за этого плодились процессы. Решилось установкой nginx перед апачем.

Я пользовался Zabbix
Cистема мониторинга сервера.

http://www.zabbix.com/

Как это выглядит http://www.zabbix.com/screenshots.php
Все подробно итд

Apache порой может по непонятным причинам отжирать память, и даже упасть. Nginx пока не подводил.

_____________
Mysql, Postgresql, Redis, Memcached, Unit Testing, CI, Kohana, Yii, Phalcon, Zend Framework, Joomla, Open Cart, Ymaps, VK Api

Запусти просто набери htop в putty и нажми enter сделай скрин полного экрана графика что выдаст а затем тоже самое проделай с командой top и выложи сюда тоже скрин.
Опять же насколько я помню у тебя нету nginx статику и динамику обрабатывает 1 апач, что не есть хорошо. Допустим иногда тот же nginx приняв на себя статику забрав лишнюю работу у апача может скинуть кол-во процессов apache в 5 и более раз соответственно уменьшить нагрузку.