mod_limitipconn можно использовать но всё это уже устарело. Файрвол
iptables -I INPUT -p tcp --syn --dport 80 -m connlimit --connlimit-above 40 -j REJECT :D
тоже бред правильно мыслишь.
Используй ngx_http_limit_req_module
http://nginx.org/ru/docs/http/ngx_http_limit_req_module.html
Ну и соответственно limit_zone и limit_conn тудаже у меня вот так:

http {
    include       mime.types;
    default_type  application/octet-stream;
    
    limit_zone   one  $binary_remote_addr  8m;
    limit_conn   one  16;

означает что разрешено 16 одновременных подключений с 1ого айпи а 8m это кеш где айпи запоминаться будут (отчищается потом автоматом)

я вот сейчас вдупляю в этот модуль)) сложновато чёто
там ещё показаны директивы на уровне хоста - т.е. server, у тебя там нету записей?
а почему файервол бред ?) я думал наооборот оптимательнее ему правило повесить..
"16 одновременных подключений с 1ого ip" - это как понимать? можно же за 1 секунду циклом заспамить 1000 запросов ? ведь это не будет ограничено логично? а у меня после такого http спама nginx на 100% загружен и выкидывает 500 ошибку

у меня щяс настроено вот так:
limit_zone one $binary_remote_addr 4m;
limit_conn one 8;

кстате чем отличается то limit_req_zone от limit_zone ?

почитай думаю решит все твои проблемы.
http://habrahabr.ru/post/67685/

теперь всё понятно, один вешает лимит на число соединений, другой на число запросов..

я так понимаю мне оптимальным будет резать число запросов, или поставить обе директивы? как ты сделал то ? )

Я режу число запросов, ограничиваю сильно активных через файрвол, и ещё скриптик по крону собирает айпи ботов и заносит в файрвол на 10 минут.

во, я это и хотел спросить..
в этой теме увидел комманду:
tail -1000 /var/log/nginx-access.log | grep " 503 " | cut -f1 -d" " | sort -u

протестил, действительно работате, только я подставил http код - 400..
можеш дать скрипт баша, как ты это в кроне реализовываеш ?)
был бы очень благодарен тебе

жадина
хоть намекни алгоритм? выбрали ip адреса, мне получается нужно как то их спарсить и занести в iptables на 10минут?

дело в том, что в баш коммандах не силён я )

ты пишешь айпи ботов в файл обычный хоть текстовый по крону раз в 5 мин забираешь айпишники из этого файла и заносишь в файрвол на 10 мин.

эм ещё вопрос:
limit_req_zone $binary_remote_addr zone=one:10m rate=2r/s;

2 запроса в секунду, это именно HTTP запроса? т.е. если у меня много css + js и картинок, в итоге для загрузки 1 страницы нужно 20-30 http запросов.. их же надо все учитывать ? )

у меня после пару минут такого спама, error лог вырос до 12 гб)) ужас блин)

а ты css все стили в 1 файл запихнул или это делаеш динамически с помощью php?
со спрайтами заморачиватся не хочется), притом если картинки не интерфейсные, а так ввиде новости итд

я на форуме недавно видел header.js вроде, обьединеяет js файлы вроде как.. щяс гуглю найти не могу)

с js та же тема? а если у меня на странице галлерея ? 20 картинок, и все возвращают 304 - not modified, все равно же считается как запрос логично ? ) надо щяс оптимальное число получается подобрать..

js тоже на выходе можно собирать в 1. Можно даже css и js делать в 1 обращение к серверу!!
Знал о таком?

А насчёт спрайтов это проще просто собрал всё в 1 картину и через бэкграунд позишн вывел.
А если динамические посмотри как Яндекс в поиске фавиконки сайтов выдаёт и они все в спрайте уже на выходе получаються на лету спрайт формируют вот это надо думать как сделать, ну это уже на сильно мощных проектах такое мутить надо они экономят на этом миллионы обращений к серверу в сутки а мы будем экономить 50
ну опыт того стоит заморочится.

так если поставить ограничения в 100 запросов, это ни много ли? получается гдето в секунду 2-3 макс 4 раза можно страницу открыть