Можно сделать обработку, которая:
Будет проверять наличие отправки одинаковых сообщений (или примерно одинаковых) множеству пользователям и при совпадении делать таймаут с вводом капчи, а то и просто баном IP адреса.
Вести подсчёт отправленных сообщений на предмет постоянного интервала задержки, т.е. проверять не отправляет ли бот ровно каждую минуту по сообщению в цикле.
Прикрутить обработчик, который будет синхронизироваться с спам-листами вроде
http://spam-ip.comВести анализ при постоянных однотипных нетипичных действиях посетителя