Hola amigo es mi primer post aqui y he de decirte que al parecer estas ante un ataque DDoS o quiero apostar que ese es tu problema y mod_evasive no hace mucho al respecto o al menos en mi experiencia

. Supongo que usaras hosting sino usar lighttpd te seria una buena opcion ya que es mucho mas ligero y flexible y tolera mejor estos ataques porque digamos que los procesa mucho mas rapido.
De todas formas te recomiendo un firewall autobaneo algo asi como el modulo de ddos de APF. Yo use apf y bueno no me convenció mucho por eso decidi hacer un firewall yo y ponerle modulo autobaneo y sinceramente me va de lujo. A + de 20 conexiones durante 1 minuto a mi apache desde una misma ip.. esa ip jamas entrará a mi servidor

demomento solo tengo puesto para el puerto 80 mas delante pondré para el resto de los servicios.
Saludos PeNNiSmEn - www.c-group.org