ХЗ, может совет глупым покажется, но как вариант можно подключить форум через прокси
https://ru.cloudflare.com/ , на котором можно фильтровать входящий траф. Цепляем
https://ru.cloudflare.com/ , он всем долбящимся IP предлагает ввести капчу перед входом на сайт, а так же ведет статистику этих IP и позволяет банить их на уровне самого прокси. Была та же шняга с брутом, за 1,5 часа забанил все IP долбящихся при этом мирно играя в танки и ожидая порцию очередных IP подлежащих бану. На этом все закончилось.