маску задал другую.
Что значит "другая" ? По сравнению с чем она другая?
с этого диапазона ip есть не занятые. их бы хотелось бы заблокировать.
с этого - это с какого? с того, который вы определили в dhcp сервере, или с того, который задается маской?
Незанятые - незарезервированные или невыданные на данный момент?
Насколько я понял вы хотите блокировать пакеты от адресов, которым не выдан в данный момент адрес - правильно я понял?
P.S. Очень тяжело читать то что вы пишете, представьте, что вы свою задачу объясняете совсем чайнику :)