Как сделать большие (15 мб 3 шт.) черные списки который не будут вешать сервер?
или из за чего redirect_program может гробить весь squip?
скорее всего у вас не хватает количества редиректоров, или они не совсем корректно работают.
Ваши так называемые большие черные списки нуждаются в серьёзной оптимизации.
Для примера, не так давно я оптимизировал свои, и они сократились на 70% за счет составления около 80 правил на регулярных выражениях, правда делал это для Dansguardian, но думаю и для Squid поможет.
дело в том что в подобных списках очень много повторов некоторых фрагментов, таких как porno,girls,girlz,ero+..., и других, просто составьте регулярные выражения и прогоните список через них, и ваши 15МБ списки сразу опустеют как минимум на половину, и занесите эти правила в Squid, конечно объём ручной аналитической работы большой, но это того стоит.
Если хотите можете связаться со мной и можно попробовать вместе написать соответствующие регулярные выражения,
я давно хочу написать программу для очистки новых полученных(скачанных,чужих) черных списков от повторов, которые есть в базе, и которые можно фильтровать регулярными выражениями.
