Автор Тема: Черные листы  (Прочитано 5162 раз)

Оффлайн vlmedia

  • Участник
  • *
  • Сообщений: 20
    • Сайт ГОУ №441 Санкт-Петербург
Черные листы
« : 03.07.2010 20:10:00 »
Уважаемые коллеги поделитесь секретом, где брать черные списки. Дело в том, что в школе настроили шлюз с использованием dansguardian, скачали листы вот отсюда:
1. http://www.shallalist.de/  сам сайт
http://www.shallalist.de/Downloads/shallalist.tar.gz ссылка на архив.
2. http://www.urlblacklist.com сам сайт
http://urlblacklist.com/cgi-bin/commerc ... gblacklist ссылка на архив.
3. http://www.malware.com.br/lists.shtml
4. http://www.rejik.ru продвинутый сайт по фильтрации
http://www.rejik.ru/download/banlists-2.x.x.tgz есть частично русскоязычные базы.
5. http://phpal.sourceforge.net/alsquidblock
http://phpal.sourceforge.net/squidblock.zip там ссылки на базы
Но там в основном листы по забугорным сайтам, а русского списка нет! пополнять вручную конечно можно, Но это не реально!
На текущий момент 527тыс порно сайтов у нас блокируется!
По поводу СКФ предложения не выслушиваются, дабы мы стараемся отрубить все ххх до СКФ (когда попадает в СКФ, потом работает прокуратура, то не есть гут)

Заранее всем спасибо!
Фря-это всё и вынь-всё, линь- это моя безисходность!

Оффлайн HAW

  • Участник
  • *
  • Сообщений: 1 247
Re: Черные листы
« Ответ #1 : 03.07.2010 22:33:25 »
невозможно отрубить всё нежелательное.
Где-то тут или поблизости, решили создать список разрешённых, а остальное отрубить.

Оффлайн vlmedia

  • Участник
  • *
  • Сообщений: 20
    • Сайт ГОУ №441 Санкт-Петербург
Re: Черные листы
« Ответ #2 : 03.07.2010 22:52:09 »
Просто хотелось бы пополнить базу русским сегментом адресов. А то везде наверху шашками машут, чтобы мы фильтровали, а государство ни одной базы не имеет. Просто белый список тоже внушителен :(
Фря-это всё и вынь-всё, линь- это моя безисходность!

Оффлайн fce

  • Участник
  • *
  • Сообщений: 249
  • ALT Linux, XBMC live, Ubuntu, Kubuntu, Android
    • Dansguardian+
Re: Черные листы
« Ответ #3 : 29.07.2010 02:35:38 »
Но там в основном листы по забугорным сайтам, а русского списка нет! пополнять вручную конечно можно, Но это не реально!
На текущий момент 527тыс порно сайтов у нас блокируется!
По поводу СКФ предложения не выслушиваются, дабы мы стараемся отрубить все ххх до СКФ (когда попадает в СКФ, потом работает прокуратура, то не есть гут)
Заранее всем спасибо!
Всего 527тыс порно это капля в море поверьте.....
Мой самописный робот за неделю собрал около 2 млн адресов сайтов, правда компьютер и Интернет был не школьный и не выключался в течение недели.
Дак что самое интересное из двух миллионов после полуавтоматического-полуручного разбора только специфики имен доменов и составление регулярок для Dansguardian,осталось только 300тыс адресов которые невозможно подогнать под регулярные выражения. Что говорит о достаточной эффективности метода фильтрации по URL, но также и показало его недостаток.

Интересно также и то что в распоряжении оказалось около 3тыс заглавных страниц сайтов порно, и только 2 из них были предназначены для входа на сам сайт, т.е. содержали уведомление об ответственности и характере сайта и была всего только одна ссылка, переход по которой  подтверждал согласие с уведомлением (и сайты эти были не русские), хотя и говорят что Интернет  неподвластен никому, но внутри своей доменной зоны государство могло бы навести порядок.

Если кому требуется измененный файл регулярных выражений для Dansguardian, то могу выложить после середины августа, как выйду на работу с отпуска.
Безвыходных ситуаций не бывает, есть ситуации в которые нет входа. На каждого компьютерного гения найдётся свой хакер с винтом.

Оффлайн Alukardd

  • Участник
  • *
  • Сообщений: 197
Re: Черные листы
« Ответ #4 : 29.07.2010 12:21:18 »
У меня например примерно 2млн записей поставленные кажется РЦОКОиИТ - это было до моего приема на работу. Там правда не чисто ip и доменные имена, там и url выражения и немного expressions. У мну это все кушает squid - в общем-то они для него и составлялись... - на вид вроде как нормально - блокируют - не всё конечно, как и любая защита... Но все мы знаем, что количество порносайтов стремится к бесконечности - так что я не сильно парюсь, если что-то пропускает...
Debian Lenny 6.0, Ubuntu 10.04 Lucid Lynx

Оффлайн fce

  • Участник
  • *
  • Сообщений: 249
  • ALT Linux, XBMC live, Ubuntu, Kubuntu, Android
    • Dansguardian+
Re: Черные листы
« Ответ #5 : 29.07.2010 17:04:57 »
Но все мы знаем, что количество порносайтов стремится к бесконечности - так что я не сильно парюсь, если что-то пропускает...
Я бы может быть и не парился, если б прокуратура не так дотошно проверяла.
Безвыходных ситуаций не бывает, есть ситуации в которые нет входа. На каждого компьютерного гения найдётся свой хакер с винтом.

Оффлайн Alukardd

  • Участник
  • *
  • Сообщений: 197
Re: Черные листы
« Ответ #6 : 29.07.2010 17:13:03 »
Цитата: fce
Я бы может быть и не парился, если б прокуратура не так дотошно проверяла.
я об этом писал где-то во флейме что ли...
А именно: очень жаль, что чиновники приходящие проверять мало что смыслят в происходящем... И им очень тяжело втолковать, что в мире IT всё очень быстро меняется и развивается.
Когда они приходят - всё-таки обычно они не сами лезут проверять, а просят показать им что да как - ну мы и показываем наиболее яркие примеры - xxx.ru porno.com vkontakte.ru и т.п.. Для красоты можно еще показать, что списки блокировки содержат сотни тысяч записей...
Debian Lenny 6.0, Ubuntu 10.04 Lucid Lynx

Оффлайн OEvg85

  • Участник
  • *
  • Сообщений: 1
Re: Черные листы
« Ответ #7 : 06.07.2013 23:05:20 »
Мой самописный робот за неделю собрал около 2 млн адресов сайтов, правда компьютер и Интернет был не школьный и не выключался в течение недели. Дак что самое интересное из двух миллионов после полуавтоматического-полуручного разбора только специфики имен доменов и составление регулярок для Dansguardian,осталось только 300тыс адресов которые невозможно подогнать под регулярные выражения. Что говорит о достаточной эффективности метода фильтрации по URL, но также и показало его недостаток.
В dansguardian достаточно же регулярки правильно прописать. У меня работало ВСЕ. Однин существенный недостаток у дансгардиана - если злоупотреблять регулярками, скорость тырнет соединения на клиентских тачках в разы падает. Если у вась 10-50MBit/s это еще как-то терпимо. А если 2048 KBit/s (как в моем случае)??? Поэтому, ИМХО, лучше времени побольше потратить и блочить urls и domains через squidGuard или ему подобное (опять же ИМХО). В этом случае ВАШ самописный робот - штука очень и очень нужная. Не понимаю, почему у Вас до сих пор никто исходники не попросил. А я прошу. Не могли бы вы поделиться ;).
Все говорят, что мы вместе, но не все знают в каком