Автор Тема: Контент фильтрация. Linux. Squid+Dansguardian  (Прочитано 73424 раз)

Оффлайн Andrei

  • Давно тут
  • **
  • Сообщений: 26
Добрый день.
В данный момент интернет на ученических машинах фильтруются посредством белого списка на примерно 2000 страниц (SmallProxy и белый лист), но это не интернет, это нелепое породие. Хочется, чтобы и интернет был и проверка проходилась на ура (мечты, мечты).

Буков получилось много, накатило, кто не хочет читать лирику - смело переходите к последнему абзацу.

Сразу стоит сказать, что с линуксом я знаком пару месяцев.
На сервере стоит линукс, остановился на Ubunta 9.04 (почему не альт линукс? не получилось сразу настроить удалённый рабочий стол, а настроенный (по рекомендациям данного форума) оказался почему-то не очень стабильным, в убунте он работал сразу из коробки (может мне не повезло), но это всё мелочи...).

В качестве прокси сервера используется Squid 2.7.STABLE6, в первый раз я поставил непонятно какую програмку непонятно под какую операционнуб систему, ставил по примерам (sudo apt-get install squid), всё прошло удачно. С настройками Squid'a были свои заморочки, начиная от того, что непонятно где и как живёт эта программа в линуксе, куда идти и что делать чтобы запустилось..и вообще как узнать что творится...но, со временем разобрался, пробы и ошибки, и наконец-то прокси сервер за работал, пускал кого надо и не пускал кого не надо. Теперь осталось более важное, ПУСКАТЬ КУДА НАДО и НЕ ПУСКАТЬ КУДА НЕ НАДО.
С этим дело стразу не заладилось. Был установлен SquidGuard, разобравшись с ним мне таки удалось связать его со сквидом, настроить как мне надо и подключить чёрные списки скаченные с сайта самого сквидгварда, запустил заработало и тут меня посетило глубокое разочарование, я понял, что в моих радужных мечтах это было СЛИШКОМ радужным, порно и прочая бяка плодится в инете не по дням а по часа, списки далеко не полные (хоть и насчитывают больше 2 миллионов запесей) и самое главное, они очень плохо знакомы с русской частью интернета. Мне стало грустно =).  Как-то сразу я узнал о Rejik'e аналог сквид гварда, но как заявляют авторы адаптирован под рунет, но списки платные, а пробовать сие чудо после разочарования с о squidGuardom мне даже не хотелось, шило на мыло по сути.
Нужно было что-то другое, и тут совершенно случайно, я узнаю о dansGuarde, и о том, что он блокирует по наличию нежелательных слов на страничках сайта!   Ура подумал я, то что надо.  Скачал, поставил, помучался, настроил заработало...ура!  дейстительно результат лучше всех что я пробовал, блокируются "почти" все страницы с встречаемыми "плохими" словами.

Как бы должен быть хеппи енд и все счастливы...и я и прокурор...и директор, а нет, не получается хеппи енда, есть подводные камни, котрые мне оказались не по зубам.

Dansguardian контент фильтр на основе системы оценок слов, т.е. каждому "плохому" слову начисляется количество баллов, и если страница набрала пороговое значение (которое кстати я так и не нашёл где выставить) - она блокируется. Плюс к этому, можно подключить те самы чёрные списки, котроыми пользуется squidguard. Мне казалось я разобрался, писал в плохие слова "вася пупкин", оно блокировало "вася пупки" - не блокировало, "н" не дописано, и одиновчные блокировало и английские и русские, и тут предо мной выросла проблемма непонятно харрактера, я 2ой день никак не могу заблокировать великое слово "*УЙ" ! хоть ты тресни, помимо этого слова есть ещё, которые "почему-то" не блокируются и с ужосом я нахожу их всё больше и больше. С технологиями веба я не знаком, поэтому вполне может быть, что есть места, куда глаза dansguardiana не могут заглянуть, может и живут там эти слова плохие.

Меня переполняет уверенность присутствия на форуме людей знающие сей продукт - dansguardian, я прошу поделиться конфигами самого дансгвардиана (/etc/dansguardian/dansguardian.conf) и списком "плохих" слов из раздела порнография(/etc/dansguardian/lists/phraselists/pornography/weighted_russian).
Или, если имеется некий мануал по настройке dansguardiana, дайте ссылочку, мне не попадалось ничего в интернете толковее офф сайта. Очень желательно на русском языке.

Спасибо за уделённое внимание =)

Оффлайн qqq

  • Завсегдатай
  • *
  • Сообщений: 95
    • Email
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #1 : 19.03.2010 13:49:06 »
Добрый день.
В данный момент интернет на ученических машинах фильтруются посредством белого списка на примерно 2000 страниц (SmallProxy и белый лист), но это не интернет, это нелепое породие. Хочется, чтобы и интернет был и проверка проходилась на ура (мечты, мечты).

Буков получилось много, накатило, кто не хочет читать лирику - смело переходите к последнему абзацу.

Сразу стоит сказать, что с линуксом я знаком пару месяцев.
На сервере стоит линукс, остановился на Ubunta 9.04 (почему не альт линукс? не получилось сразу настроить удалённый рабочий стол, а настроенный (по рекомендациям данного форума) оказался почему-то не очень стабильным, в убунте он работал сразу из коробки (может мне не повезло), но это всё мелочи...).

В качестве прокси сервера используется Squid 2.7.STABLE6, в первый раз я поставил непонятно какую програмку непонятно под какую операционнуб систему, ставил по примерам (sudo apt-get install squid), всё прошло удачно. С настройками Squid'a были свои заморочки, начиная от того, что непонятно где и как живёт эта программа в линуксе, куда идти и что делать чтобы запустилось..и вообще как узнать что творится...но, со временем разобрался, пробы и ошибки, и наконец-то прокси сервер за работал, пускал кого надо и не пускал кого не надо. Теперь осталось более важное, ПУСКАТЬ КУДА НАДО и НЕ ПУСКАТЬ КУДА НЕ НАДО.
С этим дело стразу не заладилось. Был установлен SquidGuard, разобравшись с ним мне таки удалось связать его со сквидом, настроить как мне надо и подключить чёрные списки скаченные с сайта самого сквидгварда, запустил заработало и тут меня посетило глубокое разочарование, я понял, что в моих радужных мечтах это было СЛИШКОМ радужным, порно и прочая бяка плодится в инете не по дням а по часа, списки далеко не полные (хоть и насчитывают больше 2 миллионов запесей) и самое главное, они очень плохо знакомы с русской частью интернета. Мне стало грустно =).  Как-то сразу я узнал о Rejik'e аналог сквид гварда, но как заявляют авторы адаптирован под рунет, но списки платные, а пробовать сие чудо после разочарования с о squidGuardom мне даже не хотелось, шило на мыло по сути.
Нужно было что-то другое, и тут совершенно случайно, я узнаю о dansGuarde, и о том, что он блокирует по наличию нежелательных слов на страничках сайта!   Ура подумал я, то что надо.  Скачал, поставил, помучался, настроил заработало...ура!  дейстительно результат лучше всех что я пробовал, блокируются "почти" все страницы с встречаемыми "плохими" словами.

Как бы должен быть хеппи енд и все счастливы...и я и прокурор...и директор, а нет, не получается хеппи енда, есть подводные камни, котрые мне оказались не по зубам.

Dansguardian контент фильтр на основе системы оценок слов, т.е. каждому "плохому" слову начисляется количество баллов, и если страница набрала пороговое значение (которое кстати я так и не нашёл где выставить) - она блокируется. Плюс к этому, можно подключить те самы чёрные списки, котроыми пользуется squidguard. Мне казалось я разобрался, писал в плохие слова "вася пупкин", оно блокировало "вася пупки" - не блокировало, "н" не дописано, и одиновчные блокировало и английские и русские, и тут предо мной выросла проблемма непонятно харрактера, я 2ой день никак не могу заблокировать великое слово "*УЙ" ! хоть ты тресни, помимо этого слова есть ещё, которые "почему-то" не блокируются и с ужосом я нахожу их всё больше и больше. С технологиями веба я не знаком, поэтому вполне может быть, что есть места, куда глаза dansguardiana не могут заглянуть, может и живут там эти слова плохие.

Меня переполняет уверенность присутствия на форуме людей знающие сей продукт - dansguardian, я прошу поделиться конфигами самого дансгвардиана (/etc/dansguardian/dansguardian.conf) и списком "плохих" слов из раздела порнография(/etc/dansguardian/lists/phraselists/pornography/weighted_russian).
Или, если имеется некий мануал по настройке dansguardiana, дайте ссылочку, мне не попадалось ничего в интернете толковее офф сайта. Очень желательно на русском языке.

Спасибо за уделённое внимание =)
обсуждение таких проблем идет вот в этой части форума
http://forum.altlinux.org/index.php/board,25.0.html

Оффлайн Andrei

  • Давно тут
  • **
  • Сообщений: 26
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #2 : 19.03.2010 14:15:34 »
Спасибо, не поудмал бы, что в теме "Школьные дистрибутивы" обсуждается контентная фильтрация.
Нельзя ли перенести эт тему туда? чтобы не писать вопрос занаво, в этой теме очется собрать руководство именно для этой связки, а не для абы чего и абы как

спасибо

Оффлайн Andrei

  • Давно тут
  • **
  • Сообщений: 26
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #3 : 19.03.2010 14:54:46 »
почти 20 человек простморело тему, никто ни работал с dansguardom?
ну хоть что-нибудь напишите =)

Оффлайн bsdlinux

  • Завсегдатай
  • *
  • Сообщений: 809

Оффлайн mk

  • Завсегдатай
  • *
  • Сообщений: 720
  • М.Э.Кушнир
    • M.Kushnir Sites
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #5 : 19.03.2010 18:19:15 »
Мне стало интересно другое - на основании чего школа должна заниматься контентной фильтрацией? Это не ее деятельность. Те ссылки на тексты прокуроров, которые приводились в ходе обсуждения, оставляли ощущение полного абсурда. Нашел документ, на который обычно ссылаются:
Цитировать
«Об основных гарантиях прав ребенка в Российской Федерации» от 24 июля 1998 года №124-ФЗ
Статья 14. Защита ребенка от информации, пропаганды и агитации, наносящих вред его здоровью, нравственному и духовному развитию

1. Органы государственной власти Российской Федерации принимают меры по защите ребенка от информации, пропаганды и агитации, наносящих вред его здоровью, нравственному и духовному развитию, в том числе от национальной, классовой, социальной нетерпимости, от рекламы алкогольной продукции и табачных изделий, от пропаганды социального, расового, национального и религиозного неравенства, а также от распространения печатной продукции, аудио- и видеопродукции, пропагандирующей насилие и жестокость, порнографию, наркоманию, токсикоманию, антиобщественное поведение.
2. В целях обеспечения здоровья, физической, интеллектуальной, нравственной, психической безопасности детей федеральным законом, законами субъектов Российской Федерации устанавливаются нормативы распространения печатной продукции, аудио- и видеопродукции, иной продукции, не рекомендуемой ребенку для пользования в соответствии с пунктом 1 настоящей статьи до достижения им возраста 16 лет.
3. В целях обеспечения безопасности жизни, охраны здоровья, нравственности ребенка, защиты его от негативных воздействий в порядке, определенном Правительством Российской Федерации, проводится экспертиза (социальная, психологическая, педагогическая, санитарная) настольных, компьютерных и иных игр, игрушек и игровых сооружений для детей.
Во-первых, пусть предъявят этот "порядок" я не нашел упоминаний о нем. Наткнулся на проект совершенно идиотского законопроекта, в котором пытаются определить, в каком случае голая натура может считаться порнографией, а в каком не может. Судя по дате, это опус прошлого года.
Во-вторых, является ли видермагнитофон средством для пропаганды порнография и насилия? Ведь, если прокурор принесет с собой на кассете порнуху, видак ее честно покажет! Следует ли из этого, что данный видеомагнитофон является поводом для штрафа, поскольку недостаточно защищен от порнухи?
В-третьих, сейчас не советские времена и штраф снять без ведома школы никто не может. Пусть вызывают в суд и докажут, что в школе ведется пропаганда насилия, порнографии и всего того, за что они хотят срубить бабки. Нигде не сказано, что школа должна заниматься фильтрацией Интернет-трафика. Более того, я считаю эту затею вредной с образовательной точки зрения, т.к. таким образом вспитывается ханжество, а не защищается детская психика - все наоборот. Для младшей школы и ранее "белый фильтр", в котором не нужно изобилие ресурсов - согласен. Но старше - бред.
cogito, ergo sum

Оффлайн qqq

  • Завсегдатай
  • *
  • Сообщений: 95
    • Email
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #6 : 19.03.2010 18:50:09 »
Мне стало интересно другое - на основании чего школа должна заниматься контентной фильтрацией? Это не ее деятельность. Те ссылки на тексты прокуроров, которые приводились в ходе обсуждения, оставляли ощущение полного абсурда. Нашел документ, на который обычно ссылаются:
Цитировать
«Об основных гарантиях прав ребенка в Российской Федерации» от 24 июля 1998 года №124-ФЗ
Статья 14. Защита ребенка от информации, пропаганды и агитации, наносящих вред его здоровью, нравственному и духовному развитию

1. Органы государственной власти Российской Федерации принимают меры по защите ребенка от информации, пропаганды и агитации, наносящих вред его здоровью, нравственному и духовному развитию, в том числе от национальной, классовой, социальной нетерпимости, от рекламы алкогольной продукции и табачных изделий, от пропаганды социального, расового, национального и религиозного неравенства, а также от распространения печатной продукции, аудио- и видеопродукции, пропагандирующей насилие и жестокость, порнографию, наркоманию, токсикоманию, антиобщественное поведение.
2. В целях обеспечения здоровья, физической, интеллектуальной, нравственной, психической безопасности детей федеральным законом, законами субъектов Российской Федерации устанавливаются нормативы распространения печатной продукции, аудио- и видеопродукции, иной продукции, не рекомендуемой ребенку для пользования в соответствии с пунктом 1 настоящей статьи до достижения им возраста 16 лет.
3. В целях обеспечения безопасности жизни, охраны здоровья, нравственности ребенка, защиты его от негативных воздействий в порядке, определенном Правительством Российской Федерации, проводится экспертиза (социальная, психологическая, педагогическая, санитарная) настольных, компьютерных и иных игр, игрушек и игровых сооружений для детей.
Во-первых, пусть предъявят этот "порядок" я не нашел упоминаний о нем. Наткнулся на проект совершенно идиотского законопроекта, в котором пытаются определить, в каком случае голая натура может считаться порнографией, а в каком не может. Судя по дате, это опус прошлого года.
Во-вторых, является ли видермагнитофон средством для пропаганды порнография и насилия? Ведь, если прокурор принесет с собой на кассете порнуху, видак ее честно покажет! Следует ли из этого, что данный видеомагнитофон является поводом для штрафа, поскольку недостаточно защищен от порнухи?
В-третьих, сейчас не советские времена и штраф снять без ведома школы никто не может. Пусть вызывают в суд и докажут, что в школе ведется пропаганда насилия, порнографии и всего того, за что они хотят срубить бабки. Нигде не сказано, что школа должна заниматься фильтрацией Интернет-трафика. Более того, я считаю эту затею вредной с образовательной точки зрения, т.к. таким образом вспитывается ханжество, а не защищается детская психика - все наоборот. Для младшей школы и ранее "белый фильтр", в котором не нужно изобилие ресурсов - согласен. Но старше - бред.

Все замечательно на бумаге и словах.
А как только приходит прокурор так все стоновятся немыми.
В мою родную школу приходил прокурор так ему в ответ не бе не ме.
А пришел я и теперь ни какойц порнухи и так дапее.
И тпрокурор доволен и директор.

Оффлайн mk

  • Завсегдатай
  • *
  • Сообщений: 720
  • М.Э.Кушнир
    • M.Kushnir Sites
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #7 : 19.03.2010 20:36:50 »
как только приходит прокурор так все стоновятся немыми
Так, может, не контент-фильтр надо в первую очередь настраивать? :(((((((
cogito, ergo sum

Оффлайн ruslandh

  • Поспешай не торопясь !
  • Модератор глобальный
  • *****
  • Сообщений: 32 251
  • Учиться .... Телепатами не рождаются, ими ....
    • Email
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #8 : 19.03.2010 21:02:15 »
Не знаю по какому принципу различать что относится к Школьные дистрибутивы, а что к ALT Linux в образовании - IMHO это практически одно и то-же, но раз просите, тему переношу.

Оффлайн Doctor_ORZ

  • Завсегдатай
  • *
  • Сообщений: 91
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #9 : 19.03.2010 22:03:54 »
У меня в одном из отчетов фигурирует такой пункт:
"Обеспечение ОУ услугой доступа к сети Интернет с ограничением доступа к ресурсам, не совместимым с задачами образования и воспитания                (1 - если обеспечено;          0 - если не обеспечено)"
В своё время я на местном уровне пытался выяснить, что есть "услуга доступа к сети Интернет с ограничением доступа...". Выяснил, что это могут быть две вещи: подключение через канал PTCOMM.ru - к нему школы подключали по президентской программе и (или) контент-фильтр из "Первой Помощи". Никаких нормативных актов, наставлений, приказов по этому пункту я найти не смог. Не смог так же найти координат тех, кто мог бы это знать. Может мы тут выясним это, поделимся опытом, так сказать. Но, одно дело отметить это в отчете и совсем другое прокурорская проверка. На форуме "Первой Помощи" этот момент разбирали одно время, попробую ветку перечитать и выжимку сюда представить. Пока же упоминание об этой системе ограничения доступа к ресурсам, не совместимым с задачами образования и воспитания фигурирует в плане Медведева - http://www.infosovet.ru/files/20100213%20Pr-357.pdf - страница 17 пункт 2.8

Оффлайн mk

  • Завсегдатай
  • *
  • Сообщений: 720
  • М.Э.Кушнир
    • M.Kushnir Sites
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #10 : 19.03.2010 23:19:07 »
Пока же упоминание об этой системе ограничения доступа к ресурсам, не совместимым с задачами образования и воспитания фигурирует в плане Медведева - http://www.infosovet.ru/files/20100213%20Pr-357.pdf - страница 17 пункт 2.8
Коллеги, читаем внимательно, что там написано:
Цитировать
Целевой индикатор:
доля образовательных учреждений, имеющих возможность подключения к системе контент-фильтрации
Долженствование в отношении ОУ не предусмотрено. Ответственный - МОН!!!
cogito, ergo sum

Оффлайн Andrei

  • Давно тут
  • **
  • Сообщений: 26
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #11 : 19.03.2010 23:32:56 »
отчасти согласен с "ханженством" в фильтрации...отчасти согласен с "необходимостью", естьм ного нюансов всяких, на которые честно гворя желания у меня заострять внимания нет. Да...дети будут лазать по порно если естьв озможность, пользоваться соц сетями и прочим, будут поучаться всему этому - это ни плохо ни хорошо, это разновидность получаемого опыта.
Но есть нюанс - я админ, директор и зам директора по ит просят фильтрацию со статистикой в меру своих убеждений или привычки, или вмеру воздействия сверху, спорить мне дороже, не хочу даже =)

за ссылку на википедию большое спасибо, хоть и на енглише - постараюсь разобраться

У меня есть маленькая мечта, маленькая совсем - ка разберусь с фильтрацие, хочу написать мини документацию для таких как я - чайников начинающих "squid+dansguardian с нуля для чайников", попунктам, начиная с обьяснения что такое сквид. Я в самом начале даже не до конца понимал отдельная это программа или какая-то настройка, что говорить о конфигах  =).   Если всё сложится удачно, тут размещу.

Оффлайн Doctor_ORZ

  • Завсегдатай
  • *
  • Сообщений: 91
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #12 : 19.03.2010 23:38:52 »
А я вообще не понял, что это за "возможность подключения к системе контент-фильтрации". Нигде никаких данных нет.

Оффлайн mk

  • Завсегдатай
  • *
  • Сообщений: 720
  • М.Э.Кушнир
    • M.Kushnir Sites
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #13 : 19.03.2010 23:52:26 »
А я вообще не понял, что это за "возможность подключения к системе контент-фильтрации". Нигде никаких данных нет.
Насколько я понял наших обучавшихся на курсах им. АйТи, при прохождении данной темы им дали "волшебный" адрес, на который нужно направить прокси для получения "пропуска" к искомым сайтам. Нас это не сильно волнует, т.к. гимназия включена в корпоративную сеть ДОМ, который сам на выходе в Тырнет пасет прокси. Если бы не это, сделали бы именно то, что было сказано на курсах, и любого прокурора отправили бы домой вместе с его предписанием. Если бы он слишком настаивал, пошел бы в суд доказывать правоту своей претензии. Если ума хватит, не пойдет в суд.
Не отвечает школа за фильтрацию ни по закону, ни по Уставу. Если операционное указание "настроить прокси на ответственный фильтр" выполнено, со школы взятки гладки. Строго говоря, и без этого можно отбиваться, но сложнее. Как минимум, они должны предъявить утвержденную Правительством РФ процедуру проверки. В противном случае, на каком основании прокурор учит школу, как учить детей, если у нее есть утвержденная законом лицензия, проведена аккредитация? Давайте, начнем учить прокуратуру, как проводить проверки, если она этого не умеет.
cogito, ergo sum

Оффлайн Doctor_ORZ

  • Завсегдатай
  • *
  • Сообщений: 91
Re: Контент фильтрация. Linux. Squid+Dansguardian
« Ответ #14 : 20.03.2010 00:06:18 »
Ну, теперь я знаю, на кого мне сослаться  :D