Автор Тема: Очистка очереди postfix по критериям (Прочитано 9184 раз)

ZMyk · « : 19.07.2013 17:37:04 »

Доброго времени суток.

# uname -r
2.6.32-el-smp-alt31

Валится спам с некоторых ящиков, взломали пароли..... тут прежний админ использовал пароли первой секретности и справлялся просто:
если mailq|wc -l больше 5000, postsuper -d ALL
Сменил пароли, проверил на релей все норм. Теперь у меня в очереди около 500 000 писем, в основном Undelivered Mail Returned to Sender. Возник вопрос об частичной очистке очереди по критериям.
По отправителю, по получателю, по теме.....
Как то так:

Код: [Выделить]

mailq|grep 'MAILER-DAEMON'|awk '{print $1}'|xargs -i{} -n1 postsuper -d {} deferred
mailq|grep 'RECIPIENT@DOMEN.RU'|awk '{print $1}'|postsuper -d -

Подскажите, пожалуйста, как правильнее чистить.... понимаю что лучше не допускать такого, но уж если случилось

ZMyk · « **Ответ #1 :** 19.07.2013 17:41:42 »

Вот что нагуглил, подойдет ли для Alt:

Цитировать

Код: [Выделить]
[root@server ~]# mailq | grep -v "Queue ID" | while read line; do if [ "1" != `echo $line | wc -m` ]; then echo -n " "$line; else echo""; fi ; done | grep "sender or non delivery message" | awk '{ print $1 }' | postsuper -d -
Используя свои данные вместо тех что указаны в примере "sender or non delivery message" можно легко очистить очередь от ненужных писем.

Skull · « **Ответ #2 :** 19.07.2013 17:47:05 »

А чего не подойти?

Andrey · « **Ответ #3 :** 20.07.2013 13:17:13 »

Если Вас это интересует и не найдете до понедельника, Вы мне в кличку напомните, я скриптец вылажу на форум, но он легко гуглится.

ZMyk · « **Ответ #4 :** 21.07.2013 07:07:47 »

Цитата: Andrey от 20.07.2013 13:17:13

Если Вас это интересует и не найдете до понедельника, Вы мне в кличку напомните, я скриптец вылажу на форум, но он легко гуглится.

Выложите, пожалуйста. Я уже разгреб очередь, но ящиков много, а у кого еще простой пароль точно не известно. В любом случае в копилке полезных скриптов лишним не будет, да и может еще кому пригодится.

Andrey · « **Ответ #5 :** 23.07.2013 06:35:42 »

По просьбе ТС выкладываю то чем пользуюсь я. Не претендует на идеальное решение.

Код: [Выделить]

#!/usr/bin/perl                                                                                                                                                                                                                       
                                                                                                                                                                                                                                      
$REGEXP = shift || die "no email-adress given (regexp-style, e.g. bl.*\@yahoo.com)!";                                                                                                                                                 
                                                                                                                                                                                                                                      
@data = qx</usr/sbin/postqueue -p>;                                                                                                                                                                                                   
for (@data) {                                                                                                                                                                                                                         
  if (/^(\w+)(\*|\!)?\s/) {                                                                                                                                                                                                           
       $queue_id = $1;                                                                                                                                                                                                                
         }                                                                                                                                                                                                                            
           if($queue_id) {                                                                                                                                                                                                            
               if (/$REGEXP/i) {                                                                                                                                                                                                      
                     $Q{$queue_id} = 1;                                                                                                                                                                                               
                           $queue_id = "";                                                                                                                                                                                            
                               }                                                                                                                                                                                                      
                                 }                                                                                                                                                                                                    
                                 }                                                                                                                                                                                                    
                                 #open(POSTSUPER,"|cat") || die "couldn't open postsuper" ;                                                                                                                                           
                                 open(POSTSUPER,"|postsuper -d -") || die "couldn't open postsuper" ;                                                                                                                                 
                                                                                                                                                                                                                                      
                                 foreach (keys %Q) {                                                                                                                                                                                  
                                   print POSTSUPER "$_\n";                                                                                                                                                                            
                                   };                                                                                                                                                                                                 
                                   close(POSTSUPER);

ZMyk · « **Ответ #6 :** 23.08.2013 05:52:31 »

mailq часто показывает подобное:

Код: [Выделить]

-Queue ID- --Size-- ----Arrival Time---- -Sender/Recipient-------
C30ED2001E2E7    11775 Fri Aug 23 11:22:23  grigorev.akim@mail.ru
   (lost connection with mail.inkor.kg[176.123.228.226] while sending RCPT TO)
                                         office@inkor.kg

AE3D42001E9D0    12600 Fri Aug 23 11:32:44  rogneda.vadyaeva@mail.ru
(host mx01.gmx.com[74.208.5.27] refused to talk to me: 554-gmx.net (mxgmxus003) Nemesis ESMTP Service not available 554-No SMTP service 554 invalid DNS PTR resource record)
                                         drchristi@mail.com
             (connect to permail.com[208.73.210.210]:25: Connection timed out)
                                         cioubuidangue@permail.com
(host zidmx3.univie.ac.at[131.130.3.102] said: 451 if you know how to handle 4xx you are welcome to try again later (in reply to end of DATA command))
                                         philip@dke.univie.ac.at

2E9942001E2F3    24352 Fri Aug 23 11:28:44  idimurova@inbox.ru
(host mx.fashiongalaxy.ru[83.137.51.130] said: 450 4.7.1 <vetsakha.vetsakha>: Helo command rejected: Host not found (in reply to RCPT TO command))
                                         maxim@fashiongalaxy.ru
(host mx8.go2.pl[193.17.41.48] refused to talk to me: 554 Client address rejected: No reverse DNS for 188.244.185.216)
                                         fil8@tlen.pl

21ED02003CCC4    22102 Fri Aug 23 11:18:42  eznel758evu@inbox.ru
(host mx7.bigmir.net[213.186.116.118] said: 451 Unauthorised request. Try again later (in reply to RCPT TO command))
                                         slavkor@bigmir.net
(host mail.fesmu.ru[212.19.8.155] said: 451 4.7.1 Greylisting in action, please come back later (in reply to RCPT TO command))
                                         dmgf@mail.fesmu.ru
              (connect to 148.240.4.32[148.240.4.32]:25: Connection timed out)
                                         feqogi@moi.ru

4ED9120034733    21285 Fri Aug 23 11:25:55  sofon.axryapov@mail.ru
(host mailstore1.secureserver.net[72.167.238.201] refused to talk to me: 554-p3pismtp01-037.prod.phx3.secureserver.net 554 Your access to this mail system has been rejected due to the sending MTA's poor reputation. If you believe that this failure is in error, please contact the intended recipient via alternate means.)
                                         elinselni@bensmail.com
(host mailstore1.secureserver.net[72.167.238.201] refused to talk to me: 554-p3pismtp01-069.prod.phx3.secureserver.net 554 Your access to this mail system has been rejected due to the sending MTA's poor reputation. If you believe that this failure is in error, please contact the intended recipient via alternate means.)
                                         horthybosri@montmail.com
(Host or domain name not found. Name service error for name=au.com.ua type=MX: Host not found, try again)
                                         pivizj@au.com.ua

-- 92 Kbytes in 5 Requests.

Сегодня 3000 таких вот писем. Откуда они тут берутся? Релей?

Код: [Выделить]

Escape character is '^]'.
220 vetsakha.vetsakha ESMTP Postfix
helo 1
250 vetsakha.vetsakha
mail from: <test@mail.ru>
250 2.1.0 Ok
rcpt to:<test2@mail.ru>
554 5.7.1 <test2@mail.ru>: Relay access denied
quit
221 2.0.0 Bye
Connection closed by foreign host.

PTR у сервера нет. Сменили адрес и пока не настроен.

ZMyk · « **Ответ #7 :** 27.08.2013 09:55:58 »

Код: [Выделить]

load average: 4.22, 3.85, 3.29От такой очереди нагрузка растет. В каких логах и что смотреть? Не сами же письма с "левых" адресов в очередь лезут.
Посоветуйте как бороться?

ZMyk · « **Ответ #8 :** 26.09.2013 07:29:07 »

Ковырял и так ничего и не вышло.
Посмотрите, что не так в настройках, пожалуйста.
main.cf Postfix прилагаю

asy · « **Ответ #9 :** 26.09.2013 11:51:58 »

Цитата: ZMyk от 23.08.2013 05:52:31

mailq часто показывает подобное:
Код: [Выделить]
-Queue ID- --Size-- ----Arrival Time---- -Sender/Recipient------- C30ED2001E2E7Сегодня 3000 таких вот писем. Откуда они тут берутся? Релей?

cat /var/log/mail/all|grep C30ED2001E2E7
в первую очередь смотреть (или уже не all, если заротейтиться успело). Потом думать по результату.

ZMyk · « **Ответ #10 :** 26.09.2013 12:13:44 »

Цитата: asy от 26.09.2013 11:51:58

Цитата: ZMyk от 23.08.2013 05:52:31
mailq часто показывает подобное:
Код: [Выделить]
-Queue ID- --Size-- ----Arrival Time---- -Sender/Recipient------- C30ED2001E2E7Сегодня 3000 таких вот писем. Откуда они тут берутся? Релей?
cat /var/log/mail/all|grep C30ED2001E2E7
в первую очередь смотреть (или уже не all, если заротейтиться успело). Потом думать по результату.

Взял другой Queue

Код: [Выделить]

D43212001D320*   13568 Thu Sep 26 18:06:17  umyv710navyqac@inbox.ru
                                         info@360gradusov.com
                                         efole@imail.com
                                         oociv@microsoft.com
                                         lemhornjensing@twitmail.com
                                         itrix@ukr.net

Код: [Выделить]

[root@vetsakha mail]# cat /var/log/mail/all |grep D43212001D320
Sep 26 18:06:17 vetsakha postfix/pickup[31930]: D43212001D320: uid=130 from=<umyv710navyqac@inbox.ru>
Sep 26 18:06:17 vetsakha postfix/cleanup[31974]: D43212001D320: message-id=<20130926080612.2728B2001D25F@vetsakha.vetsakha>
Sep 26 18:06:17 vetsakha postfix/qmgr[31931]: D43212001D320: from=<umyv710navyqac@inbox.ru>, size=13568, nrcpt=6 (queue active)
Sep 26 18:06:19 vetsakha postfix/smtp[32065]: D43212001D320: to=<gtrans@russia.ru>, relay=post.russia.ru[83.222.2.216]:25, delay=1.6, delays=0.08/0.01/0.76/0.73, dsn=5.7.1, status=bounced (host post.russia.ru[83.222.2.216] said: 554 5.7.1 Service unavailable; Client host [188.244.185.216] blocked using zen.spamhaus.org; http://www.spamhaus.org/query/bl?ip=188.244.185.216 (in reply to RCPT TO command))
Sep 26 18:06:33 vetsakha postfix/smtp[31995]: D43212001D320: to=<oociv@microsoft.com>, relay=microsoft-com.mail.protection.outlook.com[207.46.163.247]:25, delay=16, delays=0.08/0.01/10/5.3, dsn=5.7.1, status=bounced (host microsoft-com.mail.protection.outlook.com[207.46.163.247] said: 550 5.7.1 Service unavailable; Client host [188.244.185.216] blocked using Spamhaus; To request removal from this list see http://www.spamhaus.org/lookup.lasso (in reply to RCPT TO command))
Sep 26 18:06:39 vetsakha postfix/smtp[31992]: D43212001D320: to=<itrix@ukr.net>, relay=none, delay=21, delays=0.08/0.01/21/0, dsn=4.4.1, status=deferred (connect to mxs.ukr.net[195.214.192.100]:25: Connection timed out)
Sep 26 18:06:39 vetsakha postfix/smtp[31996]: D43212001D320: host lb-mx.zmail.com[212.227.218.8] refused to talk to me: 421 4.7.1 Service unavailable; Client host [188.244.185.216] blocked using reject.bl.icom.lan; http://www.spamhaus.org/query/bl?ip=188.244.185.216
Sep 26 18:06:39 vetsakha postfix/smtp[31996]: D43212001D320: host mx05.zmail.com[212.227.218.24] refused to talk to me: 421 4.7.1 Service unavailable; Client host [188.244.185.216] blocked using reject.bl.icom.lan; http://www.spamhaus.org/query/bl?ip=188.244.185.216
Sep 26 18:06:39 vetsakha postfix/smtp[31996]: D43212001D320: host mx01.zmail.com[212.227.218.20] refused to talk to me: 421 4.7.1 Service unavailable; Client host [188.244.185.216] blocked using reject.bl.icom.lan; http://www.spamhaus.org/query/bl?ip=188.244.185.216
Sep 26 18:06:40 vetsakha postfix/smtp[31996]: D43212001D320: to=<efole@imail.com>, relay=mx03.zmail.com[212.227.218.22]:25, delay=22, delays=0.08/0.01/22/0, dsn=4.7.1, status=deferred (host mx03.zmail.com[212.227.218.22] refused to talk to me: 421 4.7.1 Service unavailable; Client host [188.244.185.216] blocked using reject.bl.icom.lan; http://www.spamhaus.org/query/bl?ip=188.244.185.216)
Sep 26 18:06:49 vetsakha postfix/smtp[32067]: D43212001D320: to=<lemhornjensing@twitmail.com>, relay=ASPMX.L.GOOGLE.com[74.125.143.26]:25, delay=32, delays=0.08/0.01/1.1/31, dsn=5.7.1, status=bounced (host ASPMX.L.GOOGLE.com[74.125.143.26] said: 550-5.7.1 [188.244.185.216       1] Our system has detected an unusual rate of 550-5.7.1 unsolicited mail originating from your IP address. To protect our 550-5.7.1 users from spam, mail sent from your IP address has been blocked. 550-5.7.1 Please visit http://www.google.com/mail/help/bulk_mail.html to review 550 5.7.1 our Bulk Email Senders Guidelines. d5si247054laf.60 - gsmtp (in reply to end of DATA command))
Sep 26 18:06:49 vetsakha postfix/smtp[32400]: D43212001D320: to=<info@360gradusov.com>, relay=aspmx.l.google.com[74.125.143.26]:25, delay=32, delays=0.08/0.01/1.4/31, dsn=5.7.1, status=bounced (host aspmx.l.google.com[74.125.143.26] said: 550-5.7.1 [188.244.185.216       1] Our system has detected an unusual rate of 550-5.7.1 unsolicited mail originating from your IP address. To protect our 550-5.7.1 users from spam, mail sent from your IP address has been blocked. 550-5.7.1 Please visit http://www.google.com/mail/help/bulk_mail.html to review 550 5.7.1 our Bulk Email Senders Guidelines. t6si208595lag.170 - gsmtp (in reply to end of DATA command))
Sep 26 18:06:49 vetsakha postfix/bounce[577]: D43212001D320: sender non-delivery notification: EA6B72001D237

Ругает PTR и уже некоторые в спам лист добавили. Или я чего-то пропускаю?

asy · « **Ответ #11 :** 26.09.2013 13:34:09 »

Цитата: ZMyk от 26.09.2013 12:13:44

Код: [Выделить]
[root@vetsakha mail]# cat /var/log/mail/all |grep D43212001D320 Sep 26 18:06:17 vetsakha postfix/pickup[31930]: D43212001D320: uid=130 from=<umyv710navyqac@inbox.ru> Sep 26 18:06:17 vetsakha postfix/cleanup[31974]: D43212001D320: message-id=<20130926080612.2728B2001D25F@vetsakha.vetsakha> Sep 26 18:06:17 vetsakha postfix/qmgr[31931]: D43212001D320: from=<umyv710navyqac@inbox.ru>, size=13568, nrcpt=6 (queue active)

Был бы Sendmail, я бы подробнее подсказал... А если по этим PID выборку ?
grep "31930\|31974\|31931"

Цитата: ZMyk от 26.09.2013 12:13:44

Или я чего-то пропускаю?

Наверное, нет.

asy · « **Ответ #12 :** 26.09.2013 13:45:45 »

Кстати, а попробуйте apt-get install mailfromd mailfromd-cfg_clamav, подключите фильтр к Постфиксу (на clamav внимание не обращайте, не в нём дело, просто этот конфиг попроще). В "prog envfrom" добавьте:

Код: [Выделить]

if macro_defined("auth_authen")
  header_add("X-authenticated", "as \"" . ${auth_authen} . "\" on host \"" . $j . "\"", 0)
  echo "%queue_id: sender was authenticated as " . ${auth_authen}
fi

И в начало "set queue_id $i" - это, кстати,баг в конфиге, надо бы поправить не забыть в пакете...
Сообщение за сессию может быть не одно, определения в helo мало.

Для Postfx современного, вроде бы, полная поддержка milter добавлена... Но, возможно, header_add не сработает с ним. Тогда эту строку убрать, хоть в логе останется информация.

А, да. Для Sendmail требуется экспорт некоторых макросов в milter, не знаю, как с этим в Постфиксе. Вот что я для полного конфига экспортирую:

Код: [Выделить]

define(`confMILTER_MACROS_CONNECT',confMILTER_MACROS_CONNECT`, i, {client_addr}, {client_ptr}')dnl Need for: mailfromd
define(`confMILTER_MACROS_HELO',confMILTER_MACROS_HELO`, {client_addr}')dnl Need for: mailfromd
define(`confMILTER_MACROS_ENVFROM',confMILTER_MACROS_ENVFROM`, f, {client_addr}')dnl Need for: mailfromd
define(`confMILTER_MACROS_EOM', confMILTER_MACROS_EOM`, {client_addr}')dnl Need for: mailfromd

ZMyk · « **Ответ #13 :** 01.10.2013 06:30:22 »

Цитата: asy от 26.09.2013 13:45:45

Кстати, а попробуйте apt-get install mailfromd mailfromd-cfg_clamav, подключите фильтр к Постфиксу (на clamav внимание не обращайте, не в нём дело, просто этот конфиг попроще).

Подключил mailfromd, 2 дня было спокойно, но сегодня опять началось. Либо был "перекур" у спамеров, либо где то дыра (возможно и то и другое), но как ее найти и закрыть?
Сегодня с утра снова началось:
System Administrator: Server report
-- Load Average: 3.40 --
-- Message queue: 25106 --

Спойлер

Код: [Выделить]

Oct  1 06:01:53 vetsakha postfix/pickup[23734]: D4FEF2003F38F: uid=130 from=<amelyanova.liliana@mail.ru>
Oct  1 06:01:53 vetsakha postfix/cleanup[21913]: D4FEF2003F38F: message-id=<20130930200144.A3B1E2003F389@vetsakha.vetsakh
a>
Oct  1 06:01:53 vetsakha postfix/qmgr[7825]: D4FEF2003F38F: from=<amelyanova.liliana@mail.ru>, size=5279, nrcpt=6 (queue
active)
Oct  1 06:01:54 vetsakha postfix/smtp[23248]: D4FEF2003F38F: host mx.yandex.ru[77.88.21.89] refused to talk to me: 554 5.
7.1 Service unavailable; Client host [188.244.185.216] blocked using spamsource.mail.yandex.net; Blocked by spam statisti
cs - see http://feedback.yandex.ru/?from=mail-rejects&subject=188.244.185.216
Oct  1 06:01:54 vetsakha postfix/smtp[23198]: D4FEF2003F38F: host mx.yandex.ru[93.158.134.89] refused to talk to me: 554
5.7.1 Service unavailable; Client host [188.244.185.216] blocked using spamsource.mail.yandex.net; Blocked by spam statis
tics - see http://feedback.yandex.ru/?from=mail-rejects&subject=188.244.185.216
Oct  1 06:01:54 vetsakha postfix/smtp[23248]: D4FEF2003F38F: host mx.yandex.ru[87.250.250.89] refused to talk to me: 554
5.7.1 Service unavailable; Client host [188.244.185.216] blocked using spamsource.mail.yandex.net; Blocked by spam statis
tics - see http://feedback.yandex.ru/?from=mail-rejects&subject=188.244.185.216
Oct  1 06:01:54 vetsakha postfix/smtp[22469]: D4FEF2003F38F: to=<feiren0115@abercrombiesalejp.com>, relay=none, delay=0.2
9, delays=0.08/0.01/0.2/0, dsn=5.4.4, status=bounced (Host or domain name not found. Name service error for name=abercrom
biesalejp.com type=A: Host not found)
Oct  1 06:01:54 vetsakha postfix/smtp[23198]: D4FEF2003F38F: host mx.yandex.ru[77.88.21.89] refused to talk to me: 554 5.
7.1 Service unavailable; Client host [188.244.185.216] blocked using spamsource.mail.yandex.net; Blocked by spam statisti
cs - see http://feedback.yandex.ru/?from=mail-rejects&subject=188.244.185.216
Oct  1 06:01:54 vetsakha postfix/smtp[23248]: D4FEF2003F38F: host mx.yandex.ru[213.180.193.89] refused to talk to me: 554
 5.7.1 Service unavailable; Client host [188.244.185.216] blocked using spamsource.mail.yandex.net; Blocked by spam stati
stics - see http://feedback.yandex.ru/?from=mail-rejects&subject=188.244.185.216
Oct  1 06:01:55 vetsakha postfix/smtp[23198]: D4FEF2003F38F: host mx.yandex.ru[213.180.193.89] refused to talk to me: 554
 5.7.1 Service unavailable; Client host [188.244.185.216] blocked using spamsource.mail.yandex.net; Blocked by spam stati
stics - see http://feedback.yandex.ru/?from=mail-rejects&subject=188.244.185.216
Oct  1 06:01:55 vetsakha postfix/smtp[23248]: D4FEF2003F38F: host mx.yandex.ru[213.180.204.89] refused to talk to me: 554
 5.7.1 Service unavailable; Client host [188.244.185.216] blocked using spamsource.mail.yandex.net; Blocked by spam stati
stics - see http://feedback.yandex.ru/?from=mail-rejects&subject=188.244.185.216
Oct  1 06:01:55 vetsakha postfix/smtp[23198]: D4FEF2003F38F: host mx.yandex.ru[213.180.204.89] refused to talk to me: 554
 5.7.1 Service unavailable; Client host [188.244.185.216] blocked using spamsource.mail.yandex.net; Blocked by spam stati
stics - see http://feedback.yandex.ru/?from=mail-rejects&subject=188.244.185.216
Oct  1 06:01:55 vetsakha postfix/smtp[23229]: D4FEF2003F38F: host smtp.secureserver.net[72.167.238.29] refused to talk to
 me: 554 p3plibsmtp01-04.prod.phx3.secureserver.net bizsmtp IB106. Connection refused. 188.244.185.216 is listed on the P
olicy Block List (PBL). Please visit http://www.spamhaus.org/pbl/ for more information.
Oct  1 06:01:55 vetsakha postfix/smtp[23198]: D4FEF2003F38F: to=<shauro@irkp31.ru>, relay=mx.yandex.ru[87.250.250.89]:25,
 delay=1.7, delays=0.08/0.01/1.6/0, dsn=4.7.1, status=deferred (host mx.yandex.ru[87.250.250.89] refused to talk to me: 5
54 5.7.1 Service unavailable; Client host [188.244.185.216] blocked using spamsource.mail.yandex.net; Blocked by spam sta
tistics - see http://feedback.yandex.ru/?from=mail-rejects&subject=188.244.185.216)
Oct  1 06:01:56 vetsakha postfix/smtp[23229]: D4FEF2003F38F: to=<trunfahcadal@numbmail.com>, relay=mailstore1.secureserve
r.net[72.167.238.29]:25, delay=2.3, delays=0.08/0.01/2.2/0, dsn=4.0.0, status=deferred (host mailstore1.secureserver.net[
72.167.238.29] refused to talk to me: 554 p3plibsmtp01-03.prod.phx3.secureserver.net bizsmtp IB106. Connection refused. 1
88.244.185.216 is listed on the Policy Block List (PBL). Please visit http://www.spamhaus.org/pbl/ for more information.)
Oct  1 06:01:57 vetsakha postfix/smtp[23248]: D4FEF2003F38F: to=<info@bankproektov.ru>, relay=mx.yandex.ru[93.158.134.89]
:25, delay=3.6, delays=0.08/0.01/3.5/0, dsn=4.7.1, status=deferred (host mx.yandex.ru[93.158.134.89] refused to talk to m

asy · « **Ответ #14 :** 01.10.2013 13:15:16 »

Цитата: ZMyk от 01.10.2013 06:30:22

Сегодня с утра снова началось:

А mailfromd что пишет ? Вся затея была из-за строки "sender was authenticated as" в логе. Попадает ? И, вообще, хоть что-то попадает в лог от него ?

Форум сообщества
Альт Линукс