Re: [Exim-users] System filter: failed to read pipe

2017-02-20 Пенетрантность Mikhail Golub 

21.02.2017 9:16, Mikhail Golub пишет:

20.02.2017 21:59, Igor Grabin пишет:

On Mon, Feb 20, 2017 at 08:55:57PM +0200, Mikhail Golub wrote:

Google первую же ссылку выдает на
https://lists.exim.org/lurker/message/20140928.141710.fc9eacc5.el.html
Тема "Fix transport-results pipe for multiple recipients combined
with certs".
Как раз похоже на существующую проблему - доставка на несколько
получателей в сочетании с сертификатами.
Видел, что код deliver.c меняли. Может с чем-то перестарались?

ну кааак. код по ссылке больше напоминает затычку, чем фикс. судя по
наличию данного треда - дырка поменяла конфигурацию й чопык выпав.

вы не одиноки с данной проблемой.

кто-то в буржуйской рассылке уже поднимал шум?


Специально подписался, написал. Потом читаю свое сообщение и вижу, что
мало информации для анализа.
Больше не добавлял, так как никто ответить не пытался :(

Пока пофиксил проблему с такими параметрами (добавлением двух последних
опций).


Не помогло :(
"Message frozen" снова пошли.

Одно сообщение размером 95K от <> на 38 получателей.
Второе от реального отправителя размером 1.9M на 22 получателя.

И как-то странно.
Этого глюка небыло, пока Exim не начал использоваться для пересылки 
почты между on premises exchange и office365.
Были через него рассылки на сотни адресов получателей и с использованием 
шифрованных соединений.


--
Mikhail Golub

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users

Re: [Exim-users] System filter: failed to read pipe

2017-02-20 Пенетрантность Mikhail Golub 

21.02.2017 2:26, Victor Ustugov пишет:

Mikhail Golub wrote:


упростить до предела - отломать tls


Для начала tls_require_ciphers


Убрал вообще (и клиент и сервер).
Теперь класс упал с "А" на "В-" на https://www.htbridge.com/ssl/


а у кого-то получилось для exim получить на этом
https://www.htbridge.com/ssl/ оценку A+?


"А" достаточно ...
https://community.centminmod.com/threads/getting-a-on-ssllabs-and-htbridge-ssl-test.8805/
https://community.letsencrypt.org/t/challenge-for-the-a-100-junkies/8648/18

"diff between A and A+ on ssllabs is enabling HSTS in centmin mod lemp 
stack's nginx HTTP/2 setup configs


#HSTS long duration
add_header Strict-Transport-Security "max-age=31536000; preload;";"

--
Mikhail Golub

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users

Re: [Exim-users] System filter: failed to read pipe

2017-02-20 Пенетрантность Mikhail Golub 

20.02.2017 21:59, Igor Grabin пишет:

On Mon, Feb 20, 2017 at 08:55:57PM +0200, Mikhail Golub wrote:

Google первую же ссылку выдает на 
https://lists.exim.org/lurker/message/20140928.141710.fc9eacc5.el.html
Тема "Fix transport-results pipe for multiple recipients combined
with certs".
Как раз похоже на существующую проблему - доставка на несколько
получателей в сочетании с сертификатами.
Видел, что код deliver.c меняли. Может с чем-то перестарались?

ну кааак. код по ссылке больше напоминает затычку, чем фикс. судя по
наличию данного треда - дырка поменяла конфигурацию й чопык выпав.

вы не одиноки с данной проблемой.

кто-то в буржуйской рассылке уже поднимал шум?


Специально подписался, написал. Потом читаю свое сообщение и вижу, что 
мало информации для анализа.

Больше не добавлял, так как никто ответить не пытался :(

Пока пофиксил проблему с такими параметрами (добавлением двух последних 
опций).

Секция main:
tls_certificate = host.cer
tls_privatekey  = host.key
tls_advertise_hosts = *
tls_dhparam = /usr/local/etc/exim/cert/eximdh.key
tls_require_ciphers = TLS_CIPHERS
openssl_options = +dont_insert_empty_fragments +no_sslv2 +no_sslv3
tls_verify_hosts = :
tls_try_verify_hosts = :

И в smtp-транспортах.
  tls_try_verify_hosts = :
  tls_certificate = host.cer
  tls_privatekey  = host.key
  tls_require_ciphers = TLS_CIPHERS
  tls_verify_hosts = :

Согласно документации tls_certificate и tls_privatekey надо указывать 
как в main (exim как сервер) так и в транспорте (exim как клиент).
Но опытным путем проверил, что если НЕ указывать эти опции в транспорте, 
то используются опции из main и письмо уходит используя esmtps (судя по 
логу на получателе).


--
Mikhail Golub

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users

Re: [Exim-users] System filter: failed to read pipe

2017-02-20 Пенетрантность Igor Grabin 
On Mon, Feb 20, 2017 at 08:55:57PM +0200, Mikhail Golub wrote:
> Google первую же ссылку выдает на 
> https://lists.exim.org/lurker/message/20140928.141710.fc9eacc5.el.html
> Тема "Fix transport-results pipe for multiple recipients combined
> with certs".
> Как раз похоже на существующую проблему - доставка на несколько
> получателей в сочетании с сертификатами.
> Видел, что код deliver.c меняли. Может с чем-то перестарались?
ну кааак. код по ссылке больше напоминает затычку, чем фикс. судя по
наличию данного треда - дырка поменяла конфигурацию й чопык выпав.

вы не одиноки с данной проблемой.

кто-то в буржуйской рассылке уже поднимал шум?

mbr,
-- 
Igor "CacoDem0n" Grabin

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users

Re: [Exim-users] System filter: failed to read pipe

2017-02-20 Пенетрантность Mikhail Golub 

20.02.2017 20:37, l...@lena.kiev.ua пишет:

Вот здесь не понятно, почему он вернулся к обработке сообщения?



... куча ругани типа:
DSN read: addr->dsn_aware = 1


DSN - отдельное новое письмо-уведомление, что письмо отправлено?


Типа уведомления о доставке?

Google первую же ссылку выдает на 
https://lists.exim.org/lurker/message/20140928.141710.fc9eacc5.el.html
Тема "Fix transport-results pipe for multiple recipients combined with 
certs".
Как раз похоже на существующую проблему - доставка на несколько 
получателей в сочетании с сертификатами.

Видел, что код deliver.c меняли. Может с чем-то перестарались?

P.S. Отключил поддержку DSN в Exim, хотя и не использовал ее.
И всеравно ошибка :(

mail_exim_SET_FORCE=DAEMON EMBEDDED_PERL CONTENT_SCAN LSEARCH SUID SPF 
SRS MYSQL OPENLDAP TLS
mail_exim_UNSET_FORCE=IPV6 MAILDIR MAILSTORE NIS PAM SASLAUTHD AUTH_SASL 
AUTH_CRAM_MD5 AUTH_RADIUS AUTH_PLAINTEXT INTERNATIONAL DSN



--
Mikhail Golub

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users

Re: [Exim-users] System filter: failed to read pipe

2017-02-20 Пенетрантность Lena 
> Вот здесь не понятно, почему он вернулся к обработке сообщения?

> ... куча ругани типа:
> DSN read: addr->dsn_aware = 1

DSN - отдельное новое письмо-уведомление, что письмо отправлено?

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users

Re: [Exim-users] System filter: failed to read pipe

2017-02-20 Пенетрантность Mikhail Golub 

20.02.2017 18:12, l...@lena.kiev.ua пишет:

упростить до предела - отломать tls


Для начала tls_require_ciphers


Убрал вообще (и клиент и сервер).
Теперь класс упал с "А" на "В-" на https://www.htbridge.com/ssl/
Но если сбоить перестанет, то затем можно поднастроить этот параметр.

отломать tls - даже не рассматривается ... :)

На одном из сообщений, что было заморожено, запустил доставку с дебагом 
(exim -d -M msg_id).

К SSL у Exim вопросов нет:
...
  SMTP>> STARTTLS
cmd buf flush 10 bytes
read response data: size=29
  SMTP<< 220 2.0.0 SMTP server ready
openssl option, adding from 110: 800 (dont_insert_empty_fragments 
+no_sslv2 +no_sslv3)

openssl option, adding from 1100800: 100 (no_sslv2 +no_sslv3)
openssl option, adding from 1100800: 200 (no_sslv3)
setting SSL CTX options: 0x3100800
Diffie-Hellman initialized from default with 2048-bit prime
tls_certificate file /usr/local/etc/exim/cert/host.cer
tls_privatekey file /usr/local/etc/exim/cert/host.key
Initialized TLS
required ciphers: 
ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA:ECDHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES256-SHA:ECDHE-ECDSA-DES-CBC3-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:DES-CBC3-SHA:!DSS

10.0.1.1 in tls_verify_hosts? no (option unset)
10.0.1.1 in tls_try_verify_hosts? no (end of list)
Calling SSL_connect
SSL info: before/connect initialization
SSL info: before/connect initialization
SSL info: SSLv2/v3 write client hello A
SSL info: SSLv3 read server hello A
SSL info: SSLv3 read server certificate A
SSL info: SSLv3 read server key exchange A
SSL info: SSLv3 read server certificate request A
SSL info: SSLv3 read server done A
SSL info: SSLv3 write client certificate A
SSL info: SSLv3 write client key exchange A
SSL info: SSLv3 write certificate verify A
SSL info: SSLv3 write change cipher spec A
SSL info: SSLv3 write finished A
SSL info: SSLv3 flush data
SSL info: SSLv3 read finished A
SSL info: SSL negotiation finished successfully
SSL info: SSL negotiation finished successfully
SSL_connect succeeded
Cipher: TLSv1.2:ECDHE-RSA-AES256-SHA384:256
...
Дальше приветствие, mail from, rcpt to, data ... - все ок.
...
  SMTP>> QUIT
cmd buf flush 6 bytes
tls_do_write(0x7fffa270, 6)
SSL_write(SSL, 0x7fffa270, 6)
outbytes=6 error=0
tls_close(): shutting down SSL
SSL info: SSL negotiation finished successfully
  SMTP(close)>>
...
Вот здесь не понятно, почему он вернулся к обработке сообщения?
...
Leaving exchange_transport transport
set_process_info: 15161 delivering 1cfpCE-0003uE-Qp (just run 
exchange_transport for user@domain, ... in subprocess)

search_tidyup called
header write id:S,subid:0,size:4,final:S04
header write id:X,subid:1,size:105,final:X100105
reading pipe for subprocess 15161 (not ended)
... куча ругани типа:
DSN read: addr->dsn_aware = 1
header read 
id:A,subid:0,size:00214,required:221,remaining:4881,unfinished:0
header read 
id:X,subid:1,size:00105,required:112,remaining:4660,unfinished:0
header read 
id:X,subid:2,size:04389,required:4396,remaining:4548,unfinished:0
header read 
id:X,subid:3,size:02067,required:2074,remaining:152,unfinished:0

remote delivery process 15161 ended
set_process_info: 15154 delivering 1cfpCE-0003uE-Qp
post-process user@domain (1)
LOG: MAIN
  == user@domain  R=exchange_router_user 
T=exchange_transport defer (0) H=10.0.1.1 [10.0.1.1]: failed to read 
pipe from transport process 15161 for transport smtp: required size=2074 
> remaining size=152 and unfinished=false

...

Вижу, что никто с таким не сталкивался.
Но если найдется решение - может потом будет полезно кому-то.


--
Mikhail Golub

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users

Re: [Exim-users] System filter: failed to read pipe

2017-02-20 Пенетрантность Lena 
> упростить до предела - отломать tls

Для начала tls_require_ciphers

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users

Re: [Exim-users] System filter: failed to read pipe

2017-02-20 Пенетрантность Alexander Titaev 
Здравствуйте, Mikhail.

Вы писали 20 февраля 2017 г., 22:32:40:



> Что еще не так в транспортах smtp? :(

> exchange_transport:
>driver = smtp
>hosts = такой-то
>port = такой-то
>hosts_try_chunking =
>tls_try_verify_hosts = :
>tls_certificate = /usr/local/etc/exim/cert/host.cer
>tls_privatekey  = /usr/local/etc/exim/cert/host.key
>tls_require_ciphers = 
> ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA:ECDHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES256-SHA:ECDHE-ECDSA-DES-CBC3-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:DES-CBC3-SHA:!DSS

упростить до предела - отломать tls


-- 
С уважением,
 Alexander  mailto:t...@irk.ru


___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users

Re: [Exim-users] System filter: failed to read pipe

2017-02-20 Пенетрантность Mikhail Golub 

17.02.2017 14:42, Mikhail Golub пишет:

16.02.2017 14:04, Mikhail Golub пишет:

16.02.2017 13:56, l...@lena.kiev.ua пишет:

Мне кажется, что этот лог имеет смысл отправить в англоязычную
exim-users
https://lists.exim.org/mailman/listinfo/exim-users


Пока перешел к третьему варианту - "Скомпилировать 4.89_RC*"



Не помогло :(
Пол дня тишина - думал что решено. Нет ... :(

Исходящее письмо. 40 получателей на один домен в облаке Office 365
(*onmicrosoft-com.mail.protection.outlook.com).
30 сообщений "T=remote_smtp defer (0)" и остальные - "T=remote_smtp
defer (-1)".
"failed to read pipe from transport process 95416 for transport smtp:
required size=2816 > remaining size=2786 and unfinished=false"

Значит 4.89 не спасает.


Вернулся на 4.88 #2

Ошибки даже при доставке на локальный Exchange.
smtp transport process returned non-zero status 0x0100: exit code 1
failed to read pipe from transport process 9515 for transport smtp: 
required size=2074 > remaining size=80 and unfinished=false


Системный фильтр отключал - не помогло. Не в нем дело.

Что еще не так в транспортах smtp? :(

exchange_transport:
  driver = smtp
  hosts = такой-то
  port = такой-то
  hosts_try_chunking =
  tls_try_verify_hosts = :
  tls_certificate = /usr/local/etc/exim/cert/host.cer
  tls_privatekey  = /usr/local/etc/exim/cert/host.key
  tls_require_ciphers = 
ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA:ECDHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES256-SHA:ECDHE-ECDSA-DES-CBC3-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:DES-CBC3-SHA:!DSS


Сообщение замораживается.
Если "пнуть" (Exim -M id) - письмо размораживается и доставляется 
(иногда снова замораживается, но с n-ой попытки все же доставляется).

TLS отключать не хочется.

P.S. Что изменилось? - в день, когда начались проблемы, обновлялся exim 
до "4.88 #2" и начался довольно интенсивный почтовый обмен через Exim 
между локальным и облачным Exchange.


--
Mikhail Golub

___
Exim-users mailing list
Exim-users@mailground.net
http://mailground.net/mailman/listinfo/exim-users