Re: 104: Connection reset by peer

[Evgeniy Berdnikov]

On Fri, Mar 20, 2020 at 07:17:44AM -0400, inkognito0609 wrote:
> Странно, потому что tcpdump показывает что RST отправляет именно балансер

 Значит, это не тот RST, а случайно попавшийся на глаза в дампе.
 Неудивительно, что он оказался не от того процесса, который нужен.

 Чтобы найти нужный, нужно сопоставлять дамп трафика и трейс системных
 вызовов, в том числе по отметкам времени.

> 11:02:29.210528 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 50630,
> win 255, options [nop,nop,TS val 4257877940 ecr 1022466631], length 0
> 11:02:29.215540 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [R.], seq 309,
> ack 50630, win 255, options [nop,nop,TS val 4257877945 ecr 1022466631],
> length 0
-- 
 Eugene Berdnikov
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Keepalives considered harmful

[Илья Шипицин]

пт, 20 мар. 2020 г. в 16:05, Valery Kholodkov :

> Там возникает дисбаланс в загрузке воркеров из-за того что часть
> клиентов привязаны к своим воркерам через keep-alive. Отключая
> keep-alive они заставляют клиентов мигрировать на менее загруженные
> воркеры.
>

это я понимаю. клиент привязан к воркеру.
с чего бы воркеру, к которому я привязан, деградировать по
производительности ? пусть даже он и нагружен.

надо еще раз перечитать ))


>
> Описывается комуникация внутри их стэка, про что и статья. Полагаю,
> заголовок, нужно читать "[In some cases] keepalives considered harmful".
>
> On 20-03-20 11:11, Илья Шипицин wrote:
> > Речь идёт про то, что не все воркеры одинаково хороши. Но не
> > раскрывается, почему они могут быть нехороши. Блокирущие воркеры?
> >
> > On Fri, Mar 20, 2020, 1:03 AM Gena Makhomed  > > wrote:
> >
> > Здравствуйте, All!
> >
> > Интересная статья в блоге Cloudflare:
> >
> > https://blog.cloudflare.com/keepalives-considered-harmful/
> >
> > Keepalives considered harmful
> --
> Val
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: 104: Connection reset by peer

[inkognito0609]

Странно, потому что tcpdump показывает что RST отправляет именно балансер
---
11:02:29.208274 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [S], seq
1825789029, win 29200, options [mss 1460,sackOK,TS val 4257877938 ecr
0,nop,wscale 9], length 0
11:02:29.208683 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [S.], seq
2625988586, ack 1825789030, win 27960, options [mss 1410,sackOK,TS val
1022466629 ecr 4257877938,nop,wscale 9], length 0
11:02:29.208696 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 1, win
58, options [nop,nop,TS val 4257877939 ecr 1022466629], length 0
11:02:29.208713 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [P.], seq 1:50,
ack 1, win 58, options [nop,nop,TS val 4257877939 ecr 1022466629], length
49
11:02:29.208904 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [P.], seq
50:309, ack 1, win 58, options [nop,nop,TS val 4257877939 ecr 1022466629],
length 259
11:02:29.209045 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], ack 50,
win 55, options [nop,nop,TS val 1022466630 ecr 4257877939], length 0
11:02:29.209183 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], ack 309,
win 57, options [nop,nop,TS val 1022466630 ecr 4257877939], length 0
11:02:29.209639 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], seq
1:2797, ack 309, win 57, options [nop,nop,TS val 1022466630 ecr 4257877939],
length 2796
11:02:29.209642 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 2797,
win 68, options [nop,nop,TS val 4257877940 ecr 1022466630], length 0
11:02:29.209720 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], seq
2797:6991, ack 309, win 57, options [nop,nop,TS val 1022466630 ecr
4257877939], length 4194
11:02:29.209731 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 6991,
win 85, options [nop,nop,TS val 4257877940 ecr 1022466630], length 0
11:02:29.209817 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], seq
6991:11185, ack 309, win 57, options [nop,nop,TS val 1022466630 ecr
4257877939], length 4194
11:02:29.209822 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 11185,
win 101, options [nop,nop,TS val 4257877940 ecr 1022466630], length 0
11:02:29.209915 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], seq
11185:12583, ack 309, win 57, options [nop,nop,TS val 1022466630 ecr
4257877939], length 1398
11:02:29.209920 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 12583,
win 107, options [nop,nop,TS val 4257877940 ecr 1022466630], length 0
11:02:29.209967 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], seq
12583:13981, ack 309, win 57, options [nop,nop,TS val 1022466630 ecr
4257877939], length 1398
11:02:29.209973 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 13981,
win 112, options [nop,nop,TS val 4257877940 ecr 1022466630], length 0
11:02:29.210103 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], seq
13981:20971, ack 309, win 57, options [nop,nop,TS val 1022466630 ecr
4257877940], length 6990
11:02:29.210110 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 20971,
win 140, options [nop,nop,TS val 4257877940 ecr 1022466630], length 0
11:02:29.210147 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], seq
20971:25165, ack 309, win 57, options [nop,nop,TS val 1022466630 ecr
4257877940], length 4194
11:02:29.210153 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 25165,
win 156, options [nop,nop,TS val 4257877940 ecr 1022466630], length 0
11:02:29.210184 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [P.], seq
25165:27961, ack 309, win 57, options [nop,nop,TS val 1022466630 ecr
4257877940], length 2796
11:02:29.210189 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 27961,
win 167, options [nop,nop,TS val 4257877940 ecr 1022466630], length 0
11:02:29.210211 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], seq
27961:36349, ack 309, win 57, options [nop,nop,TS val 1022466631 ecr
4257877940], length 8388
11:02:29.210216 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 36349,
win 200, options [nop,nop,TS val 4257877940 ecr 1022466631], length 0
11:02:29.210399 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], seq
36349:37747, ack 309, win 57, options [nop,nop,TS val 1022466631 ecr
4257877940], length 1398
11:02:29.210406 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 37747,
win 205, options [nop,nop,TS val 4257877940 ecr 1022466631], length 0
11:02:29.210431 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [.], seq
37747:48931, ack 309, win 57, options [nop,nop,TS val 1022466631 ecr
4257877940], length 11184
11:02:29.210436 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 48931,
win 249, options [nop,nop,TS val 4257877940 ecr 1022466631], length 0
11:02:29.210508 IP 10.121.15.74.31001 > lb1.cc1.46376: Flags [FP.], seq
48931:50629, ack 309, win 57, options [nop,nop,TS val 1022466631 ecr
4257877940], length 1698
11:02:29.210528 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [.], ack 50630,
win 255, options [nop,nop,TS val 4257877940 ecr 1022466631], length 0
11:02:29.215540 IP lb1.cc1.46376 > 10.121.15.74.31001: Flags [R.], seq 309,
ack 50630, win 255, opt

Re: Keepalives considered harmful

[Valery Kholodkov]

Там возникает дисбаланс в загрузке воркеров из-за того что часть 
клиентов привязаны к своим воркерам через keep-alive. Отключая 
keep-alive они заставляют клиентов мигрировать на менее загруженные воркеры.


Описывается комуникация внутри их стэка, про что и статья. Полагаю, 
заголовок, нужно читать "[In some cases] keepalives considered harmful".


On 20-03-20 11:11, Илья Шипицин wrote:
Речь идёт про то, что не все воркеры одинаково хороши. Но не 
раскрывается, почему они могут быть нехороши. Блокирущие воркеры?


On Fri, Mar 20, 2020, 1:03 AM Gena Makhomed > wrote:


Здравствуйте, All!

Интересная статья в блоге Cloudflare:

https://blog.cloudflare.com/keepalives-considered-harmful/

Keepalives considered harmful

--
Val
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: 104: Connection reset by peer

[Evgeniy Berdnikov]

On Fri, Mar 20, 2020 at 05:00:36AM -0400, inkognito0609 wrote:
> nginx работает в качестве tcp lb
> Периодически получаю 104: Connection reset by peer.
> ---
> Если причинно следственная связь в системных вызовах?
> writev() not ready (11: Resource temporarily unavailable)
> recv() failed (104: Connection reset by peer)
> или 104 ошибку получаем из-за того что не получили сообщений от сокета для
> файлового дескриптора?

 ECONNRESET означает, что по сети прилетел RST, что и написано текстом.
 Никакой связи с EAGAIN у него нет.
-- 
 Eugene Berdnikov
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Keepalives considered harmful

[Илья Шипицин]

Речь идёт про то, что не все воркеры одинаково хороши. Но не раскрывается,
почему они могут быть нехороши. Блокирущие воркеры?

On Fri, Mar 20, 2020, 1:03 AM Gena Makhomed  wrote:

> Здравствуйте, All!
>
> Интересная статья в блоге Cloudflare:
>
> https://blog.cloudflare.com/keepalives-considered-harmful/
>
> Keepalives considered harmful
>
> --
> Best regards,
>   Gena
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

104: Connection reset by peer

[inkognito0609]

nginx работает в качестве tcp lb
Периодически получаю 104: Connection reset by peer.
---
Если причинно следственная связь в системных вызовах?
writev() not ready (11: Resource temporarily unavailable)
recv() failed (104: Connection reset by peer)
или 104 ошибку получаем из-за того что не получили сообщений от сокета для
файлового дескриптора?
recv: fd:96 -1 of 16384
---
2020/03/20 04:54:21 [debug] 37456#0: *98446240 accept: 188.187.126.40:40513
fd:96
2020/03/20 04:54:21 [info] 37456#0: *98446240 client 188.187.126.40:40513
connected to 8.8.157.49:80
2020/03/20 04:54:21 [debug] 37456#0: *98446240 posix_memalign:
5597192FA4F0:256 @16
2020/03/20 04:54:21 [debug] 37456#0: *98446240 generic phase: 0
2020/03/20 04:54:21 [debug] 37456#0: *98446240 generic phase: 1
2020/03/20 04:54:21 [debug] 37456#0: *98446240 generic phase: 2
2020/03/20 04:54:21 [debug] 37456#0: *98446240 ssl preread handler
2020/03/20 04:54:21 [debug] 37456#0: *98446240 tcp_nodelay
2020/03/20 04:54:21 [debug] 37456#0: *98446240 proxy connection handler
2020/03/20 04:54:21 [debug] 37456#0: *98446240 malloc: 5597192FA600:416
2020/03/20 04:54:21 [debug] 37456#0: *98446240 malloc:
55971947AB00:16384
2020/03/20 04:54:21 [debug] 37456#0: *98446240 get rr peer, try: 8
2020/03/20 04:54:21 [debug] 37456#0: *98446240 get rr peer, current:
55971928E448 0
2020/03/20 04:54:21 [debug] 37456#0: *98446240 stream socket 97
2020/03/20 04:54:21 [debug] 37456#0: *98446240 epoll add connection: fd:97
ev:80002005
2020/03/20 04:54:21 [debug] 37456#0: *98446240 connect to
10.121.15.75:31001, fd:97 #98446241
2020/03/20 04:54:21 [debug] 37456#0: *98446240 proxy connect: -2
2020/03/20 04:54:21 [debug] 37456#0: *98446240 event timer add: 97:
1000:155123895
2020/03/20 04:54:21 [debug] 37456#0: *98446240 event timer del: 97:
155123895
2020/03/20 04:54:21 [debug] 37456#0: *98446240 stream proxy connect
upstream
2020/03/20 04:54:21 [debug] 37456#0: *98446240 tcp_nodelay
2020/03/20 04:54:21 [info] 37456#0: *98446240 proxy 10.121.15.65:3564
connected to 10.121.15.75:31001
2020/03/20 04:54:21 [debug] 37456#0: *98446240 malloc:
55971947EB10:16384
2020/03/20 04:54:21 [debug] 37456#0: *98446240 stream proxy add PROXY
protocol header
2020/03/20 04:54:21 [debug] 37456#0: *98446240 posix_memalign:
5597192FA7B0:256 @16
2020/03/20 04:54:21 [debug] 37456#0: *98446240 write new buf t:1 f:0
, pos 5597192FA820, size: 51 file: 0, size: 0
2020/03/20 04:54:21 [debug] 37456#0: *98446240 stream write filter: l:0 f:0
s:51
2020/03/20 04:54:21 [debug] 37456#0: *98446240 writev: 51 of 51
2020/03/20 04:54:21 [debug] 37456#0: *98446240 stream write filter

2020/03/20 04:54:21 [debug] 37456#0: *98446240 epoll add event: fd:96 op:1
ev:80002001
2020/03/20 04:54:21 [debug] 37456#0: *98446240 event timer add: 96:
60:155722896
2020/03/20 04:54:21 [debug] 37456#0: *98446240 recv: eof:0, avail:1
2020/03/20 04:54:21 [debug] 37456#0: *98446240 recv: fd:96 259 of 16384
2020/03/20 04:54:21 [debug] 37456#0: *98446240 write new buf t:1 f:0
, pos 55971947AB00, size: 259 file: 0, size: 0
2020/03/20 04:54:21 [debug] 37456#0: *98446240 stream write filter: l:0 f:1
s:259
2020/03/20 04:54:21 [debug] 37456#0: *98446240 writev: 259 of 259
2020/03/20 04:54:21 [debug] 37456#0: *98446240 stream write filter

2020/03/20 04:54:21 [debug] 37456#0: *98446240 event timer: 96, old:
155722896, new: 155722896
2020/03/20 04:54:21 [debug] 37456#0: *98446240 recv: eof:0, avail:1
2020/03/20 04:54:21 [debug] 37456#0: *98446240 recv: fd:97 8388 of 16384
2020/03/20 04:54:21 [debug] 37456#0: *98446240 write new buf t:1 f:0
, pos 55971947EB10, size: 8388 file: 0, size: 0
2020/03/20 04:54:21 [debug] 37456#0: *98446240 stream write filter: l:0 f:1
s:8388
2020/03/20 04:54:21 [debug] 37456#0: *98446240 writev: 8388 of 8388
2020/03/20 04:54:21 [debug] 37456#0: *98446240 stream write filter

2020/03/20 04:54:21 [debug] 37456#0: *98446240 event timer: 96, old:
155722896, new: 155722897
2020/03/20 04:54:21 [debug] 37456#0: *98446240 event timer: 96, old:
155722896, new: 155722897
2020/03/20 04:54:21 [debug] 37456#0: *98446240 recv: eof:0, avail:1
2020/03/20 04:54:21 [debug] 37456#0: *98446240 recv: fd:97 5592 of 16384
2020/03/20 04:54:21 [debug] 37456#0: *98446240 write new buf t:1 f:0
, pos 55971947EB10, size: 5592 file: 0, size: 0
2020/03/20 04:54:21 [debug] 37456#0: *98446240 stream write filter: l:0 f:1
s:5592
2020/03/20 04:54:21 [debug] 37456#0: *98446240 writev: 5592 of 5592
2020/03/20 04:54:21 [debug] 37456#0: *98446240 stream write filter

2020/03/20 04:54:21 [debug] 37456#0: *98446240 event timer: 96, old:
155722896, new: 155722897
2020/03/20 04:54:21 [debug] 37456#0: *98446240 event timer: 96, old:
155722896, new: 155722897
2020/03/20 04:54:21 [debug] 37456#0: *98446240 recv: eof:0, avail:1
2020/03/20 04:54:21 [debug] 37456#0: *98446240 recv: fd:97 6990 of 16384
2020/03/2

Re: UDP Connection refused

[inkognito0609]

Спасибо за ссылку. Многое прояснило.
Да, проблема нашлась на стороне получателя.

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,287308,287395#msg-287395

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru