Re: Jumbo frame, perchè si, perchè no?

[Marco Gaiarin]

Mandi! Luca De Andreis
  In chel di` si favelave...

> Aggiungo una nota in cui mi sono imbattuto poco tempo fa...
> Con mtu a 9000, sulla SAN, non mi funzionava la connettività SSH, 
> riducendo il valore si.

In teoria questo dipende dallo switch; non tutti supportano jumbo frames e
vlan con MTU diverse.

Normalmente se lo switch a la MTU definibile nella VLAN, allora funziona; se
ha una unica impostazione ''abilita/disabilita'' meglio usarlo solo in una
rete con jumbo frames abilitati.

-- 
  A noi italiani l'indignazione dura meno dell'orgasmo.
(Marco Paolini)

Re: Jumbo frame, perchè si, perchè no?

[Marco Gaiarin]

Mandi! Walter Valenti
  In chel di` si favelave...

> Non vorrei dire una fesseria. ma credo che la scheda deve avere il supporto
> ai jumbo frame, altrimenti nulla.

Porca paletta, pensavo fosse una feature standard. Eth2 è una:

0d:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5722 
Gigabit Ethernet PCI Express

e (da 
https://stuff.mit.edu/afs/athena/dept/cron/documentation/Manuals/dell-server-admin/en/Broadcom/NetXtreme/features.htm):

Jumbo frames (up to 9 KB) (except for BCM5721, BCM5751, and BCM5722);

OK, qui è risolta la cosa.


Invece le altre due schede sono Intel, upportano i jumbo frame; la cosa
strana, anche qui, è che al boot (vedete mio post originario) eth1 è partita
con mtu=1500, mentre ora dopo aver dato un:

ifconfig eth1 mtu 9000

root@3jane:~# ifconfig eth1
eth1  Link encap:Ethernet  HWaddr 00:9c:02:9a:2b:bd  
  UP BROADCAST RUNNING MULTICAST  MTU:9000  Metric:1
  RX packets:30886869 errors:38 dropped:8423 overruns:0 frame:38
  TX packets:54414392 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1000 
  RX bytes:22574832303 (21.0 GiB)  TX bytes:61510347810 (57.2 
GiB)
  Interrupt:17 Memory:fbce-fbd0 

Boh... ok, riorganizzo le schede di modo da avere le intel verso la SAN.


Grazie.


PS. si, gli switch sono gli stessi degli altri due nodi, e li la mtu a 9000
funziona...

-- 
  Tu da che parte stai?
  Stai dalla parte di chi ruba nei supermercati,
  o di chi li ha costruiti rubando. (F. De Gregori)

Re: Jumbo frame, perchè si, perchè no?

[Luca De Andreis]

Ciao, una volta mi sono trovato nella stessa situazione; il motivo
dovrebbe essere che il kernel rigetta l'impostazione del valore di MTU
perché non supportato dalla scheda di rete; il mio consiglio è quello di
cercare le specifiche della scheda o andare per tentativi provando a
impostare valori di MTU più bassi.

Qui un esempio:

sudo ifconfig ethX mtu 9000
SIOCSIFMTU: Argomento non valido

Buona giornata
Daniele



Aggiungo una nota in cui mi sono imbattuto poco tempo fa...

Con mtu a 9000, sulla SAN, non mi funzionava la connettività SSH, 
riducendo il valore si.


Luca



smime.p7s
Description: Firma crittografica S/MIME

Re: Jumbo frame, perchè si, perchè no?

[Francesco Zanolin]

Anche lo switch e la destinazione devono essere configurati per supportare
i jumbo frame (il supporto deve anche essere attivato).
Il 23/Giu/2016 10:11, "Walter Valenti"  ha scritto:

>
> >
> >Ora ho aggiunto il classico ''muletto'', in previsione di implementare
> l'HA
> >ma anche per massacrare il povero malcapitato.
> >La configurazione è identica, ma questo ha TRE schede di rete, quindi ho
> >impostato la MTU a 9000 solo su ethX e vmbrX corrispondenti (non ho bond).
> >
> >Come non avessi fatto nulla:
> >
> >root@3jane:~# ifconfig
> >[...]
> >eth1  Link encap:Ethernet  HWaddr 00:9c:02:9a:2b:bd
> >  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
> >  RX packets:12758841 errors:18 dropped:2830 overruns:0 frame:18
> >  TX packets:19859895 errors:0 dropped:0 overruns:0 carrier:0
> >  collisions:0 txqueuelen:1000
> >  RX bytes:10774278778 (10.0 GiB)  TX bytes:22192978314 (20.6 GiB)
> >  Interrupt:17 Memory:fbce-fbd0
> >
> >eth2  Link encap:Ethernet  HWaddr 00:0a:f7:4b:5d:d5
> >  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
> >  RX packets:12702934 errors:18 dropped:2830 overruns:0 frame:18
> >  TX packets:20231903 errors:0 dropped:0 overruns:0 carrier:0
> >  collisions:0 txqueuelen:1000
> >  RX bytes:10784495169 (10.0 GiB)  TX bytes:22205476074 (20.6 GiB)
> >  Interrupt:18
> >[...]
> >vmbr1 Link encap:Ethernet  HWaddr 00:9c:02:9a:2b:bd
> >  inet addr:10.5.251.13  Bcast:10.5.251.255  Mask:255.255.255.0
> >  inet6 addr: fe80::29c:2ff:fe9a:2bbd/64 Scope:Link
> >  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
> >  RX packets:7375805 errors:0 dropped:0 overruns:0 frame:0
> >  TX packets:7843902 errors:0 dropped:0 overruns:0 carrier:0
> >  collisions:0 txqueuelen:1000
> >  RX bytes:10264456218 (9.5 GiB)  TX bytes:21320544492 (19.8 GiB)
> >
> >vmbr2 Link encap:Ethernet  HWaddr 00:0a:f7:4b:5d:d5
> >  inet addr:10.5.252.13  Bcast:10.5.252.255  Mask:255.255.255.0
> >  inet6 addr: fe80::20a:f7ff:fe4b:5dd5/64 Scope:Link
> >  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
> >  RX packets:7715632 errors:0 dropped:0 overruns:0 frame:0
> >  TX packets:8210646 errors:0 dropped:0 overruns:0 carrier:0
> >  collisions:0 txqueuelen:1000
> >  RX bytes:10296237137 (9.5 GiB)  TX bytes:21331216116 (19.8 GiB)
> >
> >Mentre ovviamente 'mtu 9000' in /etc/interfaces, per eth1, eth2, vmbr1 e
> >vmbr2 c'è.
>
> >
>
>
> Non vorrei dire una fesseria. ma credo che la scheda deve avere il supporto
> ai jumbo frame, altrimenti nulla.
>
> Walter
>
>

Re: Jumbo frame, perchè si, perchè no?

[Daniele Piccoli]

Il 22/06/2016 18:31, Marco Gaiarin ha scritto:
> 
> Ho messo in piedi una piccola stazioncina di virtualizzazione, con due nodi
> principali e sei schede di rete, per tre bond (uno verso la LAN, gli altri
> due verso la SAN).
> Siccome mi serve anche visibilità della SAN alle VM, oltre al bond LACP c'è
> anche un bridge.
> Proxmox, ma qui credo che conti 'debian'.
> 
> Verso la SAN ho abilitato i jumbo frame, e semplicemente mettendo 'mtu 9000'
> su tutte le interfacce verso la SAN (ethX, bondX e vmbrX) ottengo quanto 
> voluto,
> jumbo frame abilitati e funzionanti (provato con 'ping -s 8500 -M do 
> ').
> 
> 
> Ora ho aggiunto il classico ''muletto'', in previsione di implementare l'HA
> ma anche per massacrare il povero malcapitato.
> La configurazione è identica, ma questo ha TRE schede di rete, quindi ho
> impostato la MTU a 9000 solo su ethX e vmbrX corrispondenti (non ho bond).
> 
> Come non avessi fatto nulla:
> 
> root@3jane:~# ifconfig
> [...]
> eth1  Link encap:Ethernet  HWaddr 00:9c:02:9a:2b:bd  
>   UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
>   RX packets:12758841 errors:18 dropped:2830 overruns:0 frame:18
>   TX packets:19859895 errors:0 dropped:0 overruns:0 carrier:0
>   collisions:0 txqueuelen:1000 
>   RX bytes:10774278778 (10.0 GiB)  TX bytes:22192978314 (20.6 GiB)
>   Interrupt:17 Memory:fbce-fbd0 
> 
> eth2  Link encap:Ethernet  HWaddr 00:0a:f7:4b:5d:d5  
>   UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
>   RX packets:12702934 errors:18 dropped:2830 overruns:0 frame:18
>   TX packets:20231903 errors:0 dropped:0 overruns:0 carrier:0
>   collisions:0 txqueuelen:1000 
>   RX bytes:10784495169 (10.0 GiB)  TX bytes:22205476074 (20.6 GiB)
>   Interrupt:18 
> [...]
> vmbr1 Link encap:Ethernet  HWaddr 00:9c:02:9a:2b:bd  
>   inet addr:10.5.251.13  Bcast:10.5.251.255  Mask:255.255.255.0
>   inet6 addr: fe80::29c:2ff:fe9a:2bbd/64 Scope:Link
>   UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
>   RX packets:7375805 errors:0 dropped:0 overruns:0 frame:0
>   TX packets:7843902 errors:0 dropped:0 overruns:0 carrier:0
>   collisions:0 txqueuelen:1000 
>   RX bytes:10264456218 (9.5 GiB)  TX bytes:21320544492 (19.8 GiB)
> 
> vmbr2 Link encap:Ethernet  HWaddr 00:0a:f7:4b:5d:d5  
>   inet addr:10.5.252.13  Bcast:10.5.252.255  Mask:255.255.255.0
>   inet6 addr: fe80::20a:f7ff:fe4b:5dd5/64 Scope:Link
>   UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
>   RX packets:7715632 errors:0 dropped:0 overruns:0 frame:0
>   TX packets:8210646 errors:0 dropped:0 overruns:0 carrier:0
>   collisions:0 txqueuelen:1000 
>   RX bytes:10296237137 (9.5 GiB)  TX bytes:21331216116 (19.8 GiB)
> 
> Mentre ovviamente 'mtu 9000' in /etc/interfaces, per eth1, eth2, vmbr1 e
> vmbr2 c'è.
> 
> 
> Ho pensato potesse mancare un pacchetto, ma a parte che le macchine sono
> state installate nello stesso modo, non vedo quale confrontando i pacchetti
> installati.
> 
> Nei log, nulla.
> 
> 
> Cosa sbaglio? Grazie.
> 

Ciao, una volta mi sono trovato nella stessa situazione; il motivo
dovrebbe essere che il kernel rigetta l'impostazione del valore di MTU
perché non supportato dalla scheda di rete; il mio consiglio è quello di
cercare le specifiche della scheda o andare per tentativi provando a
impostare valori di MTU più bassi.

Qui un esempio:

sudo ifconfig ethX mtu 9000
SIOCSIFMTU: Argomento non valido

Buona giornata
Daniele

Re: Jumbo frame, perchè si, perchè no?

[Walter Valenti]

>
>Ora ho aggiunto il classico ''muletto'', in previsione di implementare l'HA
>ma anche per massacrare il povero malcapitato.
>La configurazione è identica, ma questo ha TRE schede di rete, quindi ho
>impostato la MTU a 9000 solo su ethX e vmbrX corrispondenti (non ho bond).
>
>Come non avessi fatto nulla:
>
>root@3jane:~# ifconfig
>[...]
>eth1  Link encap:Ethernet  HWaddr 00:9c:02:9a:2b:bd  
>  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
>  RX packets:12758841 errors:18 dropped:2830 overruns:0 frame:18
>  TX packets:19859895 errors:0 dropped:0 overruns:0 carrier:0
>  collisions:0 txqueuelen:1000 
>  RX bytes:10774278778 (10.0 GiB)  TX bytes:22192978314 (20.6 GiB)
>  Interrupt:17 Memory:fbce-fbd0 
>
>eth2  Link encap:Ethernet  HWaddr 00:0a:f7:4b:5d:d5  
>  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
>  RX packets:12702934 errors:18 dropped:2830 overruns:0 frame:18
>  TX packets:20231903 errors:0 dropped:0 overruns:0 carrier:0
>  collisions:0 txqueuelen:1000 
>  RX bytes:10784495169 (10.0 GiB)  TX bytes:22205476074 (20.6 GiB)
>  Interrupt:18 
>[...]
>vmbr1 Link encap:Ethernet  HWaddr 00:9c:02:9a:2b:bd  
>  inet addr:10.5.251.13  Bcast:10.5.251.255  Mask:255.255.255.0
>  inet6 addr: fe80::29c:2ff:fe9a:2bbd/64 Scope:Link
>  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
>  RX packets:7375805 errors:0 dropped:0 overruns:0 frame:0
>  TX packets:7843902 errors:0 dropped:0 overruns:0 carrier:0
>  collisions:0 txqueuelen:1000 
>  RX bytes:10264456218 (9.5 GiB)  TX bytes:21320544492 (19.8 GiB)
>
>vmbr2 Link encap:Ethernet  HWaddr 00:0a:f7:4b:5d:d5  
>  inet addr:10.5.252.13  Bcast:10.5.252.255  Mask:255.255.255.0
>  inet6 addr: fe80::20a:f7ff:fe4b:5dd5/64 Scope:Link
>  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
>  RX packets:7715632 errors:0 dropped:0 overruns:0 frame:0
>  TX packets:8210646 errors:0 dropped:0 overruns:0 carrier:0
>  collisions:0 txqueuelen:1000 
>  RX bytes:10296237137 (9.5 GiB)  TX bytes:21331216116 (19.8 GiB)
>
>Mentre ovviamente 'mtu 9000' in /etc/interfaces, per eth1, eth2, vmbr1 e
>vmbr2 c'è.

>


Non vorrei dire una fesseria. ma credo che la scheda deve avere il supporto
ai jumbo frame, altrimenti nulla.

Walter

Jumbo frame, perchè si, perchè no?

[Marco Gaiarin]

Ho messo in piedi una piccola stazioncina di virtualizzazione, con due nodi
principali e sei schede di rete, per tre bond (uno verso la LAN, gli altri
due verso la SAN).
Siccome mi serve anche visibilità della SAN alle VM, oltre al bond LACP c'è
anche un bridge.
Proxmox, ma qui credo che conti 'debian'.

Verso la SAN ho abilitato i jumbo frame, e semplicemente mettendo 'mtu 9000'
su tutte le interfacce verso la SAN (ethX, bondX e vmbrX) ottengo quanto voluto,
jumbo frame abilitati e funzionanti (provato con 'ping -s 8500 -M do ').


Ora ho aggiunto il classico ''muletto'', in previsione di implementare l'HA
ma anche per massacrare il povero malcapitato.
La configurazione è identica, ma questo ha TRE schede di rete, quindi ho
impostato la MTU a 9000 solo su ethX e vmbrX corrispondenti (non ho bond).

Come non avessi fatto nulla:

root@3jane:~# ifconfig
[...]
eth1  Link encap:Ethernet  HWaddr 00:9c:02:9a:2b:bd  
  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
  RX packets:12758841 errors:18 dropped:2830 overruns:0 frame:18
  TX packets:19859895 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1000 
  RX bytes:10774278778 (10.0 GiB)  TX bytes:22192978314 (20.6 GiB)
  Interrupt:17 Memory:fbce-fbd0 

eth2  Link encap:Ethernet  HWaddr 00:0a:f7:4b:5d:d5  
  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
  RX packets:12702934 errors:18 dropped:2830 overruns:0 frame:18
  TX packets:20231903 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1000 
  RX bytes:10784495169 (10.0 GiB)  TX bytes:22205476074 (20.6 GiB)
  Interrupt:18 
[...]
vmbr1 Link encap:Ethernet  HWaddr 00:9c:02:9a:2b:bd  
  inet addr:10.5.251.13  Bcast:10.5.251.255  Mask:255.255.255.0
  inet6 addr: fe80::29c:2ff:fe9a:2bbd/64 Scope:Link
  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
  RX packets:7375805 errors:0 dropped:0 overruns:0 frame:0
  TX packets:7843902 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1000 
  RX bytes:10264456218 (9.5 GiB)  TX bytes:21320544492 (19.8 GiB)

vmbr2 Link encap:Ethernet  HWaddr 00:0a:f7:4b:5d:d5  
  inet addr:10.5.252.13  Bcast:10.5.252.255  Mask:255.255.255.0
  inet6 addr: fe80::20a:f7ff:fe4b:5dd5/64 Scope:Link
  UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
  RX packets:7715632 errors:0 dropped:0 overruns:0 frame:0
  TX packets:8210646 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1000 
  RX bytes:10296237137 (9.5 GiB)  TX bytes:21331216116 (19.8 GiB)

Mentre ovviamente 'mtu 9000' in /etc/interfaces, per eth1, eth2, vmbr1 e
vmbr2 c'è.


Ho pensato potesse mancare un pacchetto, ma a parte che le macchine sono
state installate nello stesso modo, non vedo quale confrontando i pacchetti
installati.

Nei log, nulla.


Cosa sbaglio? Grazie.

-- 
  ``... La memoria conta veramente solo se tiene insieme l'impronta del
  presente e il progetto del futuro, se permette di fare senza dimenticare
  quel che si voleva fare, di diventare senza smettere di essere,
  di essere senza smettere di diventare...''(Italo Calvino)