RE: [FRnOG] [TECH] QSFP+ vs SFP28
> Laurent-Charles FABRE a écrit : > late answer mais je viens juste de clicker sur le lien EBay qui montre un > jolie switch with "Front > to back airflow" Autrement appelé PortSide Intake chez certain ou sens de > ventilation comme d'hab > pour les autres. Tant qu'à y être, moi je préfère les switch en Back 2 Front > ou Port-Side exhaust > en clair le coté port du switch monté à l'arrière de la baie. > 1 - c'est du même coté que les ports des serveurs classiques -> plus facile a > câbler quand on est seul > 2 - il y a souvent plus de dégagement à l'arrière de la baie pour câbler > tranquille > 3 - on peut utiliser des DAC ou FO au plus court -> chuis pas maniaque mais > j'aime quand ça respire J'ai souvent mentionné ici la différence. En usage ToR avec des serveurs dans la baie, effectivement il faut le monter ports derrière donc port-side exhaust, ce que Cisco appelle çà normal airflow. Par contre si c'est dans un rack uniquement telco et qu'on s'en sert pour connecter sur du panneau de brassage ou d'autre switchs, on les monte ports devant, donc port-side intake, ce que Cisco appelle reverse airflow. https://community.cisco.com/t5/switching/port-side-intake-vs-port-side-exhaust/td-p/2891499 Sur pas mal de modèles, le switch est le même, en changeant les alims et les ventilos on le retourne. Sur plusieurs modèles Cisco, les alims et les ventilos "reverse" ou port-side intake sont reconnaissables à une bande noire. Dans le doute, toujours demander au vendeur les photos des alims et les P/N. Michel. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] QSFP+ vs SFP28
RE, late answer mais je viens juste de clicker sur le lien EBay qui montre un jolie switch with "Front to back airflow" Autrement appelé PortSide Intake chez certain ou sens de ventilation comme d'hab pour les autres. Tant qu'à y être, moi je préfère les switch en Back 2 Front ou Port-Side exhaust en clair le coté port du switch monté à l'arrière de la baie. 1 - c'est du même coté que les ports des serveurs classiques -> plus facile a câbler quand on est seul 2 - il y a souvent plus de dégagement à l'arrière de la baie pour câbler tranquille 3 - on peut utiliser des DAC ou FO au plus court -> chuis pas maniaque mais j'aime quand ça respire My 2 cents Le 14/04/2020 à 18:31, Michel Py a écrit : Julien Escario Et par curiosité, y aurait-il une différence notable de latence ? Cà dépend du switch. Sur pas mal de switch, tu peux configurer les ports QSFP+ soit en mode 4x10G, soit en mode 1x40G; faut parfois rebooter, donc à prévoir. J'image que la décomposition en 4 canaux puis recomposition du QSFP+ doit rajouter quelques (dizaines de) ns dans la communication ? Probablement, mais c'est la même chose en 40G qu'en 100G, le 100G étant du 4x25G consolidé au lieu de 4x10G. Pour le stockage, çà ne me parait pas important. Note : dans mon use-case, c'est exclusivement du DAC puisque cluster de stockage Ceph. J'aurais tendance à dire qu'au bout du compte c'est une histoire de gros sous. Le 40G çà ne coute presque plus rien aujourd'hui, alors que le 100G c'est encore assez cher. Faut pas oublier qu'il faut que tu mettes des cartes dans tes serveurs, il y a aussi à prendre en compte que les cartes 100G QSFP28 c'est souvent un slot PCIe x16, ce qui ne court pas les rues dans les serveurs. Fais tes comptes pour passer en 40G, et/ou pour passer en 100G. La différence de prix vaut-elle ce que tu peux t'offrir aujourd'hui, toi seul peut répondre à cette question. Je viens de regarder sur eBay vite fait, les cartes 100G c'est a peine plus de 100 balles en ce moment, les switchs avec plein de ports 100G c'est quelques milliers d'euros, si c'était moi et je suis un avare notoire je partirais direct sur du 100G QSFP28. Tu regardes çà par exemple : https://www.ebay.com/itm/402187758937 C'est sur qu'il faut allonger 5000 balles, mais t'es tranquille pour un bon moment. Michel. --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] [TECH] QSFP+ vs SFP28
> Julien Escario > Et par curiosité, y aurait-il une différence notable de latence ? Cà dépend du switch. Sur pas mal de switch, tu peux configurer les ports QSFP+ soit en mode 4x10G, soit en mode 1x40G; faut parfois rebooter, donc à prévoir. > J'image que la décomposition en 4 canaux puis recomposition du QSFP+ > doit rajouter quelques (dizaines de) ns dans la communication ? Probablement, mais c'est la même chose en 40G qu'en 100G, le 100G étant du 4x25G consolidé au lieu de 4x10G. Pour le stockage, çà ne me parait pas important. > Note : dans mon use-case, c'est exclusivement du DAC puisque cluster de > stockage Ceph. J'aurais tendance à dire qu'au bout du compte c'est une histoire de gros sous. Le 40G çà ne coute presque plus rien aujourd'hui, alors que le 100G c'est encore assez cher. Faut pas oublier qu'il faut que tu mettes des cartes dans tes serveurs, il y a aussi à prendre en compte que les cartes 100G QSFP28 c'est souvent un slot PCIe x16, ce qui ne court pas les rues dans les serveurs. Fais tes comptes pour passer en 40G, et/ou pour passer en 100G. La différence de prix vaut-elle ce que tu peux t'offrir aujourd'hui, toi seul peut répondre à cette question. Je viens de regarder sur eBay vite fait, les cartes 100G c'est a peine plus de 100 balles en ce moment, les switchs avec plein de ports 100G c'est quelques milliers d'euros, si c'était moi et je suis un avare notoire je partirais direct sur du 100G QSFP28. Tu regardes çà par exemple : https://www.ebay.com/itm/402187758937 C'est sur qu'il faut allonger 5000 balles, mais t'es tranquille pour un bon moment. Michel. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] QSFP+ vs SFP28
Le 14/04/2020 à 15:35, benoit mordac a écrit : > Bonjour, > > Attention au SFP28, on se retrouve sur certains modèles de switchs à devoir > choisir la vitesse du port (10Gb/s ou 25Gb/s) par groupes de 4 ports : [...] Merci à tous pour vos retours précieux. Donc à priori, le SFP28 avec quelques ports QSFP28 semble plus future-proof. Est-ce que quelqu'un a déjà testé ce genre de babasses : https://www.supermicro.com/en/products/accessories/networking/SSE-F3548S.php Ca semble se trouver entre 3000 et 4000 €, ce qui me paraît très correct étant donné le fond de panier qu'il faut coller là dessus (1800 Gbps). Et bonus, il semblerait que l'on puisse même faire du 1G (mais pourquoi diable ?). A première vue, je dirais que c'est un OEM brandé Supermicro, ce qui ne me pousse pas vraiment à l'achat impulsif. Julien --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] QSFP+ vs SFP28
Bonjour, Attention au SFP28, on se retrouve sur certains modèles de switchs à devoir choisir la vitesse du port (10Gb/s ou 25Gb/s) par groupes de 4 ports : #show hardware speed-group status Group InterfacesSupported Default Configured Active - - --- --- --- --- 1 Et25-28 10g,25g Per Et25default Per Et25 2 Et29-32 10g,25g Per Et29default Per Et29 3 Et33-36 10g,25g Per Et33default Per Et33 4 Et37-40 10g,25g Per Et3710g 10g 5 Et41-44 10g,25g Per Et41default Per Et41 6 Et45-48 10g,25g Per Et4525g 25g C'est pas forcément gênant, mais faut l'anticiper :) Le mar. 14 avr. 2020 à 14:08, Radu-Adrian Feurdean < fr...@radu-adrian.feurdean.net> a écrit : > On Tue, Apr 14, 2020, at 11:17, Clement Cavadore wrote: > > Selon le hardware dont tu disposes, techniquement: > > - Il est possible d'exploser un port QSFP+ en 4x10G LR. > > - Il est possible d'exploser un port QSFP28 en 4x10G LR également. > > > > Dans les deux cas, il faut mettre une optique 40G-PLR4 et un câble > > breakout adéquat. > > Aussi du QSFP28 en 4 x 25G. C'est du 100G-PSM4, avec le meme breakout que > pour PLR4. Par contre ca peut ne pas etre dispo chez tous les constructeurs. > > Dans tous les cas, tu as aussi des DAC/AOC en mode breakout. > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] QSFP+ vs SFP28
On Tue, Apr 14, 2020, at 11:17, Clement Cavadore wrote: > Selon le hardware dont tu disposes, techniquement: > - Il est possible d'exploser un port QSFP+ en 4x10G LR. > - Il est possible d'exploser un port QSFP28 en 4x10G LR également. > > Dans les deux cas, il faut mettre une optique 40G-PLR4 et un câble > breakout adéquat. Aussi du QSFP28 en 4 x 25G. C'est du 100G-PSM4, avec le meme breakout que pour PLR4. Par contre ca peut ne pas etre dispo chez tous les constructeurs. Dans tous les cas, tu as aussi des DAC/AOC en mode breakout. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] QSFP+ vs SFP28
On Tue, Apr 14, 2020, at 10:38, Julien Escario wrote: > Est-ce que, par hasard, on pourrait éclater un SFP28 en 2xSFP+ ? (j'en Non > J'ai lu qu'on peut utiliser des DAC SFP+ dans des ports SFP28 (et vice > versa semble t'il). C'est systématique ? Ca devra etre generalement possible, les ports SFP28 etant generalement dual-speed 10/25G (voir triple speed: 1/10/25G). Ne pas supoprter des optiques 10G c'est plutot l'exception. Tu peux par contre trouver des modeles ou le 10/25G ca se gere par port-group de 4 ports (je pense aux derniers 8 ports - les 10/25G - du NCS540). > Je prends volontiers les conseils, et pardon si on est plus dans > l'application du réseau au stockage que dans du routage pur et dur. Si tu peux, va vers du SFP28, pour etre pret pour le 100G, qui viendra en toute logique avec. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] QSFP+ vs SFP28
Hello, Je rebondis sur le mail de Clément, pour préciser un détail qui a son importance. Les 48*10G + 4 QSFP+, ce commence largement à se démocratisé et ça se trouve aujourd'hui à vil prix chez tout bon broker ;). Alexis Le mar. 14 avr. 2020 à 11:18, Clement Cavadore a écrit : > > Hello, > > Selon le hardware dont tu disposes, techniquement: > - Il est possible d'exploser un port QSFP+ en 4x10G LR. > - Il est possible d'exploser un port QSFP28 en 4x10G LR également. > > Dans les deux cas, il faut mettre une optique 40G-PLR4 et un câble > breakout adéquat. > > D'une question coûts purs, clairement, les switches avec des ports > QSFP+ coutent moins cher. Et, pour ce qui concerne les ports QSFP28 que > j'ai vu exploités en 4x10G, c'est "pas rentable": Chez Arista, par > exemple, lorsqu'on explose un port 100G en 4x10G, on condamne 2 ports > QSFP28, à cause d'histoires de lignes de signalisation ou autres. > Bref, on sacrifie 200Gbps pour 4x10G: Pas très rentable :) > > Donc j'aurais tendance à te dire: des ports 100G, oui, mais pour faire > 100G. Dans ton cas, je te dirais bien d'utiliser des modeles 48SFP+ et > 4x40G, pour commencer à monter en débit coté storage, et du full 100G > lorsque tu en auras vraiment besoin. > > Clément > > > On Tue, 2020-04-14 at 11:09 +0200, Alexis Lameire wrote: > > Bonjour Julien. > > Aujourd'hui tu trouve globalement 2 combinaisons de switchs. > > > > soit du 48 port SFP+ (donc 10G) et 4 à 6 QSFP+ (40G) > > soit du 48 port SFP28 (donc 25G) et 4 à 6 QSFP28 (100G) > > > > le 40G est vraiment en train de perdre du terrain. Si tu te retrouve > > limité sur tes hosts il me semble plus opportun d'investir dans du > > SFP28 avec des uplinks 100g pour absorber. > > > > Pour ce qui est de la mise en œuvre et la migration, le SFP28 est le > > même form factor que le SFP+ et il est casi[1] toujours possible de > > mettre du sfp+ dans ton port le temps de la transitions (ce que tu > > veux faire avec tes qsfp avec un breakout avec le soucis de la > > place). > > > > [1] typiquement tu dois avoir un groupe de 4 port contigue en 1/10G > > ou en 25G. > > > > Cordialement > > Alexis > > > > Le mar. 14 avr. 2020 à 10:39, Julien Escario > > a écrit : > > > > > > Bonjour la liste, > > > Une petite question rapide : je dois passer à la vitesse supérieure > > > sur > > > notre stockage distribué, le NVMe commençant à avoir raison du 10G. > > > > > > Du coup, est-ce que vous avez des recommandations entre le SFP28 et > > > le > > > QSFP+ ? (outre le débit). > > > > > > J'ai lu, par exemple, que le QSFP+ est en train de disparaître > > > doucement > > > mais c'est dommage parce qu'il permet d'upgrader en douceur en > > > utilisant > > > des break-out QSFP+ -> 4 SFP+ en attendant d'avoir plus de ports > > > QSFP+. > > > > > > Est-ce que, par hasard, on pourrait éclater un SFP28 en 2xSFP+ ? > > > (j'en > > > doute très fortement vu que le SFP28 n'est pas un agrégat de canaux > > > mais > > > une simple augmentation du débit). > > > J'ai lu qu'on peut utiliser des DAC SFP+ dans des ports SFP28 (et > > > vice > > > versa semble t'il). C'est systématique ? > > > > > > Et par curiosité, y aurait-il une différence notable de latence ? > > > J'image que la décomposition en 4 canaux puis recomposition du > > > QSFP+ > > > doit rajouter quelques (dizaines de) ns dans la communication ? > > > > > > Note : dans mon use-case, c'est exclusivement du DAC puisque > > > cluster de > > > stockage Ceph. > > > > > > Je prends volontiers les conseils, et pardon si on est plus dans > > > l'application du réseau au stockage que dans du routage pur et dur. > > > > > > Merci, > > > Julien > > > > > > > > > --- > > > Liste de diffusion du FRnOG > > > http://www.frnog.org/ > > > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] QSFP+ vs SFP28
Hello, Selon le hardware dont tu disposes, techniquement: - Il est possible d'exploser un port QSFP+ en 4x10G LR. - Il est possible d'exploser un port QSFP28 en 4x10G LR également. Dans les deux cas, il faut mettre une optique 40G-PLR4 et un câble breakout adéquat. D'une question coûts purs, clairement, les switches avec des ports QSFP+ coutent moins cher. Et, pour ce qui concerne les ports QSFP28 que j'ai vu exploités en 4x10G, c'est "pas rentable": Chez Arista, par exemple, lorsqu'on explose un port 100G en 4x10G, on condamne 2 ports QSFP28, à cause d'histoires de lignes de signalisation ou autres. Bref, on sacrifie 200Gbps pour 4x10G: Pas très rentable :) Donc j'aurais tendance à te dire: des ports 100G, oui, mais pour faire 100G. Dans ton cas, je te dirais bien d'utiliser des modeles 48SFP+ et 4x40G, pour commencer à monter en débit coté storage, et du full 100G lorsque tu en auras vraiment besoin. Clément On Tue, 2020-04-14 at 11:09 +0200, Alexis Lameire wrote: > Bonjour Julien. > Aujourd'hui tu trouve globalement 2 combinaisons de switchs. > > soit du 48 port SFP+ (donc 10G) et 4 à 6 QSFP+ (40G) > soit du 48 port SFP28 (donc 25G) et 4 à 6 QSFP28 (100G) > > le 40G est vraiment en train de perdre du terrain. Si tu te retrouve > limité sur tes hosts il me semble plus opportun d'investir dans du > SFP28 avec des uplinks 100g pour absorber. > > Pour ce qui est de la mise en œuvre et la migration, le SFP28 est le > même form factor que le SFP+ et il est casi[1] toujours possible de > mettre du sfp+ dans ton port le temps de la transitions (ce que tu > veux faire avec tes qsfp avec un breakout avec le soucis de la > place). > > [1] typiquement tu dois avoir un groupe de 4 port contigue en 1/10G > ou en 25G. > > Cordialement > Alexis > > Le mar. 14 avr. 2020 à 10:39, Julien Escario > a écrit : > > > > Bonjour la liste, > > Une petite question rapide : je dois passer à la vitesse supérieure > > sur > > notre stockage distribué, le NVMe commençant à avoir raison du 10G. > > > > Du coup, est-ce que vous avez des recommandations entre le SFP28 et > > le > > QSFP+ ? (outre le débit). > > > > J'ai lu, par exemple, que le QSFP+ est en train de disparaître > > doucement > > mais c'est dommage parce qu'il permet d'upgrader en douceur en > > utilisant > > des break-out QSFP+ -> 4 SFP+ en attendant d'avoir plus de ports > > QSFP+. > > > > Est-ce que, par hasard, on pourrait éclater un SFP28 en 2xSFP+ ? > > (j'en > > doute très fortement vu que le SFP28 n'est pas un agrégat de canaux > > mais > > une simple augmentation du débit). > > J'ai lu qu'on peut utiliser des DAC SFP+ dans des ports SFP28 (et > > vice > > versa semble t'il). C'est systématique ? > > > > Et par curiosité, y aurait-il une différence notable de latence ? > > J'image que la décomposition en 4 canaux puis recomposition du > > QSFP+ > > doit rajouter quelques (dizaines de) ns dans la communication ? > > > > Note : dans mon use-case, c'est exclusivement du DAC puisque > > cluster de > > stockage Ceph. > > > > Je prends volontiers les conseils, et pardon si on est plus dans > > l'application du réseau au stockage que dans du routage pur et dur. > > > > Merci, > > Julien > > > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] QSFP+ vs SFP28
Bonjour Julien. Aujourd'hui tu trouve globalement 2 combinaisons de switchs. soit du 48 port SFP+ (donc 10G) et 4 à 6 QSFP+ (40G) soit du 48 port SFP28 (donc 25G) et 4 à 6 QSFP28 (100G) le 40G est vraiment en train de perdre du terrain. Si tu te retrouve limité sur tes hosts il me semble plus opportun d'investir dans du SFP28 avec des uplinks 100g pour absorber. Pour ce qui est de la mise en œuvre et la migration, le SFP28 est le même form factor que le SFP+ et il est casi[1] toujours possible de mettre du sfp+ dans ton port le temps de la transitions (ce que tu veux faire avec tes qsfp avec un breakout avec le soucis de la place). [1] typiquement tu dois avoir un groupe de 4 port contigue en 1/10G ou en 25G. Cordialement Alexis Le mar. 14 avr. 2020 à 10:39, Julien Escario a écrit : > > Bonjour la liste, > Une petite question rapide : je dois passer à la vitesse supérieure sur > notre stockage distribué, le NVMe commençant à avoir raison du 10G. > > Du coup, est-ce que vous avez des recommandations entre le SFP28 et le > QSFP+ ? (outre le débit). > > J'ai lu, par exemple, que le QSFP+ est en train de disparaître doucement > mais c'est dommage parce qu'il permet d'upgrader en douceur en utilisant > des break-out QSFP+ -> 4 SFP+ en attendant d'avoir plus de ports QSFP+. > > Est-ce que, par hasard, on pourrait éclater un SFP28 en 2xSFP+ ? (j'en > doute très fortement vu que le SFP28 n'est pas un agrégat de canaux mais > une simple augmentation du débit). > J'ai lu qu'on peut utiliser des DAC SFP+ dans des ports SFP28 (et vice > versa semble t'il). C'est systématique ? > > Et par curiosité, y aurait-il une différence notable de latence ? > J'image que la décomposition en 4 canaux puis recomposition du QSFP+ > doit rajouter quelques (dizaines de) ns dans la communication ? > > Note : dans mon use-case, c'est exclusivement du DAC puisque cluster de > stockage Ceph. > > Je prends volontiers les conseils, et pardon si on est plus dans > l'application du réseau au stockage que dans du routage pur et dur. > > Merci, > Julien > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
[FRnOG] [TECH] QSFP+ vs SFP28
Bonjour la liste, Une petite question rapide : je dois passer à la vitesse supérieure sur notre stockage distribué, le NVMe commençant à avoir raison du 10G. Du coup, est-ce que vous avez des recommandations entre le SFP28 et le QSFP+ ? (outre le débit). J'ai lu, par exemple, que le QSFP+ est en train de disparaître doucement mais c'est dommage parce qu'il permet d'upgrader en douceur en utilisant des break-out QSFP+ -> 4 SFP+ en attendant d'avoir plus de ports QSFP+. Est-ce que, par hasard, on pourrait éclater un SFP28 en 2xSFP+ ? (j'en doute très fortement vu que le SFP28 n'est pas un agrégat de canaux mais une simple augmentation du débit). J'ai lu qu'on peut utiliser des DAC SFP+ dans des ports SFP28 (et vice versa semble t'il). C'est systématique ? Et par curiosité, y aurait-il une différence notable de latence ? J'image que la décomposition en 4 canaux puis recomposition du QSFP+ doit rajouter quelques (dizaines de) ns dans la communication ? Note : dans mon use-case, c'est exclusivement du DAC puisque cluster de stockage Ceph. Je prends volontiers les conseils, et pardon si on est plus dans l'application du réseau au stockage que dans du routage pur et dur. Merci, Julien --- Liste de diffusion du FRnOG http://www.frnog.org/
