Re: [FRnOG] [TECH] AMD EPYC 128 PCIe lanes
Re, le riser, est-il connecté par 96 lanes? ou est-il sur un bridge? Si c'est un bridge, ça n'ira pas. On dirait bien que c'est du physique/passif. Tu devrais contacter qui tu sais chez Dell pour qu'il t'en prête un. Ce serait dommage d'avoir un si beau routeur et pas le storage local qui suit (et en RAID 1)... Hors avec le NVMe (donc 2 disques en PCIe x4), l'utilisateur du routeur pourra faire tcpdump sur disque dans la limite de 10Gb/s loggués, ce qui peut être bien pratique quand même :) tu ferais vraiment un tcpdump? pas plutôt un sflow? Un tcpdump -s0 -w ... full packet :) Le jour où c'est possible, les gens le feront, tu sais la nature, le vide... A+, -- Philippe Bourcier web : http://sysctl.org/ blog : https://www.linkedin.com/today/author/philippebourcier --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] AMD EPYC 128 PCIe lanes
Le 29/03/2018 à 09:19, Philippe Bourcier a écrit : Si 6 slots PCI 16x te suffisent, il y a Dell R7425 qui a un riser dédié 6 x 16x (MP pour que je te fasse une quote). le riser, est-il connecté par 96 lanes? ou est-il sur un bridge? Si c'est un bridge, ça n'ira pas. J'ai un point prévu sur le sujet pour avoir du matos de test, et bizarrement devine avec quel soft ? :) Normal, il faut des soft capables de tenir la performance à ces débits :D 6 x 16x me paraissent bien et je doute qu'on voit beaucoup plus, car de toute façon c'est bien de laisser des lanes PCIe, pour les NVMe et les trucs locaux déjà soudés sur la CM (genre un contrôleur disque et 2-3 trucs du genre)... Oui, cependant, garder 32 lanes pour du NVMe sur une machine qui peut faire du switch-routeur, c'est du luxe quand même. Ce serait dommage d'avoir un si beau routeur et pas le storage local qui suit (et en RAID 1)... Hors avec le NVMe (donc 2 disques en PCIe x4), l'utilisateur du routeur pourra faire tcpdump sur disque dans la limite de 10Gb/s loggués, ce qui peut être bien pratique quand même :) tu ferais vraiment un tcpdump? pas plutôt un sflow? --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] AMD EPYC 128 PCIe lanes
Bonjour, Si 6 slots PCI 16x te suffisent, il y a Dell R7425 qui a un riser dédié 6 x 16x (MP pour que je te fasse une quote). J'ai un point prévu sur le sujet pour avoir du matos de test, et bizarrement devine avec quel soft ? :) 6 x 16x me paraissent bien et je doute qu'on voit beaucoup plus, car de toute façon c'est bien de laisser des lanes PCIe, pour les NVMe et les trucs locaux déjà soudés sur la CM (genre un contrôleur disque et 2-3 trucs du genre)... Ce serait dommage d'avoir un si beau routeur et pas le storage local qui suit (et en RAID 1)... Hors avec le NVMe (donc 2 disques en PCIe x4), l'utilisateur du routeur pourra faire tcpdump sur disque dans la limite de 10Gb/s loggués, ce qui peut être bien pratique quand même :) Cordialement, -- Philippe Bourcier web : http://sysctl.org/ blog : https://www.linkedin.com/today/author/philippebourcier --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] AMD EPYC 128 PCIe lanes
PS : aux dernières nouvelles, c'est 128 lanes PCI. Mais Gen3 uniquement bridé par le code, c'est à dire que dès que la Gen4 est UP, ils suffiraient de mettre à jour les firmwares des CM pour avoir 128 lanes PCIe4.0. J'attends de voir. Le 28 mars 2018 à 15:51, Guillaume Barrot a écrit : > 0 cartes en prod sur de la marque générique, toutes les cartes denses en > PCI sont des cartes dédiées au mining, donc des PCI 1x en pagaille. > > Si 6 slots PCI 16x te suffisent, il y a Dell R7425 qui a un riser dédié 6 > x 16x (MP pour que je te fasse une quote). > J'ai un point prévu sur le sujet pour avoir du matos de test, et > bizarrement devine avec quel soft ? :) > > Faudrait voir avec Supermicro, Quanta ou Lanher s'ils ont du 8 x 16x mono > proc ou du 16 x 16x dual proc dans le pipe, mais bon courage, j'ai eu > aucune réponse de mon coté. > Après le form factor en 16 x 16x, ça doit être assez ... déroutant :) > > Le 28 mars 2018 à 12:09, Kavé Salamatian > a écrit : > >> Tiens on a quelque chose comme ca chez les partenaires de l’académie des >> sciences en Chine. Mais on a une fait une carte maison. On y plugs des >> cartes Tilera et/ou Intel. J’attends aussi de voir des serveurs >> commerciaux, même si je ne suis pas sur que ca revienne moins que nos >> cartes maison … >> >> A+ >> >> Kv >> >> > Le 28 mars 2018 à 11:43, Vincent JARDIN a >> écrit : >> > >> > Qui connaît un fournisseur de serveurs "production ready" avec des EPYC >> et 7~8 slots en PCIe gen3 afin de stresser leurs fameuses 128 PCIe Gen3 >> lanes? >> > >> > J'attends d'en obtenir 300 Mpps à 500 Mpps en routage si de tels >> serveurs existent: >> > - y mettre 7 cartes 100Gbps de Mellanox, >> > - pousser notre vRouter, >> > - stresser avec un tgen à la hauter. >> > >> > merci, >> > Vincent >> > >> > >> > --- >> > Liste de diffusion du FRnOG >> > http://www.frnog.org/ >> >> >> --- >> Liste de diffusion du FRnOG >> http://www.frnog.org/ >> > > > > -- > Cordialement, > > Guillaume BARROT > -- Cordialement, Guillaume BARROT --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] AMD EPYC 128 PCIe lanes
0 cartes en prod sur de la marque générique, toutes les cartes denses en PCI sont des cartes dédiées au mining, donc des PCI 1x en pagaille. Si 6 slots PCI 16x te suffisent, il y a Dell R7425 qui a un riser dédié 6 x 16x (MP pour que je te fasse une quote). J'ai un point prévu sur le sujet pour avoir du matos de test, et bizarrement devine avec quel soft ? :) Faudrait voir avec Supermicro, Quanta ou Lanher s'ils ont du 8 x 16x mono proc ou du 16 x 16x dual proc dans le pipe, mais bon courage, j'ai eu aucune réponse de mon coté. Après le form factor en 16 x 16x, ça doit être assez ... déroutant :) Le 28 mars 2018 à 12:09, Kavé Salamatian a écrit : > Tiens on a quelque chose comme ca chez les partenaires de l’académie des > sciences en Chine. Mais on a une fait une carte maison. On y plugs des > cartes Tilera et/ou Intel. J’attends aussi de voir des serveurs > commerciaux, même si je ne suis pas sur que ca revienne moins que nos > cartes maison … > > A+ > > Kv > > > Le 28 mars 2018 à 11:43, Vincent JARDIN a > écrit : > > > > Qui connaît un fournisseur de serveurs "production ready" avec des EPYC > et 7~8 slots en PCIe gen3 afin de stresser leurs fameuses 128 PCIe Gen3 > lanes? > > > > J'attends d'en obtenir 300 Mpps à 500 Mpps en routage si de tels > serveurs existent: > > - y mettre 7 cartes 100Gbps de Mellanox, > > - pousser notre vRouter, > > - stresser avec un tgen à la hauter. > > > > merci, > > Vincent > > > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > -- Cordialement, Guillaume BARROT --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] AMD EPYC 128 PCIe lanes
Tiens on a quelque chose comme ca chez les partenaires de l’académie des sciences en Chine. Mais on a une fait une carte maison. On y plugs des cartes Tilera et/ou Intel. J’attends aussi de voir des serveurs commerciaux, même si je ne suis pas sur que ca revienne moins que nos cartes maison … A+ Kv > Le 28 mars 2018 à 11:43, Vincent JARDIN a écrit : > > Qui connaît un fournisseur de serveurs "production ready" avec des EPYC et > 7~8 slots en PCIe gen3 afin de stresser leurs fameuses 128 PCIe Gen3 lanes? > > J'attends d'en obtenir 300 Mpps à 500 Mpps en routage si de tels serveurs > existent: > - y mettre 7 cartes 100Gbps de Mellanox, > - pousser notre vRouter, > - stresser avec un tgen à la hauter. > > merci, > Vincent > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
[FRnOG] [TECH] AMD EPYC 128 PCIe lanes
Qui connaît un fournisseur de serveurs "production ready" avec des EPYC et 7~8 slots en PCIe gen3 afin de stresser leurs fameuses 128 PCIe Gen3 lanes? J'attends d'en obtenir 300 Mpps à 500 Mpps en routage si de tels serveurs existent: - y mettre 7 cartes 100Gbps de Mellanox, - pousser notre vRouter, - stresser avec un tgen à la hauter. merci, Vincent --- Liste de diffusion du FRnOG http://www.frnog.org/
