Et pourquoi pas s’affranchir du hard complétement.
Nous on a deux gros serveurs X86 Xeon avec pas mal de RAM, avec Windows storage dessus. Des JBOD en cascade. On a pu mettre ce que l’on veut cartes réseaux : 4x10Gb + 4x1Gb et cela peut évoluer. Pareil pour les contrôleurs. Les contrôleurs savent faire très correctement du cache sur du SSD (plusieurs SSD en raid 0) Mix avec du sata Et tout pourtant cela a déjà un peu d’âge 4-5 ans… On avait regardé pour y mettre Datacore mais le couts des licences fait réfléchir. Après il y a vraiment pas de fonctionnalités d’origine et avec un peu de dev on peut faire encore plus. La, on doit acheter des nouvelles baies dans l’année et on se posait à nouveau la question de faire la même chose De partir sur des serveurs hyper convergés style HPE SimpliVity. De prendre des baies comme celles déjà cités, HP 3Par ou certaine offre packagé avec déjà des licences Datacore négocié par un grand fabriquant ça doit réduire la note. Et puis dernièrement on regarde aussi la solution TDS de Qnap assez abordable et qui pourrait correspondre à certains besoins. On avait tendance a classé ses NAS dans le monde du GP mais on dirait qu’ils viennent bien marché sur les bande des gros. D’ailleurs si ici il y en a qui ont testé cela … Xavier De : Harold SAUVAGE - nisc-info.fr [mailto:harold.sauv...@nisc-info.fr] Envoyé : mardi 21 mars 2017 13:51 À : Jerome Lien <jerome.l...@gmail.com>; Joël DEREFINKO <joel.derefi...@118218.fr> Cc : Alexandre <in...@opendoc.net>; French SysAdmin Group <frsag@frsag.org> Objet : Re: [FRsAG] Remplacement baie de stockage EMC. D’un point de vue matériel, il existe plein de solutions à des prix très intéressant qui rendent les archi à base de Vsan ou de software très sexy. En tant que fournisseur de matériel, ça permet de changer un peu des traditionnelles baies de stockage qui ont occupé le marché depuis presque une décennie… Cela dit, il faut aussi reconnaître que sur la partie I/O, dès qu’on sort des supports SSD, les performances dépendent énormément du nombre d’axe en place. Autant, je trouve les solutions VSAN (ou Nutanix) bien placée sur du full flash, autant sur des solutions hybride ou SAS/SATA, le coût des licences me semble alors prohibitif compte tenu des performances au final limitée. Cela dit, on peut aussi partir sur des solutions VSAN avec plein de disques rapides, mais la plupart des éditeurs ne les mettent pas en avant compte tenu du coût qui les rend alors trop cher… Au final, la bonne architecture dépend clairement des usages et de la volumétrie envisagée :) De : FRsAG [ <mailto:frsag-boun...@frsag.org> mailto:frsag-boun...@frsag.org] De la part de Jerome Lien Envoyé : mardi 21 mars 2017 13:33 À : Joël DEREFINKO < <mailto:joel.derefi...@118218.fr> joel.derefi...@118218.fr> Cc : Alexandre < <mailto:in...@opendoc.net> in...@opendoc.net>; French SysAdmin Group < <mailto:frsag@frsag.org> frsag@frsag.org> Objet : Re: [FRsAG] Remplacement baie de stockage EMC. on se retrouve un peu dans la meme problématique, on posséde deux v7000 qui ne seront pas gardé et 2 chassis M1000 qui vont tomber en fin de maintenance non renouvelable d'ici le milieu d'année. Actuellement on regarde des solutions de vSan sur pizzabox DELL ou supermicro (Twin2 PRO)..... mais pour le moment aucun choix n'a été fait.... Vmware sont venu nous faire une présentation vSan ... et vis à vis des retours je trouve cela fort intéressant. Le hic le coût des licences à bien réfléchir sur le long terme. Le 21 mars 2017 à 11:25, Joël DEREFINKO <joel.derefi...@118218.fr <mailto:joel.derefi...@118218.fr> > a écrit : T’inquiète tu me saoule pas :) Oui, ta solution est valide. J’avais contacté le support Nutanix pour en discuter avec eux : ils m’avaient confirmé que c’était faisable comme ca, mais qu’ils recommandaient malgré tout un shutdown complet pour être safe. La règle n°1 étant « on n’est jamais trop parano », j’ai opté pour le shutdown complet. On n’a pas vraiment « sorti » de nœud du cluster pour le remplacer, mais j’ai du éteindre chaque nœud individuellement pour faire un upgrade de RAM. Au reboot, il a fallu attendre la re-sync du cluster, ce qui de tête a pris environ 6-8h par nœud. Le bon point c’est que le nœud est malgré tout utilisable immédiatement : malgré la reconstruction en cours, si le cluster de donnée dont la VM a besoin n’est pas à jour sur le nœud, le système va le lire à travers le réseau sur un nœud où il est présent en attendant sa synchro en local. Joel De : David Ponzone [mailto: <mailto:david.ponz...@gmail.com> david.ponz...@gmail.com] Envoyé : mardi 21 mars 2017 11:10 À : Joël DEREFINKO <joel.derefi...@118218.fr <mailto:joel.derefi...@118218.fr> > Cc : Simon Morvan <gar...@zone84.net <mailto:gar...@zone84.net> >; Alexandre <in...@opendoc.net <mailto:in...@opendoc.net> >; French SysAdmin Group <frsag@frsag.org <mailto:frsag@frsag.org> > Objet : Re: [FRsAG] Remplacement baie de stockage EMC. Merci pour ton retour. Concernant l’obligation d’éteindre un cluster entier, ça serait effectivement excellent s’ils arrivent à améliorer ça, mais actuellement avec une archi classique serveurs-SAN/NAS, tu as déjà le problème. Tu peux peux pas avoir 2 10G sur chaque noeud avec bascule automatique sur l’interface secondaire si la primaire tombe ou semble inactive ? (et donc avoir un autre switch pour relier les noeuds entre eux par leurs cartes secondaires) Ce qui te permettrait de forcer tous les noeuds à passer sur le secondaire, pour pouvoir faire une maintenance sur le réseau primaire. Et pour finir, après j’arrête de te saouler, vous avez essayé de sortir un noeud du cluster, de le remplacer par un tout neuf, pour voir le temps avant qu’il soit up ? Le 21 mars 2017 à 10:45, Joël DEREFINKO <joel.derefi...@118218.fr <mailto:joel.derefi...@118218.fr> > a écrit : Bonjour David, Ma foi, un article sur le blog de VMWare me laisse dubitatif sur l’objectivité de l’analyse à la base 😊. Mais je te le concède, les appliance Nutanix sont plutôt chères (un peu comme toutes les appliance d’ailleurs). Je pense que c’est aussi le côté « fancy » de la solution qui explique les prix, plus les arguments du types « c’est des anciens ingés de Google et Facebook qui ont monté leur boite »… ah le marketing 😊 Je pense qu’il faut voir l’infrastructure de virtualisation dans son ensemble HW + SW. Si tu as déjà une infra VMWare en place, l’option vSAN est certainement plus pertinente économiquement qu’un switch vers de l’hyper-convergé qui potentiellement implique un renouvellement HW. Dans notre cas particulier, nous partions d’une feuille blanche (enfin presque, des vieux ESXi 3.0 qui trainaient par-ci, par-là). Dans le cadre de notre projet (2 clusters de 3 nœuds sur deux DCs distants) le cout d’acquisition d’une plateforme Nutanix était supérieur à une solution Dell + Equalogic (iSCSI) mais largement inférieur à UCS+EMC, le tout hors licences VMWare. En 2015, il y avait deux options pour nous: * Appliance Nutanix avec possibilité de 4 nœuds par block de 3U * Serveur Dell + Nutanix issu d’un partenariat naissant entre les deux. Nous sommes partis sur les appliance et à ce jour nous ne le regrettons pas (à ma grande surprise nous n’avons même pas changé un seul HDD). Il me semble que désormais la solution Nutanix est quasi-agnostique niveau hardware : tu peux très bien prendre des serveurs HP/DELL/etc et installer NOS dessus (à condition de respecter les compatibility matrix pour les controlleurs, etc…), ce qui doit permettre de réduire les couts hardware. (cf Nutanix Community Edition qui est free et est sensée tourner sur presque n’importe quel HW) Mais là où je pense que Nutanix vaut le coup/coût, c’est dans un contexte non-VMWare. Leur solution Acropolis HyperVisor (AHV) basée sur KVM semble désormais mature, et offre sur le papier des capacités de gestion plutôt sympathique (je n’ai pas testé). Compte tenu de nos besoins et en nous replaçant dans notre contexte de 2015 aujourd’hui, nous serions certainement partis sur AHV plutôt que VMWare. Après tout n’est pas rose non plus… il y a pour moi un défaut majeur qui réside dans le fait qu’il faille complétement éteindre un cluster en cas de maintenance réseau par exemple. Je m’explique : Les appliances ont besoin d’un réseau 10G pour communiquer entre elles pour la synchro du cluster (ca fonctionne aussi en 1G, mais la préco est 10G). Le cluster est tolérant aux pannes modulo le RF dont on a parlé. Problème : j’ai dû remplacer les switches qui hébergent nos nœuds, et pour l’instant il est impossible pour un nœud de fonctionner de manière isolée. * Shutdown obligatoire du cluster (et donc de toutes les VMs) le temps de la bascule sur les nouveaux switches C’est un point noir connu de Nutanix, et d’après notre avant-vente de Nutanix France, les ingés planchent dessus pour permettre de passer chaque nœud en mode isolé. A ma connaissance ça n’a pas encore été releasé (la v5 de NOS vient de sortir, je n’ai pas épluché la release note). Dans notre cas (prod en actif-actif au niveau applicatif sur deux DC), on peut se passer de tout ou partie d’un DC donc on peut se permettre d’éteindre un cluster, mais ca n’est certainement pas le cas de tout le monde…. joël De : David Ponzone [ <mailto:david.ponz...@gmail.com> mailto:david.ponz...@gmail.com] Envoyé : mardi 21 mars 2017 10:13 À : Joël DEREFINKO < <mailto:joel.derefi...@118218.fr> joel.derefi...@118218.fr> Cc : Simon Morvan < <mailto:gar...@zone84.net> gar...@zone84.net>; Alexandre < <mailto:in...@opendoc.net> in...@opendoc.net>; French SysAdmin Group < <mailto:frsag@frsag.org> frsag@frsag.org> Objet : Re: [FRsAG] Remplacement baie de stockage EMC. Joël, Le problème de NUTANIX semble quand même d’être le pricing des serveurs, qui sont des OEM Supermicro. Tu penses quoi de cette analyse tarifaire de VMware, qui date certes un peu et qui est évidemment partiale: <https://blogs.vmware.com/virtualblocks/2015/06/21/vmware-vsan-vs-nutanix-head-to-head-pricing-comparison-why-pay-more/> https://blogs.vmware.com/virtualblocks/2015/06/21/vmware-vsan-vs-nutanix-head-to-head-pricing-comparison-why-pay-more/ Le 20 mars 2017 à 17:57, Joël DEREFINKO < <mailto:joel.derefi...@118218.fr> joel.derefi...@118218.fr> a écrit : Pour aller plus loin j'ajoute une subtilité supplémentaire : ils ont ajouté aussi la fonction "block awareness". En gros, un appliance Nutanix peut, suivant les modèles, héberger de 1 à 4 nœuds. Nutanix appelle ces appliance "block". C'est le cas de nos NX-1000 par exemple : possibilité de 4 nœuds dans une boite de 3U, chaque nœud se présentant comme une lame de blade : <http://habrastorage.org/getpro/habr/post_images/f9b/7ca/522/f9b7ca5223ac691873748e86189050a4.jpg> http://habrastorage.org/getpro/habr/post_images/f9b/7ca/522/f9b7ca5223ac691873748e86189050a4.jpg Problème : il y a deux modules d'alimentation, mais ils servent à aliment les 4 nœuds du "block". Du coup, en cas de problème électrique grave, risque d'avoir 4 nœuds dans les choux simultanément (probabilité hyper rare mais j'ai un top management super frileux... bref). C'est là qu'entre en jeu le "block awareness" : le système est conscient de quel nœud est dans quel block. Du coup, si c'est possible, il fera tout pour écrire la copie de la data sur un nœud hébergé par un block différent du sien. N'ayant que 3 nœuds, nous avons opté pour 1 nœud = 1 block (sans surcout, pour Nutanix le block n'est qu'un chassis vide avec 2 alims). Du coup quel que soit le nœud sur lequel la data sera clonée, elle sera située sur un block physique totalement différent. Avec 5 nœuds tu pourrais faire du 3 + 2 dans deux blocks séparés par exemple. Joël DEREFINKO // Infrastructure Manager // 118218 Le Numero -----Message d'origine----- De : Joël DEREFINKO Envoyé : lundi 20 mars 2017 17:49 À : David Ponzone < <mailto:david.ponz...@gmail.com> david.ponz...@gmail.com> Cc : Simon Morvan < <mailto:gar...@zone84.net> gar...@zone84.net>; Alexandre < <mailto:in...@opendoc.net> in...@opendoc.net>; French SysAdmin Group < <mailto:frsag@frsag.org> frsag@frsag.org> Objet : RE: [FRsAG] Remplacement baie de stockage EMC. Oui c'est ca : RF 2 = deux copies d'un cluster de data existent à un instant T : - la première sur le nœud sur lequel s'exécute la VM, pour un accès plus rapide - la seconde sur un autre nœud du cluster. En cas de crash du nœud sur lequel tourne la VM : - elle est migrée à chaud ou à la main suivant la conf de ton HV sur un autre nœud du cluster Nutanix. - le cluster de données "survivant" est automatiquement cloné sur un autre nœud du cluster nutanix. => Tu peux perdre 1 nœud maxi En RF 3, à un instant T 3 copies existent : l'une sur le nœud sur lequel tourne la VM, et les deux autres copies sur deux autres nœuds du cluster. => Tu peux perdre 2 nœuds maxi Joël DEREFINKO // Infrastructure Manager // 118218 Le Numero -----Message d'origine----- De : David Ponzone [ <mailto:david.ponz...@gmail.com> mailto:david.ponz...@gmail.com] Envoyé : lundi 20 mars 2017 17:45 À : Joël DEREFINKO < <mailto:joel.derefi...@118218.fr> joel.derefi...@118218.fr> Cc : Simon Morvan < <mailto:gar...@zone84.net> gar...@zone84.net>; Alexandre < <mailto:in...@opendoc.net> in...@opendoc.net>; French SysAdmin Group < <mailto:frsag@frsag.org> frsag@frsag.org> Objet : Re: [FRsAG] Remplacement baie de stockage EMC. RF2, ça veut dire que tu peux perdre un noeud max dans le cluster sans perte de données ? Et RF3, tu peux en perdre 2 ? Ou j’ai rien compris ? :) Le 20 mars 2017 à 17:15, Joël DEREFINKO < <mailto:joel.derefi...@118218.fr> joel.derefi...@118218.fr> a écrit : L'outil magique : <http://designbrewz.com/> http://designbrewz.com/ En fonction du Redundancy Factor (nombre de fois qu'un cluster de données est redondé, par défaut 2 fois), ca capacité utile varie fortement. Dans notre cas précis (on est petits joueurs): 2 clusters de 3 Nœuds chacun avec dans chaque noeud: 1x SSD 400 GB 5x NLSAS 1TB RF = 2 Total : un peu moins de 6 TB utiles. On parle ici de la conf entrée de gamme (NX-1000) de 2015 avec des disques de 1 TB. Aujourd'hui ils proposent des HDD jusqu'à 8 TB en fonction des gammes. -----Message d'origine----- De : David Ponzone [ <mailto:david.ponz...@gmail.com> mailto:david.ponz...@gmail.com] Envoyé : lundi 20 mars 2017 17:10 À : Joël DEREFINKO < <mailto:joel.derefi...@118218.fr> joel.derefi...@118218.fr> Cc : Simon Morvan < <mailto:gar...@zone84.net> gar...@zone84.net>; Alexandre < <mailto:in...@opendoc.net> in...@opendoc.net>; French SysAdmin Group < <mailto:frsag@frsag.org> frsag@frsag.org> Objet : Re: [FRsAG] Remplacement baie de stockage EMC. Je n’arrive pas à trouver l’info concernant le stockage utile dans un cluster de X noeuds. Si j’ai par exemple 5 noeuds avec 2To chacun, j’ai combien d’espace de stockage redondé utile ? Le 20 mars 2017 à 17:01, Joël DEREFINKO < <mailto:joel.derefi...@118218.fr> joel.derefi...@118218.fr> a écrit : Bonjour Simon, En 2015, pour la license Pro il fallait compter un peu moins de 6000 € HT par nœud. Nous fonctionnons en Starter, il me semble que c'était entre 2000 et 3000 € HT par nœud. Evidemment il faut ajouter les couts de licence de l'hyperviseur si ce n'est pas KVM. Description des features par licence : <https://www.nutanix.com/products/software-editions/> https://www.nutanix.com/products/software-editions/ Les fonctions évoluées type dedup, compression MapReduce, Erasure Coding, etc... sont dispo à partir de la Pro :) Joël -----Message d'origine----- De : Simon Morvan [ <mailto:gar...@zone84.net> mailto:gar...@zone84.net] Envoyé : lundi 20 mars 2017 16:52 À : Joël DEREFINKO < <mailto:joel.derefi...@118218.fr> joel.derefi...@118218.fr>; Alexandre < <mailto:in...@opendoc.net> in...@opendoc.net>; French SysAdmin Group < <mailto:frsag@frsag.org> frsag@frsag.org> Objet : Re: [FRsAG] Remplacement baie de stockage EMC. Bonjour Joël, A titre informatif, ça tape dans les combien les licences Nutanix ? -- Simon On 20/03/2017 16:20, Joël DEREFINKO wrote: Hello, De notre coté on a migré d'un SAN HP EVA vers une solution de virtualisation hyper-convergée, Nutanix en l'occurrence il y a 2 ans. Le stockage est assurée par un cache flash plus du NL-SAS : données chaudes en flash, froides en NL-SAS, le tout géré automagiquement. On a constaté une baisse de 10% en terme d'IOPS sur SQL Server comparé à l'ancienne infra FC, mais compte tenu de tous les gains à coté (couts d'acquisition, maintenance, administration, etc...) c'était peu cher payé comme contrepartie. A savoir que les gammes ont fortement évolué et il existe des nœuds full flash. Par ailleurs, tu peux mixer tous les types de nœuds dans un meme cluster (du full flash hyper balaise avec des nœuds d'entrée de gamme, etc...). La redondance du stockage est bien gérée de son coté Bilan au bout de deux ans : ca juste marche, Nutanix propose des releases régulières (tous les 1 à 2 mois) de leur OS, appliquée en 1-click upgrade, jamais eu le moindre souci. Par ailleurs les nouvelles features sont automatiquement disponibles, pas d'upgrade de licence ou quoi que ce soit du genre. A savoir qu'ils sont agnostiques VMWare/Citrix/Microsoft/KVM, et ont fortement travaillé pour développer leur propre solution basée sur KVM (que j'aurais bien choisie à l'époque mais manquant encore un peu de maturité : aujourd'hui je partirais sur KVM sans hésiter une demi-seconde). Un de leurs ingé gère le site <http://nutanixbible.com/> http://nutanixbible.com/, qui décrit tous les mécanismes du système. Pour finir, l'OS est disponible en Community Edition si tu veux tester en standalone (bien que le minimum requis en cluster soit 3 nœuds pour les histoires de redondance). De tête il faut simplement 16 Go de RAM sur la machine/VM de test, et tu peux très bien utiliser la community edition gratuitement sur des serveurs quelle que soit leur marque. Comme tu/vous l'aurez compris : on est conquis par la solution ! Cerise sur le gateau : un cluster de 4 nœuds tient dans 2U, stockage compris... (enfin ca dépend évidemment de la capacité de stockage requise...). Joël PS : il y a d'autre solutions similaires comme Simplivity et HP à aussi une offre hyper-convergée dont le nom m'échappe. -----Message d'origine----- De : FRsAG [ <mailto:frsag-boun...@frsag.org> mailto:frsag-boun...@frsag.org] De la part de Alexandre Envoyé : lundi 20 mars 2017 14:55 À : French SysAdmin Group < <mailto:frsag@frsag.org> frsag@frsag.org> Objet : [FRsAG] Remplacement baie de stockage EMC. Bonjour à tous, je me permets de vous solliciter concernant la virtualisation. Nous avons 2 sites avec des chassis UCS + baie EMC + VmWare. Le tout relié avec de la fibre et 2 cœurs de réseau Nexus. Aujourd'hui EMC refuse de prolonger au delà de 2017 le maintien de notre baie de stockage 5300. Cette baie nous fait du SAN et NAS. Nous sommes en plein questionnement et nous avons plusieurs axes de recherche : - racheter une baie EMC. Sauf que maintenant EMC c'est DELL, et que nous avons eu une énorme coupure de notre baie il y a 6 mois lors d'un patch de sécu de l'équipe d'Inde. Nous avons perdu 45 000 euros et EMC nous a même pas dédommagé du prix de la communication. Mais ca serait le plus simple, on pourrait garder notre réplication NAS/SAN. - Faire le NAS en interne avec du Ceph. Cela veut dire de s'approprier la techno et nous sommes déjà bien chargé au niveau travail. Nous sommes que deux à l'exploitation. Comment faire de le syncho avec notre autre baie EMC 5400. - Trouver une entreprise pour nous faire le maintien de la baie 5300. - Continuer avec VmWare avec des serveurs en mode "pizza box" qui nous permet de ne pas avoir de SAN, mais il faut un système d'agrégation des volumes. C'est quelques idées mais j'ai rien de bien défini. Je n'ai pas une bonne vision des technos d'aujourd'hui. Le mode tout centralisé avec le chassi + lame + SAN semble être moins utilisé. Avec ces quelques éléments : - Si nous devions continuer avec VmWare, quelle type d'architecture est conseillée ? - Existe t'il des solutions en mode SAN intéressante pour partir d'EMC ? - Ceph vous semble t'il une bonne solution pour NAS ? Pouvons-nous synchroniser la data sur de l'EMC. Avez vous d'autre solutions ? Merci pour vos retour précieux. Je me pose beaucoup de questions pour ce projet. Alexandre. _______________________________________________ Liste de diffusion du FRsAG <http://www.frsag.org/> http://www.frsag.org/ _______________________________________________ Liste de diffusion du FRsAG <http://www.frsag.org/> http://www.frsag.org/ _______________________________________________ Liste de diffusion du FRsAG <http://www.frsag.org/> http://www.frsag.org/ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
