Hadoop (Hadoop2/Yarn)… sont des systèmes de calcul distribués sur des serveurs généralement physiques et standard : http://hadoop.apache.org/ Ca inclus un FS partagé qui est une agrégation de tous les disques des serveurs : HDFS.
Si un calcul = un serveur et que ca tourne sous Linux, LXC ou Docker (docker.io) peut te permettre d’utiliser les ressources des machines sans avoir la surcouche de la virtualisation. C’est ce que font tous les grands de l’internet genre Facebook, Twitter, rBnb... A noter que des initiatives (Mesos) permettent presque de starter des containers depuis hadoop et surtout de repartir la charge des calculs (ou de les relancer si ils crachent ou si le serveur crash) en fonction de la taille des machines si elles sont différentes… Prune On 21May, 2014, at 10:28, Alexandre <in...@opendoc.net> wrote: > Bonjour à tous, > > je souhaite avoir quelques retours sur l'utilisation des technos HPC. Je me > permets de vous lister mon besoin, peut-être que l'HPC n'est pas la bonne > solution. > > Aujourd'hui, nous avons de nombreux calculs réalisés sur déférentes machines > physiques. Un calcul spécifique est associé à une machine. Nous rencontrons > des problèmes de mutualisation de ressources concernant l'espace et la > puissance de calcul. > > Dans un premier temps je suis dirigé vers la virtualisation. Sachant que mes > machines physiques possèdent 64 procs et que les VM 32, les ressources sont > très vite utilisées, et la virtualisation me provoque des ralentissements des > calculs. J'aurai besoin de "fusionner" les ressources physiques. Idéalement > de faire tourner un traitement sur plusieurs machines. Il me semble que mon > besoin serait plus du "High Performance Computing". Je pense que vous êtes > beaucoup à avoir ce besoin. > > J'ai trouvé MPI qui pourrait correspondre à mon besoin : > http://www.open-mpi.org/ > > Qu'en pensez-vous ? Avez-vous d'autres solutions (sans externalisation) ? > > OVH avait racheté une boite en 2012 qui faisait ca, Oxalya > > http://www.oxalya.com/?p=1570 > > Alex. > > > --------------------------- > Liste de diffusion du FRnOG > http://www.frnog.org/ --------------------------- Liste de diffusion du FRnOG http://www.frnog.org/
