On 24/11/2014 16:10, Erwan Ben Souiden wrote:
(snip)
Nos projets internes deviennent de plus en plus dépendants les uns des
autres : certains récupèrent des données, d'autres compilent ces
données, d'autres les analysent, d'autres les exportent, etc...
Du coup certains process sont bloquants pour que d'autres puissent
démarrer (bien entendu uniquement si ce dernier n'a pas rencontré de
problème).
(snip)
Bonjour,
Il y a plein d'outils pour ce genre de choses, qui se départagent
surtout par leur domaine d'application.
Voilà ceux que j'ai pu croiser.
Il y a ceux qui sont résolument tourné vers le HPC:
- torque/PBS: le vieux de la vieille, un peu hardu, mais stable et sans
surprise, mon choix perso pour du HPC (et très modulaire pour les
gestions de files)
- sungridengine (SGE), maintenant oraclegridengine (OGE), assez lourd
(java), mais fait le boulot, tres tourné HPC egalement, n'est plus
vraiment maintenu
- slurm: plus recent mais tres populaire dans le HPC, scale sur de tres
grosses infra
- OAR: un peu plus versatile (HPC, mais pas que), un peu hardu, son gros
plus (selon moi) est son systeme de reservation avancé (exemple:
optimiser l'infra en minimisant les resources utilisés ou le temps de
deploiement), mais si on ne se sert pas de ca, il y a probablement plus
simple à deployer.
- LoadLeveler, un truc d'IBM intégré à Tivoli maintenant ... tourné HPC,
je l'ai testé car il avait été négocié comme porte-clé par les
acheteurs, mais je préfere torque/PBS de loin.
Il y a ceux qui sont tournés vers l'integration continue:
- Jenkins: c'est du Java, c'est lourd, mais c'est stable et ca marche,
et vu ce que tu décris, ca semble correspondre à ce que tu cherches,
c'est pas méchant à mettre en place, par contre faut une (des) grosses VMs.
- gitlab-ci: je n'ai fait que le survoler pour le moment, mais ca se
veut un clone de travis ... et travis est vraiment sympa (c'est tourné
code testing, mais ca s'adapte assez bien à d'autres usages)
Il y a ceux qui sont tournés vers un use case spécifique:
- drqueue: simple, gère une ferme de rendering, mais pas tres souple
pour faire autre chose
Voilà ce que j'ai eu l'occasion de manipuler, et sans connaître plus
précisément ton use case, c'est dur de donner un avis.
Bonne continuation
Ju
___
Liste de diffusion du FRsAG
http://www.frsag.org/
