On 24/11/2014 16:10, Erwan Ben Souiden wrote: (snip)
Nos projets internes deviennent de plus en plus dépendants les uns des autres : certains récupèrent des données, d'autres compilent ces données, d'autres les analysent, d'autres les exportent, etc... Du coup certains process sont bloquants pour que d'autres puissent démarrer (bien entendu uniquement si ce dernier n'a pas rencontré de problème).
(snip)
Bonjour,
Il y a plein d'outils pour ce genre de choses, qui se départagent surtout par leur domaine d'application.
Voilà ceux que j'ai pu croiser.
Il y a ceux qui sont résolument tourné vers le HPC:
- torque/PBS: le vieux de la vieille, un peu hardu, mais stable et sans surprise, mon choix perso pour du HPC (et très modulaire pour les gestions de files)
- sungridengine (SGE), maintenant oraclegridengine (OGE), assez lourd (java), mais fait le boulot, tres tourné HPC egalement, n'est plus vraiment maintenu
- slurm: plus recent mais tres populaire dans le HPC, scale sur de tres grosses infra
- OAR: un peu plus versatile (HPC, mais pas que), un peu hardu, son gros plus (selon moi) est son systeme de reservation avancé (exemple: optimiser l'infra en minimisant les resources utilisés ou le temps de deploiement), mais si on ne se sert pas de ca, il y a probablement plus simple à deployer.
- LoadLeveler, un truc d'IBM intégré à Tivoli maintenant ... tourné HPC, je l'ai testé car il avait été négocié comme porte-clé par les acheteurs, mais je préfere torque/PBS de loin.
Il y a ceux qui sont tournés vers l'integration continue:
- Jenkins: c'est du Java, c'est lourd, mais c'est stable et ca marche, et vu ce que tu décris, ca semble correspondre à ce que tu cherches, c'est pas méchant à mettre en place, par contre faut une (des) grosses VMs.
- gitlab-ci: je n'ai fait que le survoler pour le moment, mais ca se veut un clone de travis ... et travis est vraiment sympa (c'est tourné code testing, mais ca s'adapte assez bien à d'autres usages)
Il y a ceux qui sont tournés vers un use case spécifique:
- drqueue: simple, gère une ferme de rendering, mais pas tres souple pour faire autre chose
Voilà ce que j'ai eu l'occasion de manipuler, et sans connaître plus précisément ton use case, c'est dur de donner un avis.
Bonne continuation
Ju