Re: [FRsAG] [FRSAG] ordonnanceur de job
Bonjour,Pour des clusters de calcul, dans le monde académique, la plupart des centres utilisent Slurm. OAR n'est pas trop mal sinon. Historiquement SGE (deprecated sauf UGE). Monde proprio : plutôt PBS ou LoadLeveler. La question devient donc : pour quel usage (mono/multi utilisateur.s, gestion fine de queue/policies, calcul, juste des "crons" sur les serveurs avec retour...) ?Cordialement -------- Message d'origine --------De : Raphael Mazelier <raph@futomaki.net> Date : 27/08/2019 13:10 (GMT+01:00) À : frsag@frsag.org Objet : Re: [FRsAG] [FRSAG] ordonnanceur de job Hello, Niveau ordonnanceur il y a la vielle école des trucs proprio, payant et moche style ControlM, $Universe... Ca fait le taf mais à quel prix ? Niveau opensource depuis déjà quelques années on a les classiques Rundeck (qui fait le job sur des workflows simple) et open job scheduler qui est plus complet. Et sinon les new kids on the block qui sont plus orienté worflows complexes (et connotés DataEng du moins pour airflow) : - airflow - stackstorm Tu as l'embaras du choix. ++ On 27/08/2019 12:00, Valentin LAGUERRE wrote: Hello tout le monde, J'aimerais connaître vos avis sur les différents ordonnanceurs sur le marché ou job scheduler que vous avez déjà utilisé (Dans le monde UNIX de préférence ) ? Ça sera l'occasion de partager nos expériences sur ce type de logiciel. Le but étant de me faire une idée afin d'avoir un ordonnanceur qui puisse me permettre de lancer des jobs sur une grande quantité de serveurs, d'avoir le code retour des jobs, d'avoir un historique, etc.. Merci d'avance pour vos retours, Cordialement, Valentin. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
@Remy Dernat Pour des clusters de calcul, dans le monde académique, la plupart des centres utilisent Slurm. OAR n'est pas trop mal sinon. Historiquement SGE (deprecated sauf UGE). Monde proprio : plutôt PBS ou LoadLeveler. La question devient donc : pour quel usage (mono/multi utilisateur.s, gestion fine de queue/policies, calcul, juste des "crons" sur les serveurs avec retour...) ? Pour mon cas c'est pour ordonnancer des jobs de syncro sur des serveurs de stockages, avec code retour et actions on faillure/sucess (en fonction du code retour serait un 'must have'), état d'avancement d'un job ainsi que l'état d'avancement global des jobs. J'ai testé plusieurs ordonnanceurs tels que : JobScheduler ; Flux ; VisualCron ; dkron ; et bien d'autre du style qui sont soit des usines à gaz soit incomplet pour mes besoins. Le seul a peu près viable que j'ai testé serait Cronicle Je vais me renseigner sur les différents softs que tu m'as conseillé. @Raphael Mazelier @Remy Dernat Pouvez-vous m'en dire plus sur les softwares que vous me conseillez ? un petit retour sur expérience pour me faire un premier avis avant de maquetté ? Je suis plus partisan de l'open-source après si il y a un soft 'miracle' payant je reste ouvert ;) Merci pour vos réponses :) Cordialement, Le mar. 27 août 2019 à 13:19, Remy Dernat <remy.dernat@umontpellier.fr> a écrit :
Bonjour,
Pour des clusters de calcul, dans le monde académique, la plupart des centres utilisent Slurm. OAR n'est pas trop mal sinon. Historiquement SGE (deprecated sauf UGE). Monde proprio : plutôt PBS ou LoadLeveler. La question devient donc : pour quel usage (mono/multi utilisateur.s, gestion fine de queue/policies, calcul, juste des "crons" sur les serveurs avec retour...) ?
Cordialement
-------- Message d'origine -------- De : Raphael Mazelier <raph@futomaki.net> Date : 27/08/2019 13:10 (GMT+01:00) À : frsag@frsag.org Objet : Re: [FRsAG] [FRSAG] ordonnanceur de job
Hello,
Niveau ordonnanceur il y a la vielle école des trucs proprio, payant et moche style ControlM, $Universe...
Ca fait le taf mais à quel prix ?
Niveau opensource depuis déjà quelques années on a les classiques Rundeck (qui fait le job sur des workflows simple) et open job scheduler qui est plus complet.
Et sinon les new kids on the block qui sont plus orienté worflows complexes (et connotés DataEng du moins pour airflow) :
- airflow
- stackstorm
Tu as l'embaras du choix.
++ On 27/08/2019 12:00, Valentin LAGUERRE wrote:
Hello tout le monde,
J'aimerais connaître vos avis sur les différents ordonnanceurs sur le marché ou job scheduler que vous avez déjà utilisé (Dans le monde UNIX de préférence ) ? Ça sera l'occasion de partager nos expériences sur ce type de logiciel. Le but étant de me faire une idée afin d'avoir un ordonnanceur qui puisse me permettre de lancer des jobs sur une grande quantité de serveurs, d'avoir le code retour des jobs, d'avoir un historique, etc..
Merci d'avance pour vos retours,
Cordialement,
Valentin.
_______________________________________________ Liste de diffusion du FRsAGhttp://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
--
Salut. Pas que dans le milieu académique mais également dans l'industrie (par exemple la microélectronique), j'ai utilisé et administré l'historique SGE, qui a été forké en tant que Son of Grid Engine[1]. Les releases sont rares (vu son âge…) mais il est assez complet et stable, avec non seulement code de retour mais gestion fine des ressources, de l'ordonnancement, etc. Je ne l'ai utilisé que pour des tâches de compilation et exécution (simulation). Il est facilement installable sur un cluster (en CLI ou avec une GUI en Java quelque peu démodée). Par contre, il y a un peu de ramp-up pour maîtriser la bête mais on n'a rien sans rien. [1] https://arc.liv.ac.uk/trac/SGE
hello, @yk+frsag@64.re SGE est plutôt basé sur les jobs pour les clusters de calcul non ? N'y a t-il pas un 'must have' sur le marché dans l'ordonnancement ? Un Veeam de l'orchestration ? Comment sont géré les jobs d'administration sur des parcs de 100-1000 serveurs ou plus ? Pour moi l'idéal serait de trouver un soft qui : - Gère les crontab distribuées au travers de tout mes serveurs ou groupes de serveurs - Comprend les codes retour - Comprend une interface Web dynamique - Permet de lancer ces jobs immédiatement ou en tâches planifiés - Comprend des Hooks (action on faillure/sucess) - un master qui distribue les tâches a des hosts via ssh de préférence (en gros avoir juste une clé et non un client à installé sur chacune des machines du parc) - mettre en pending les jobs - ... Ce genre de soft doit bien exister non ? Merci d'avance pour vos réponses, Cordialement, Valentin. Le mar. 27 août 2019 à 22:39, <yk+frsag@64.re> a écrit :
Salut.
Pas que dans le milieu académique mais également dans l'industrie (par exemple la microélectronique), j'ai utilisé et administré l'historique SGE, qui a été forké en tant que Son of Grid Engine[1]. Les releases sont rares (vu son âge…) mais il est assez complet et stable, avec non seulement code de retour mais gestion fine des ressources, de l'ordonnancement, etc. Je ne l'ai utilisé que pour des tâches de compilation et exécution (simulation). Il est facilement installable sur un cluster (en CLI ou avec une GUI en Java quelque peu démodée). Par contre, il y a un peu de ramp-up pour maîtriser la bête mais on n'a rien sans rien.
[1] https://arc.liv.ac.uk/trac/SGE _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
--
On 28/08/2019 10:44, Valentin LAGUERRE wrote:
Pour moi l'idéal serait de trouver un soft qui :
* Gère les crontab distribuées au travers de tout mes serveurs ou groupes de serveurs * Comprend les codes retour * Comprend une interface Web dynamique * Permet de lancer ces jobs immédiatement ou en tâches planifiés * Comprend des Hooks (action on faillure/sucess) * un master qui distribue les tâches a des hosts via ssh de préférence (en gros avoir juste une clé et non un client à installé sur chacune des machines du parc) * mettre en pending les jobs * ...
Ce genre de soft doit bien exister non ?
Rundeck fait ça roughly. -- Raphael Mazelier
Hello, Rundeck le fait avec en plus quelques features sympa comme le fait d'avoir un inventaire de node dynamique (via puppet, racktables, aws, etc). Mais aussi une GUI simple et efficace, tu peux même créer des options dynamique basés sur le json d'un webservice. Sébastien Le mer. 28 août 2019 à 11:02, Raphael Mazelier <raph@futomaki.net> a écrit :
On 28/08/2019 10:44, Valentin LAGUERRE wrote:
Pour moi l'idéal serait de trouver un soft qui :
- Gère les crontab distribuées au travers de tout mes serveurs ou groupes de serveurs - Comprend les codes retour - Comprend une interface Web dynamique - Permet de lancer ces jobs immédiatement ou en tâches planifiés - Comprend des Hooks (action on faillure/sucess) - un master qui distribue les tâches a des hosts via ssh de préférence (en gros avoir juste une clé et non un client à installé sur chacune des machines du parc) - mettre en pending les jobs - ...
Ce genre de soft doit bien exister non ?
Rundeck fait ça roughly.
--
Raphael Mazelier _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Salut, Il existe bien des outils pour gérer les "plans de production": Nous avons un français: VTOM http://www.absyss.fr/index.php/produits/visual-tom Pour les grosses structures, le plus connu est CONTROL-M. --- Amicalement, ANTOINE NIVARD antoine@nivard.com Tél: 06 52 57 79 69 / PGP: 0x0376B6D29E35A2B3 Le 30-08-2019 00:21, Sébastien Caloone a écrit :
Hello, Rundeck le fait avec en plus quelques features sympa comme le fait d'avoir un inventaire de node dynamique (via puppet, racktables, aws, etc).
Mais aussi une GUI simple et efficace, tu peux même créer des options dynamique basés sur le json d'un webservice.
Sébastien
Le mer. 28 août 2019 à 11:02, Raphael Mazelier <raph@futomaki.net> a écrit :
On 28/08/2019 10:44, Valentin LAGUERRE wrote:
Pour moi l'idéal serait de trouver un soft qui :
* Gère les crontab distribuées au travers de tout mes serveurs ou groupes de serveurs * Comprend les codes retour * Comprend une interface Web dynamique * Permet de lancer ces jobs immédiatement ou en tâches planifiés * Comprend des Hooks (action on faillure/sucess) * un master qui distribue les tâches a des hosts via ssh de préférence (en gros avoir juste une clé et non un client à installé sur chacune des machines du parc) * mettre en pending les jobs * ...
Ce genre de soft doit bien exister non ?
Rundeck fait ça roughly.
--
Raphael Mazelier _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
participants (6)
-
Antoine Nivard -
Raphael Mazelier -
Remy Dernat -
Sébastien Caloone -
Valentin LAGUERRE -
yk+frsag＠64.re