[FRsAG] [FRSAG] ordonnanceur de job

Valentin LAGUERRE valentin.laguerre at frameip.fr
Mar 27 Aou 14:22:19 CEST 2019


@Remy Dernat
  Pour des clusters de calcul, dans le monde académique, la plupart des
centres utilisent Slurm.  OAR n'est pas trop mal sinon. Historiquement SGE
(deprecated sauf UGE). Monde proprio : plutôt PBS ou LoadLeveler. La
question devient donc : pour quel usage (mono/multi utilisateur.s, gestion
fine de queue/policies, calcul, juste des "crons" sur les serveurs avec
retour...) ?

Pour mon cas c'est pour ordonnancer des jobs de syncro sur des serveurs de
stockages, avec code retour et actions on faillure/sucess (en fonction du
code retour serait un 'must have'), état d'avancement d'un job ainsi que
l'état d'avancement global des jobs.

J'ai testé plusieurs ordonnanceurs tels que : JobScheduler ; Flux
; VisualCron ; dkron ; et bien d'autre du style qui sont soit des usines à
gaz soit incomplet pour mes besoins.

Le seul a peu près viable que j'ai testé serait Cronicle

Je vais me renseigner sur les différents softs que tu m'as conseillé.

@Raphael Mazelier @Remy Dernat

Pouvez-vous m'en dire plus sur les softwares que vous me conseillez ? un
petit retour sur expérience pour me faire un premier avis avant de maquetté
?

Je suis plus partisan de l'open-source après si il y a un soft 'miracle'
payant je reste ouvert ;)

Merci pour vos réponses :)

Cordialement,

Le mar. 27 août 2019 à 13:19, Remy Dernat <remy.dernat at umontpellier.fr> a
écrit :

> Bonjour,
>
> Pour des clusters de calcul, dans le monde académique, la plupart des
> centres utilisent Slurm.  OAR n'est pas trop mal sinon. Historiquement SGE
> (deprecated sauf UGE). Monde proprio : plutôt PBS ou LoadLeveler. La
> question devient donc : pour quel usage (mono/multi utilisateur.s, gestion
> fine de queue/policies, calcul, juste des "crons" sur les serveurs avec
> retour...) ?
>
> Cordialement
>
> -------- Message d'origine --------
> De : Raphael Mazelier <raph at futomaki.net>
> Date : 27/08/2019 13:10 (GMT+01:00)
> À : frsag at frsag.org
> Objet : Re: [FRsAG] [FRSAG] ordonnanceur de job
>
> Hello,
>
> Niveau ordonnanceur il y a la vielle école des trucs proprio, payant et
> moche style ControlM, $Universe...
>
> Ca fait le taf mais à quel prix ?
>
> Niveau opensource depuis déjà quelques années on a les classiques Rundeck
> (qui fait le job sur des workflows simple) et open job scheduler qui est
> plus complet.
>
> Et sinon les new kids on the block qui sont plus orienté worflows
> complexes (et connotés DataEng du moins pour airflow) :
>
> - airflow
>
> - stackstorm
>
> Tu as l'embaras du choix.
>
> ++
> On 27/08/2019 12:00, Valentin LAGUERRE wrote:
>
> Hello tout le monde,
>
> J'aimerais connaître vos avis sur les différents ordonnanceurs sur le
> marché ou job scheduler que vous avez déjà utilisé (Dans le monde UNIX de
> préférence ) ? Ça sera l'occasion de partager nos expériences sur ce type
> de logiciel.
> Le but étant de me faire une idée afin d'avoir un ordonnanceur qui puisse
> me permettre de lancer des jobs sur une grande quantité de serveurs,
> d'avoir le code retour des jobs, d'avoir un historique, etc..
>
> Merci d'avance pour vos retours,
>
> Cordialement,
>
> Valentin.
>
> _______________________________________________
> Liste de diffusion du FRsAGhttp://www.frsag.org/
>
> _______________________________________________
> Liste de diffusion du FRsAG
> http://www.frsag.org/



--
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://www.frsag.org/pipermail/frsag/attachments/20190827/c2af0fc9/attachment-0001.html>


Plus d'informations sur la liste de diffusion FRsAG