Ordonnanceur / Jobs scheduler
Bonjour la liste. Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair. La très grande majorité des scripts sont en écrits en bash ou en PHP. Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ? Merci.
Rundeck -- Kevin Le 2021-08-17T15:30:15.000+02:00, Alain Bieuzent <alain.bieuzent@free.fr> a écrit :
Bonjour la liste. Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair. La très grande majorité des scripts sont en écrits en bash ou en PHP. Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ? Merci. ------------------------- _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Il existe de nombreuses solutions de la plus simple à la plus compliqué. Pour un simple cron centralisé avec pas de notion d'ordonnancement (aka job1 depend de job2) rundeck est sans doute la solution la plus simple, qui marche. Si tu veux une vrai notion d'ordonnancements tu peux te servir de Jenkins, ce qui aura l'avantage d'avoir une belle visualisation de tes pipelines ou airflow (qui est plus orienté data, et qui a globalement une gui assez moche). On 17/08/2021 15:35, Kevin wrote:
Rundeck
-- Kevin
Le 2021-08-17T15:30:15.000+02:00, Alain Bieuzent <alain.bieuzent@free.fr> a écrit :
Bonjour la liste.
Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair.
La très grande majorité des scripts sont en écrits en bash ou en PHP.
Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ?
Merci.
------------------------------------------------------------------------ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/ <http://www.frsag.org/>
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Alors c’est peut être légèrement overkill pour ton besoin, je ne connais pas la taille de ton parc, j’aime bcp bmc Control M pour des jobs nécessitant un ordonnancement. Cordialement, Thomas De : FRsAG <frsag-bounces@frsag.org> De la part de Raphael Mazelier Envoyé : mardi 17 août 2021 15:48 À : frsag@frsag.org Objet : Re: [FRsAG] Ordonnanceur / Jobs scheduler Il existe de nombreuses solutions de la plus simple à la plus compliqué. Pour un simple cron centralisé avec pas de notion d'ordonnancement (aka job1 depend de job2) rundeck est sans doute la solution la plus simple, qui marche. Si tu veux une vrai notion d'ordonnancements tu peux te servir de Jenkins, ce qui aura l'avantage d'avoir une belle visualisation de tes pipelines ou airflow (qui est plus orienté data, et qui a globalement une gui assez moche). On 17/08/2021 15:35, Kevin wrote: Rundeck -- Kevin Le 2021-08-17T15:30:15.000+02:00, Alain Bieuzent <mailto:alain.bieuzent@free.fr> <alain.bieuzent@free.fr> a écrit : Bonjour la liste. Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair. La très grande majorité des scripts sont en écrits en bash ou en PHP. Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ? Merci. _____ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
À $job-1 on utilisait V-TOM Le mar. 17 août 2021 à 15:55, <therealcorwin@gmail.com> a écrit :
Alors c’est peut être légèrement overkill pour ton besoin, je ne connais pas la taille de ton parc, j’aime bcp bmc Control M pour des jobs nécessitant un ordonnancement.
Cordialement,
Thomas
*De :* FRsAG <frsag-bounces@frsag.org> *De la part de* Raphael Mazelier *Envoyé :* mardi 17 août 2021 15:48 *À :* frsag@frsag.org *Objet :* Re: [FRsAG] Ordonnanceur / Jobs scheduler
Il existe de nombreuses solutions de la plus simple à la plus compliqué.
Pour un simple cron centralisé avec pas de notion d'ordonnancement (aka job1 depend de job2) rundeck est sans doute la solution la plus simple, qui marche.
Si tu veux une vrai notion d'ordonnancements tu peux te servir de Jenkins, ce qui aura l'avantage d'avoir une belle visualisation de tes pipelines ou airflow (qui est plus orienté data, et qui a globalement une gui assez moche).
On 17/08/2021 15:35, Kevin wrote:
Rundeck
--
Kevin
Le 2021-08-17T15:30:15.000+02:00, Alain Bieuzent <alain.bieuzent@free.fr> <alain.bieuzent@free.fr> a écrit :
Bonjour la liste.
Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair.
La très grande majorité des scripts sont en écrits en bash ou en PHP.
Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ?
Merci. ------------------------------
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________
Liste de diffusion du FRsAG
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Pour un simple cron centralisé avec pas de notion d'ordonnancement (aka job1 depend de job2) rundeck est sans doute la solution la plus simple, qui marche.
Rundeck permet de le faire. Il est possible de créer 1 job comprenant 2 sous-job du coup on peut arriver à le faire ainsi.. Le seul inconvénient de Rundeck à mon sens est qu'il est en Java mais sinon je l'ai déployé 3x et c'est top. Il y a même une API intégrée du coup j'ai pu scripter quelques scripts de monitoring pour surveiller bien spécifiquement certains jobs. -- Kevin Le 2021-08-17T15:47:37.000+02:00, Raphael Mazelier <raph@futomaki.net> a écrit :
Il existe de nombreuses solutions de la plus simple à la plus compliqué. Pour un simple cron centralisé avec pas de notion d'ordonnancement (aka job1 depend de job2) rundeck est sans doute la solution la plus simple, qui marche. Si tu veux une vrai notion d'ordonnancements tu peux te servir de Jenkins, ce qui aura l'avantage d'avoir une belle visualisation de tes pipelines ou airflow (qui est plus orienté data, et qui a globalement une gui assez moche). On 17/08/2021 15:35, Kevin wrote:
Rundeck -- Kevin Le 2021-08-17T15:30:15.000+02:00, Alain Bieuzent <alain.bieuzent@free.fr> a écrit :
Bonjour la liste. Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair. La très grande majorité des scripts sont en écrits en bash ou en PHP. Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ? Merci. ------------------------- _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/ ------------------------- _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
En logiciel libre (mais avec une version payante avec support si besoin), tu as JobScheduler https://www.sos-berlin.com/fr Ca fait plein de choses, ici on l'utilise pour ordonnancer des jobs Talend, ça marche nickel. Franck Le mardi 17 août 2021 à 15:30 +0200, Alain Bieuzent a écrit :
Bonjour la liste. Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair. La très grande majorité des scripts sont en écrits en bash ou en PHP. Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ? Merci. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
On 17/08/2021 15:30, Alain Bieuzent wrote:
Bonjour la liste.
Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair.
La très grande majorité des scripts sont en écrits en bash ou en PHP.
Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ?
Lors d'une presta, le client m'avait montré Control-M en action et je dois dire que c'était impressionnant. Le principe était le suivant. Toutes les systèmes du datacentre n'étaient sensés ne lancer aucun démon au démarrage, mais simplement être prêt à l'action. Et puis c'était Control-M qui gérait tout (et dans l'ordre, c'était le but). En libre je crois qu'on a toujours rien sans peut-être Rundeck que je ne connaissait pas. Si vraiment c'était besoin, je ferais sans doute cela avec ClusterIt comme pour gérer des clusters d'il y a 20 ans. Mais bon Ansible sait aussi faire du SSH distribué. Quant à la planification temporelle à la crontab je sais pas. Welcome to clusterit-2.5 ! https://www.garbled.net/clusterit.html -- Pierre-Philipp Braun SMTP Health Campaign: enforce STARTTLS and verify MX certificates <https://nethence.com/smtp/
Bonjour, Je commence à m’intéresser à Semaphore ( https://ansible-semaphore.com/ ) en remplacement de Runedeck, c'est assez sympa et pour pour un utilisateur de Ansible c'est un must have pour gérer quelques machines/scripts. Sinon se monter le Tower AWX mais là c'est déjà plus conséquent à mettre en place. Cordialement, Arnaud.B Le 17/08/2021 à 19:06, Pierre-Philipp Braun a écrit :
On 17/08/2021 15:30, Alain Bieuzent wrote:
Bonjour la liste.
Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair.
La très grande majorité des scripts sont en écrits en bash ou en PHP.
Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ?
Lors d'une presta, le client m'avait montré Control-M en action et je dois dire que c'était impressionnant. Le principe était le suivant. Toutes les systèmes du datacentre n'étaient sensés ne lancer aucun démon au démarrage, mais simplement être prêt à l'action. Et puis c'était Control-M qui gérait tout (et dans l'ordre, c'était le but).
En libre je crois qu'on a toujours rien sans peut-être Rundeck que je ne connaissait pas.
Si vraiment c'était besoin, je ferais sans doute cela avec ClusterIt comme pour gérer des clusters d'il y a 20 ans. Mais bon Ansible sait aussi faire du SSH distribué. Quant à la planification temporelle à la crontab je sais pas. Welcome to clusterit-2.5 ! https://www.garbled.net/clusterit.html
Dans une autre vie je travaillais beaucoup avec $Universe, qui permettait d'avoir des enchaînements assez poussés, sur plusieurs serveurs. Ils (Orsyp) avaient aussi une solution light Unijob, qui était en gros une contrat amélioriée, mais surtout une interface de suivi des jobs assez sympa. -- Julien Le 17/08/2021 à 15:30, Alain Bieuzent a écrit :
Bonjour la liste.
Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair.
La très grande majorité des scripts sont en écrits en bash ou en PHP.
Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ?
Merci.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonjour Alain, La question de l'orchestration n'est PAS une question facile. mais je suis étonné de ne pas avoir vue passer les usuals suspect : * Kubernetes est capable de faire passer des cronjobs, par contre il n'y a pas de dependance entre les crronjob, même si il y des modules type argo event qui peuvent aider : https://argoproj.github.io/argo-events/ après K8S en général n'est pas une solution facile a déploé * Je n'ai pas testé mais il semble que Nomad, l'orchestrateur de hashicorp semble faire le taff, et en général le déploiement des outils hashicorp est plutot simple. * Le dernier que je n'ai pas testé et qui reste très connue, c'est Apache Mesos, qui semble pouvoir aussi faire ça. Cordialement Alexis Lameire Le mer. 18 août 2021 à 09:05, Julien <julien@iswt.fr> a écrit :
Dans une autre vie je travaillais beaucoup avec $Universe, qui permettait d'avoir des enchaînements assez poussés, sur plusieurs serveurs.
Ils (Orsyp) avaient aussi une solution light Unijob, qui était en gros une contrat amélioriée, mais surtout une interface de suivi des jobs assez sympa.
-- Julien
Le 17/08/2021 à 15:30, Alain Bieuzent a écrit :
Bonjour la liste.
Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair.
La très grande majorité des scripts sont en écrits en bash ou en PHP.
Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ?
Merci.
_______________________________________________ Liste de diffusion du FRsAGhttp://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Le mer. 18 août 21 à 9:04:04 +0200, Julien <julien@iswt.fr> écrivait :
Dans une autre vie je travaillais beaucoup avec $Universe, qui permettait d'avoir des enchaînements assez poussés, sur plusieurs serveurs.
Ils (Orsyp) avaient aussi une solution light Unijob, qui était en gros une contrat amélioriée, mais surtout une interface de suivi des jobs assez sympa.
Je vois que personne n’a encore parlé de ce bon vieux Torque : il paraît que sa licence n’est plus réellement libre, mais il reste installable partout, et c’est un classique. On trouve facilement des exemples d’utilisation. À + -- Th. Thomas.
Allo! Rundeck fait le café, mais n'est pas la plus belle interface (ni la plus pratique) La feature que je trouve indispensable : l'import export yml/json qui peut être fait depuis l'interface, ou directement en le pluggant sur un dépot git. Les crons c'est peut être des petits scripts de rien du tout, mais ca reste du code. Tu peux éxécuter les tasks direct depuis le serveur de scheduling, ou bien via SSH/WinRM/Saltstack/etc... sur des serveurs distants Ca gère les workflow entre plusieurs scripts/jobs, les secrets, les oneliner, mais aussi des scripts complexes, la possibilité d'éxécuter sur un groupe de serveur, sur N serveur d'un groupe, sur X% de serveurs d'un groupe, etc... Tu peux également t'en servir comme interface d'abstraction pour des jobs métiers avec gestion des paramètres très poussés (pas de validation, validation regexp, liste exhaustive ou par un call d'API). Bref, café, thé et tisane. Par contre attention à la gestion de la DB si tes outputs sont gros et/ou très fréquents ! Ca deviens plus facile à clean avec les versions récentes qui permettent de purger les exécutions plus facilement. Solution que j'ai retenue pour palier à ca : BDD postgres/mysql (aucune diff d'après mes tests) pour les datas internes et stockage des logs d'éxécution sur un stockage externe S3-Compatible : l'avantage c'est que combiné aux jobs stockés dans Git, tu n'a rien sur le serveur en lui même. Tu backup la conf, la BDD, le git et le S3-Like. En tout cas La DB H2 intégrée par défaut n'est pas utilisable en prod. Actuellement j'ai un déploiement avec +3 million d'éxécution enregistrée et des logs qui dépassent fréquemment les centaines de Mo (oui c'est pas beau, blame the devs :) ) et ca passe crème. J'ai du occasionellement purger des jobs avec des outputs de plusieurs Gb qui ne lui plaisait pas, mais c'est des cas extrèmes (je te laisse balancer un log de 3G à syslog pour voir ce qui va se passer :) ) Seul vrai point noir : l'interface peu friendly. Le mar. 17 août 2021 à 15:33, Alain Bieuzent <alain.bieuzent@free.fr> a écrit :
Bonjour la liste.
Je commence à avoir pas mal de scripts de part et d’autre à lancer régulièrement. Jusqu'à maintenant les crontab nous suffisait, mais on commence à ne plus y voir très clair.
La très grande majorité des scripts sont en écrits en bash ou en PHP.
Auriez-vous des ordonnanceurs / Jobs schedulers dont vous êtes satisfait à recommander ?
Merci. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- Nathan Delhaye 06 69 27 64 25 0805 696 494
participants (12)
-
Adrien Rivas -
Alain Bieuzent -
Alexis Lameire -
arnaud brascamp -
Franck Routier (perso) -
Julien -
Kevin -
Nathan delhaye -
Pierre-Philipp Braun -
Raphael Mazelier -
therealcorwin＠gmail.com -
Thierry Thomas