- FRsAG - frsag.org

Recherche solution de backup adaptée à de fortes volumétries
by Fabien Sirjean 03 Jan '24

03 Jan '24

Bonsoir la liste, En ce début d'année, je me creuse la cervelle autour des sauvegardes, alors je vous partage mes questionnements :) Petit topo du contexte : je bosse dans un centre de recherche scientifique, dont les instruments produisent pas mal de données. Ces données sorties des instruments "raw" sont ensuite traitées et transformées pour analyse (données "processed"), en vue de publier des papiers de recherche. Les données raw sont produites pendant des "cycles" de fonctionnement (3 à 4 cycles par an) et l'approche est WORM (c'est la valeur produite par l'institut, les données raw sont impossibles à reproduire). Les données processed sont produites en continu selon l'activité des scientifiques, parfois plusieurs années après la production des données raw associées. Les données processed sont recalculables à partir des données raw, mais ça peut être coûteux (temps et puissance de calcul). On a actuellement 1.3 PiB de data (raw+processed) sur notre stockage primaire. Ça tourne sur une infra Ceph en triple réplication, grosso-merdo ça fait 600 disques mécaniques de 20TB. Évidemment on est sur un scénario loin d'être idéal pour le stockage : on a principalement de très nombreux petits fichiers (<128 KB). Mais on a aussi des fichiers >1TB, sinon c'est pas drôle... Si vous voulez une idée de la tête de l'arborescence, ça ressemble à ça : https://pastebin.com/vVF31cv4 On aimerait changer de solution de backup pour ces données, au profit d'un truc qui coche au moins plusieurs de ces critères (tous, je sens que ça va être compliqué) : * Open Source * Pas trop complexe / usine à gaz * Scalable (marre de changer tout le matos tous les 4-5 ans parce que y'a plus de place...) * Qui permette de gérer indépendamment le backup des données "raw" (ça bouge pas mais on veut vraiment pas les perdre) des données "processed" (ça bouge, on peut se permettre de les perdre, on peut réduire la rétention pour les vieux cycles) * Qui fasse pas nécessairement tourner des tas de disques en permanence (les données raw pourraient très bien être sur de la bande magnétique, vu qu'elles ne bougent plus du tout une fois le cycle terminé) * Qui coûte un prix raisonnable Jusqu'ici on fait du bacula et du rsync sur ZFS (un serveur avec plein de baies JBOD en SCSI). Mais c'est plein, et il faut donc faire évoluer tout ça. Le plus simple pour nous serait probablement de continuer avec la même solution sur le plan logiciel, en passant sur un stockage distribué comme Ceph pour avoir la scalabilité souhaitée. Mais ça fait la même techno pour le stockage primaire et le backup (pas top), et Ceph n'est pas très efficient (même si on peut faire des choses en Erasure Coding). De plus, ça ne permet pas d'intégrer des bandes magnétiques dans l'équation. Voilà, n'hésitez pas à partager vos avis et expériences. Notamment je n'ai jamais bossé avec de la bande magnétique, je me questionne pas mal sur la pertinence et la facilité de gestion. Si des commerciaux passent par là : vous pouvez me contacter sur mon mail pro (sirjean(a)ill.fr) mais je suis plutôt dans une phase exploratoire (il y aura de toutes façon un appel d'offres). Merci pour vos retours, et à bientôt :) Fabien

5 4

Re: Journal.....
by Stéphane Rivière 13 Dec '23

13 Dec '23

Le 08/12/2023 à 15:42, Thomas Constans via FRsAG a écrit : > Moi j'aime bien +1000 Ou les priorités fines de services actifs avant de lancer le sien, ou le restart automatique... -- Stéphane Rivière Ile d'Oléron - France

6 10

Journal.....
by David Ponzone 11 Dec '23

11 Dec '23

Dites, c’est moi, ou le remplacement de syslogd par journald est une des plus grandes pitreries de l’histoire de Linux ?

15 21

Debian 12 / ext4 data corruption
by Romain 11 Dec '23

11 Dec '23

Pour ceux qui auraient raté l'actu : - https://twitter.com/debian/status/1733559140914749547 - https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=1057843 Ne pas installer le paquet 6.1.64-1 du kernel. Romain

4 6

Push notification
by Jerome Lien 06 Dec '23

06 Dec '23

Bonjour à tous, aprés les Faxs, les sms... passons à la notification android/iphone .... nos developpeur web aimeraient implanter des push notification dans leur app's et nous demandent un coups de main pour savoir la meilleur méthode pour s'y prendre. au début j'ai regardé la plateforme FCM (firebase) de google et aprés je suis tombé sur plein de plateforme "gérant" iphone et android, type onesignal ou truepush ... auriez vous des conseils à donner ? ou des pistes ? on parle de : >100k notificaiton /mois >android/iphone >web apps pour l'instant (pas d'apk) meric à tous, jerome

4 3

Apéro Lyonnais : lundi 04 décembre 2023
by cam.lafit 04 Dec '23

04 Dec '23

Bonjour Afin de finir en fanfare l'année, je vous propose de nous retrouver ce lundi 04 décembre. On profite de la neige non encore arrivée pour profiter d'un bon grog :) On pourra même parler CI/CD et construction automatique de paquet debian si vous voulez. Je vous attends donc ce soir soir pour un apéro lyonnais et ses environs au : Malting-Pot 263 Grande Rue de la Guillotiere, 69007 soit ce lundi 04 décembre 2023 dès 19h. Et toujours vaguement des infos sur : http://www.agendadulibre.org/tags/araas https://www.meetup.com/fr-FR/Auvergne-Rhone-Alpes-Apero-Admin-Sys/ Km

1 0

Recherche Expert NextCloud
by SIMANCAS Hugo 20 Nov '23

20 Nov '23

Bonjour, Je cherche un expert NextCloud pour une inter en urgence sur devis. Le besoin est du tuning pour augmenter la capacité du serveur à recevoir du fichier de +3Go sans planter. Infra : Reverse nginx Serveur Core Ubuntu 20.04 LTS avec tout up to date Merci Hugo 06 95 44 29 64

3 2

Re: Avis choix hébergeur messagerie
by Laurent Barme 17 Nov '23

17 Nov '23

Le 17/11/2023 à 14:43, Thomas Constans via FRsAG a écrit : > > > l'avantage quand on ses propres serveurs de mail c'est qu'on sait où ça bloque > et on ne dépend pas d'un service de support plus ou moins dispo et efficace. > ++ C'est le seul avantage qui reste à cette solution mais il est considérable.

1 0

Solution de sauvegarde d'un volume important de données
by Thomas Constans 13 Nov '23

13 Nov '23

Bonjour la liste, J'ai un client dont le volume de données atteint les 20 TO. C'est tout stocké sur 1 qnap et un syno (ce n'est pas moi qui est choisi). respectivement en raid 10 et raid "syno". Je fais des sauvegardes à coup de rsync sur : * un vieux pc linux converti en serveur de backup * un disque externe * un synology sur un autre site. Je suis parti pour remplacer les disques de tout ce petit monde par des trucs de plus grosses capacités, mais peut-être y 't'il une meilleur solution. Bien évidemment le budget est très réduit (même si le client commence à intégrer qu'une infra qui marche, ça coûte). Je suis également preneur d'idée sur la partie logiciel, sachant que j'ai pas trouvé chaussure à mon goût dans la bibliothèque logiciel de qnap. Merci de vos retours, la bise -- Thomas Constans

7 7

[BIZ] Intégrateur Apache Guacamole
by quentin＠wawer.fr 13 Nov '23

13 Nov '23

Bonjour à tous, Je recherche un intégrateur Apache Guacamole pour une prestation complète (installation, paramétrage voir même support...). Les seuls prérequis sont ceux de la fonction publique : - Paiement par mandat administratif - Dépot de la facture sur Chorus Pro Je peux donner plus de détails en MP :) Merci d'avance.

1 0