RedHat Gluster et nettoyage fichiers
Hello tout le monde ! Y a quelques temps j'ai posé ici une question pour savoir quelles solutions utilisez-vous en général pour stocker des grosses volumétries de stockage. Beaucoup m'ont orienté sur Gluster. Chose faite, on commande du HPE Apollo avec RedHat Gluster storage. Le besoin qui tombe en ce moment du coup, c'est comment je gère toutes les données qui sont stockés dessus en termes de archivage/suppression ? En effet, j'aurais besoin d'automatiser la suppression de fichiers plus vieux de 5 ans. J'ai bien penser à scripter avec la commande "find". Mais est-ce que ça sera vraiment efficace quand il y aura 200 To et des milliers de fichiers ? Utilisez-vous des solutions ou avez-vous des solutions en tête répondantà ce genre de problématique? Merci à tous ! Bruno LEAL DE SOUSA
Salut,
Y a quelques temps j'ai posé ici une question pour savoir quelles solutions utilisez-vous en général pour stocker des grosses volumétries de stockage. Beaucoup m'ont orienté sur Gluster.
Chose faite, on commande du HPE Apollo avec RedHat Gluster storage.
Le besoin qui tombe en ce moment du coup, c'est comment je gère toutes les données qui sont stockés dessus en termes de archivage/suppression ? En effet, j'aurais besoin d'automatiser la suppression de fichiers plus vieux de 5 ans. J'ai bien penser à scripter avec la commande "find". Mais est-ce que ça sera vraiment efficace quand il y aura 200 To et des milliers de fichiers ?
Utilisez-vous des solutions ou avez-vous des solutions en tête répondantà ce genre de problématique?
Alors j'ai aucune idée de comment fonction RH Gluster Storage (license ou autre redhaterie de ce genre), mais si j'étais toi, je mettrais une node glusterfs qui s'occupe de ça quitte a avoir moins de volumétrie (et effectuerais ces tâches en dehors des haures d'utilisation). Ceci dit, il ne faut pas oublier que un FS quels que soit le FS, n'aime pas le bordel de milliers de fichiers dans un répertoire :) Donc a penser bien comment sont rangés tes 200To :) Xavier
Hello, On Wed, 31 Jan 2018 00:23:55 +0100 Bruno LEAL DE SOUSA <bruno.ld.sousa@gmail.com> wrote:
En effet, j'aurais besoin d'automatiser la suppression de fichiers plus vieux de 5 ans. J'ai bien penser à scripter avec la commande "find". Mais est-ce que ça sera vraiment efficace quand il y aura 200 To et des milliers de fichiers ?
200To et des "milliers" de fichiers, c'est pas forcement un probleme... Mais effectivement, l'organisation des fichiers / de l'arborescence peut etre un element cle pour faciliter la suppression... et tu ne donnes pas bcp d'informations sur ce que sont ces fichiers, et sur la liberte que tu as (ou n'as pas) de gerer leur rangement. Si tu le peux, une approche : /.../YYYY/MM/DD/..... permettrait de tres largement simplifier ton nettoyage ;) Tu peux aussi jouer avec les configurations de gluster pour avoir des volumes par annee, et faire en sorte que les ecritures se fassent dans le volume courant, et tu supprimes alors en une fois par volume... mais ca suppose que tu ne modifies pas les anciens fichiers... Paul
Le Wed, Jan 31, 2018 at 12:23:55AM +0100, Bruno LEAL DE SOUSA [bruno.ld.sousa@gmail.com] a écrit: [...]
Le besoin qui tombe en ce moment du coup, c'est comment je gère toutes les données qui sont stockés dessus en termes de archivage/suppression ? En effet, j'aurais besoin d'automatiser la suppression de fichiers plus vieux de 5 ans. J'ai bien penser à scripter avec la commande "find". Mais est-ce que ça sera vraiment efficace quand il y aura 200 To et des milliers de fichiers ?
Tu n'as aucun "index" hors systeme de fichiers te permettant de connaitre quels sont les fichiers presents ? Et tu n'as "rien" (genre une base de donnees) qui va se retrouver avec des references cassees, si tu supprimes les fichiers "directement" ? Sinon, comme dis dans les autres interventions, si tu as la main sur comment l'arborescence de fichiers est faite, tu ranges par annee/mois et la suppression devient facile. -- Dominique Rousseau Neuronnexion, Prestataire Internet & Intranet 21 rue Frédéric Petit - 80000 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop
Hello, Merci pour vos réponses. J'ai pas forcément la main sur l'arborescence. Je peux essayer de la forcer mais c'est les utilisateurs qui vont la gérer après. Et j'ai pas de référentiel. C'est fichiers de mesures électroniques déposés par les utilisateurs. Avez-vous déjà utilisé le stockage objet de Gluster? Je me suis dit que ça pouvait être une bonne solution. Merci Bruno LEAL DE SOUSA Le 31 janv. 2018 11:26, "Dominique Rousseau" <d.rousseau@nnx.com> a écrit :
Le Wed, Jan 31, 2018 at 12:23:55AM +0100, Bruno LEAL DE SOUSA [ bruno.ld.sousa@gmail.com] a écrit: [...]
Le besoin qui tombe en ce moment du coup, c'est comment je gère toutes les données qui sont stockés dessus en termes de archivage/suppression ? En effet, j'aurais besoin d'automatiser la suppression de fichiers plus vieux de 5 ans. J'ai bien penser à scripter avec la commande "find". Mais est-ce que ça sera vraiment efficace quand il y aura 200 To et des milliers de fichiers ?
Tu n'as aucun "index" hors systeme de fichiers te permettant de connaitre quels sont les fichiers presents ?
Et tu n'as "rien" (genre une base de donnees) qui va se retrouver avec des references cassees, si tu supprimes les fichiers "directement" ?
Sinon, comme dis dans les autres interventions, si tu as la main sur comment l'arborescence de fichiers est faite, tu ranges par annee/mois et la suppression devient facile.
-- Dominique Rousseau Neuronnexion, Prestataire Internet & Intranet 21 rue Frédéric Petit - 80000 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
participants (4)
-
Bruno LEAL DE SOUSA -
Dominique Rousseau -
Paul Rolland (ポール・ロラン) -
Xavier Beaudouin