31 Jan
2018
31 Jan
'18
12:23 a.m.
Hello tout le monde !
Y a quelques temps j'ai posé ici une question pour savoir quelles solutions
utilisez-vous en général pour stocker des grosses volumétries de stockage.
Beaucoup m'ont orienté sur Gluster.
Chose faite, on commande du HPE Apollo avec RedHat Gluster storage.
Le besoin qui tombe en ce moment du coup, c'est comment je gère toutes les
données qui sont stockés dessus en termes de archivage/suppression ?
En effet, j'aurais besoin d'automatiser la suppression de fichiers plus
vieux de 5 ans.
J'ai bien penser à scripter avec la commande "find". Mais est-ce que ça
sera vraiment efficace quand il y aura 200 To et des milliers de fichiers ?
Utilisez-vous des solutions ou avez-vous des solutions en tête répondantà
ce genre de problématique?
Merci à tous !
Bruno LEAL DE SOUSA
31 Jan
31 Jan
8:32 a.m.
Salut,
Y a quelques temps j'ai posé ici une question pour
savoir quelles solutions
utilisez-vous en général pour stocker des grosses volumétries de stockage.
Beaucoup m'ont orienté sur Gluster.
Chose faite, on commande du HPE Apollo avec RedHat
Gluster storage.
Le besoin qui tombe en ce moment du coup, c'est
comment je gère toutes les
données qui sont stockés dessus en termes de archivage/suppression ?
En effet, j'aurais besoin d'automatiser la suppression de fichiers plus vieux de
5 ans.
J'ai bien penser à scripter avec la commande "find". Mais est-ce que ça
sera
vraiment efficace quand il y aura 200 To et des milliers de fichiers ?
Utilisez-vous des solutions ou avez-vous des solutions
en tête répondantà ce
genre de problématique?
Alors j'ai aucune idée de comment fonction RH Gluster Storage (license ou autre
redhaterie de ce genre), mais si j'étais toi, je mettrais une node glusterfs qui
s'occupe de ça quitte a avoir moins de volumétrie (et effectuerais ces tâches en
dehors des haures d'utilisation).
Ceci dit, il ne faut pas oublier que un FS quels que soit le FS, n'aime pas le bordel
de milliers de fichiers dans un répertoire :) Donc a penser bien comment sont rangés tes
200To :)
Xavier
9:12 a.m.
Hello,
On Wed, 31 Jan 2018 00:23:55 +0100
Bruno LEAL DE SOUSA <bruno.ld.sousa(a)gmail.com> wrote:
En effet, j'aurais besoin d'automatiser la
suppression de fichiers plus
vieux de 5 ans.
J'ai bien penser à scripter avec la commande "find". Mais est-ce que ça
sera vraiment efficace quand il y aura 200 To et des milliers de
fichiers ?
200To et des "milliers" de fichiers, c'est pas forcement un probleme...
Mais effectivement, l'organisation des fichiers / de l'arborescence peut
etre un element cle pour faciliter la suppression... et tu ne donnes pas
bcp d'informations sur ce que sont ces fichiers, et sur la liberte que tu
as (ou n'as pas) de gerer leur rangement.
Si tu le peux, une approche :
/.../YYYY/MM/DD/.....
permettrait de tres largement simplifier ton nettoyage ;)
Tu peux aussi jouer avec les configurations de gluster pour avoir des
volumes par annee, et faire en sorte que les ecritures se fassent dans le
volume courant, et tu supprimes alors en une fois par volume... mais ca
suppose que tu ne modifies pas les anciens fichiers...
Paul
11:24 a.m.
Le Wed, Jan 31, 2018 at 12:23:55AM +0100, Bruno LEAL DE SOUSA [bruno.ld.sousa(a)gmail.com] a
écrit:
[...]
Le besoin qui tombe en ce moment du coup, c'est
comment je gère toutes les
données qui sont stockés dessus en termes de archivage/suppression ?
En effet, j'aurais besoin d'automatiser la suppression de fichiers plus
vieux de 5 ans.
J'ai bien penser à scripter avec la commande "find". Mais est-ce que ça
sera vraiment efficace quand il y aura 200 To et des milliers de fichiers ?
Tu n'as aucun "index" hors systeme de fichiers te permettant de
connaitre quels sont les fichiers presents ?
Et tu n'as "rien" (genre une base de donnees) qui va se retrouver avec
des references cassees, si tu supprimes les fichiers "directement" ?
Sinon, comme dis dans les autres interventions, si tu as la main sur
comment l'arborescence de fichiers est faite, tu ranges par annee/mois
et la suppression devient facile.
--
Dominique Rousseau
Neuronnexion, Prestataire Internet & Intranet
21 rue Frédéric Petit - 80000 Amiens
tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop
1 Feb
1 Feb
12:35 p.m.
Hello,
Merci pour vos réponses.
J'ai pas forcément la main sur l'arborescence. Je peux essayer de la forcer
mais c'est les utilisateurs qui vont la gérer après.
Et j'ai pas de référentiel. C'est fichiers de mesures électroniques déposés
par les utilisateurs.
Avez-vous déjà utilisé le stockage objet de Gluster? Je me suis dit que ça
pouvait être une bonne solution.
Merci
Bruno LEAL DE SOUSA
Le 31 janv. 2018 11:26, "Dominique Rousseau" <d.rousseau(a)nnx.com> a écrit
:
Le Wed, Jan 31, 2018 at 12:23:55AM +0100, Bruno LEAL
DE SOUSA [
bruno.ld.sousa(a)gmail.com] a écrit:
[...]
Le besoin qui tombe en ce moment du coup,
c'est comment je gère toutes
les
données qui sont stockés dessus en termes de
archivage/suppression ?
En effet, j'aurais besoin d'automatiser la suppression de fichiers plus
vieux de 5 ans.
J'ai bien penser à scripter avec la commande "find". Mais est-ce que ça
sera vraiment efficace quand il y aura 200 To et des milliers de
fichiers ?
Tu n'as aucun "index" hors systeme de fichiers te permettant de
connaitre quels sont les fichiers presents ?
Et tu n'as "rien" (genre une base de donnees) qui va se retrouver avec
des references cassees, si tu supprimes les fichiers "directement" ?
Sinon, comme dis dans les autres interventions, si tu as la main sur
comment l'arborescence de fichiers est faite, tu ranges par annee/mois
et la suppression devient facile.
--
Dominique Rousseau
Neuronnexion, Prestataire Internet & Intranet
21 rue Frédéric Petit - 80000 Amiens
tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop
_______________________________________________
Liste de diffusion du FRsAG
http://www.frsag.org/
1874
days inactive
1876
days old
4 comments
4 participants
participants (4)
-
Bruno LEAL DE SOUSA -
Dominique Rousseau -
Paul Rolland (ポール・ロラン) -
Xavier Beaudouin