Salut,
Pour un projet de FS distribué à travers du WAN (une node à London et une à Madrid), j'ai tenté GlusterFS... Après quelques bugs vite corrigés par les dév, la situation est stable mais loin d'être performante... En fait, chaque node client écrit sur les nodes serveurs et attends que chaque écriture soit validée avant de passer à la suivante (Fonctionnement SYNCHRONE), bref, ça limite un max les IOs.... GlusterFS en mode mirror ne sait pas encore fonctionner en mode ASYNCHRONE, alors je vais devoir changer. Je vais passer à du NFS pour livrer les fichiers aux clients locaux et utiliser csync2 + incron (cron like basée sur évênement inotify). Ca simule un mode "asynchrone", c'est rapide en local via NFS, et la synchronisation des données se fera cryptée :)
a+
2010/7/18 Greg greg-frsag@duchatelet.net
Le 18 juillet 2010 14:40, Steven Le Roux <steven+frsag@le-roux.infosteven%2Bfrsag@le-roux.info
a écrit :
Tu stockes quel genre de données ? taille ?
Que des petits fichiers: de quelques ko à moins de 1Mo. Ils sont énormément accédé en lecture. Une partie concerne les fichiers de cache avec durée de vie variable, d'une minute à un jour. Enfin j'ai environ 2Go en 6 fichiers.
Car en fonction de ça, tu pourrais trouver ton bonheur là : http://hadoop.apache.org/
Ca me parait un peu gros pour ce que je veux faire: je n'ai pas besoin de beaucoup de capa, mais de beaucoup d'inodes et de read IO. Je vais mettre cette solution dans les tiroirs, pour quand on aura doublé le traffic ;)
-- Greg
FRsaG mailing list FRsaG@frsag.org http://www.frsag.org/mailman/listinfo/frsag