2010/7/19 Greg <greg-frsag@duchatelet.net>
Le 18/07/2010 14:40, Steven Le Roux a écrit :
Tu stockes quel genre de données ? taille ?

Car en fonction de ça, tu pourrais trouver ton bonheur là : http://hadoop.apache.org/

Pour les logs tu as Hive, pour du FS simple tu as HDFS, et pour designer des appli au dessus de tout ça, MapReduce te permet de sortir de bonnes perfs parmis des millions d'entrées clé/valeur.

Testé et éprouvé.

Le seul truc, c'est que ça jacte pas mal donc les switch en oversubscription tu peux les oublier. 


Si tes données sont très légères, tu peux même les stocker dans zookeeper ;)



Ta réponse me fait rebondir sur un autre sujet : je vais peut-etre avoir besoin de stocker quelques milliards d'objets de petite taille (~1ko), soit plusieurs tera octets de données. Memcached est très bien mais ça me couterait cher en RAM, il faut donc un système sur disque, et distribué toujours pour les mêmes problèmes de haute-dispo.
Quels systèmes vous viennent à l'esprit ?

Voldemort :)

Memcached ça a effectivement de bonnes perfs mais la réplication est trop récente pour être utilisée en prod je trouve (je ne suis même pas sûr que ce soit totalement implémenté même), ce qui fait que tu te retrouves souvent avec un memcached par app/base. Voldemort te fournit une infra de stockage de donnée

Les perfs de voldemort sont comparables à celles de memcached.
C'est un service comparable à Amazon Dynamo.

Par contre il faut le gérer côté applicatif et que tes données soient organisables en key/value.

Après dans le principe, la théorie avec le hashring, etc... est plus buvable que zookeeper avec son implémentation de paxos :) (http://en.wikipedia.org/wiki/Paxos_algorithm) que je conseille de ne PAS lire ;)



http://project-voldemort.com/



-- 
Greg

_______________________________________________
FRsaG mailing list
FRsaG@frsag.org
http://www.frsag.org/mailman/listinfo/frsag




--
Steven Le Roux
Jabber-ID : Steven@jabber.fr
0x39494CCB <steven@le-roux.info>
2FF7 226B 552E 4709 03F0  6281 72D7 A010 3949 4CCB