Structure pour un service de stockage de médias
Bonjour à tous, Je doit réfléchir à la structure pour un service de stockage de médias. Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite qui soit adminsys... Je pensez à N serveur de stockage, un serveur pour la BDD (mysql) et N serveur pour gérer l'affichage. En sachant que la génération des miniatures (avec ImageMagick) demande pas mal de ressource. Peut être un serveur qui gère cela de façon indépendante serai aussi pas mal. Vous avez des conseils sur comment gérer le côté réparation ? Merci :) Sky_G
Le Thu, 22 Jul 2010 14:47:20 +0200, Sky Gunning <sky.gunning@gmail.com> a écrit :
Bonjour à tous, Bonjour,
Vous avez des conseils sur comment gérer le côté réparation ?
Sujet qui m'interesse. J'ai des sites avec des tonnes d'images et je galère un max pour les sauvegardes. Au début je gérais avec rsync, mais j'ai rapidement eu des problèmes de performances avec la volumétrie et la structure des répertoires.
Sky_G
+Eric.
Le 22 juil. 2010 à 14:47, Sky Gunning a écrit :
Bonjour à tous,
Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite qui soit adminsys...
Quelque chose me dit que tu as plus besoin d'un architecte que d'un sysadmin... (Remarque, je pense ne pas avoir compris la question, donc je me trompe peut-être).
Je pensez à N serveur de stockage, un serveur pour la BDD (mysql) et N serveur pour gérer l'affichage.
Déjà, première réaction : un seul serveur pour la BDD = ennuis en vue. Pars sur 2 au moins. Deuxième réaction : si tu accèdes aux N serveurs de stockage indépendamment, ça sent aussi les galères. Il y a des solutions pour voir le N serveurs comme 1 seul service clusterisé/redondant/... (perso, j'ai toujours bossé dans des boîtes qui avaient les moyens d'acheter du NetApp et/ou de l'Isilon, donc je suis pas bien placé pour conseiller une solution open-source pour faire la même chose). Troisième réaction : ça sent le projet qui a vraiment besoin d'un sysadmin. NB : si tu attends du trafic, une couche de proxies devant les serveurs web est plus qu'intéressant
Vous avez des conseils sur comment gérer le côté réparation ?
Tu peux préciser ? Chez moi, pour les réparations des serveurs, y'a des mecs qui vont dans la salle machine, mais je suppose que ce n'est pas ta question... JFB
Bonjour
Quelque chose me dit que tu as plus besoin d'un architecte que d'un sysadmin... (Remarque, je pense ne pas avoir compris la question, donc je me trompe peut-être).
C'est possible ... je ne sais pas trop. Ceci est pour parer à un problème qui va survenir tôt ou tard avec la configuration actuel. (1 seul serveur :)) Je doit redeveloppé le système (certaines partie du moins) pour collé avec une meilleure architecture.
Je pensez à N serveur de stockage, un serveur pour la BDD (mysql) et N serveur pour gérer l'affichage.
Déjà, première réaction : un seul serveur pour la BDD = ennuis en vue. Pars sur 2 au moins.
Ok, noté.
Deuxième réaction : si tu accèdes aux N serveurs de stockage indépendamment, ça sent aussi les galères. Il y a des solutions pour voir le N serveurs comme 1 seul service clusterisé/redondant/... (perso, j'ai toujours bossé dans des boîtes qui avaient les moyens d'acheter du NetApp et/ou de l'Isilon, donc je suis pas bien placé pour conseiller une solution open-source pour faire la même chose).
Je connais pas. Effectivement, les moyens sont pour le moment assez limité.
Troisième réaction : ça sent le projet qui a vraiment besoin d'un sysadmin.
Possible, mais cf. problème de moyens pour l'instant pour ce projet.
NB : si tu attends du trafic, une couche de proxies devant les serveurs web est plus qu'intéressant
Si par traffic tu entend bande passante, alors oui, y'en aura de plus en plus.
Vous avez des conseils sur comment gérer le côté réparation ?
Tu peux préciser ? Chez moi, pour les réparations des serveurs, y'a des mecs qui vont dans la salle machine, mais je suppose que ce n'est pas ta question...
Oups, c'est pas réparation, mais répartition. Désolé. Merci Sky_G
Hello, Le 22/07/2010 15:28, Sky GUNNING a écrit :
[...] Effectivement, les moyens sont pour le moment assez limité.
Troisième réaction : ça sent le projet qui a vraiment besoin d'un sysadmin. Possible, mais cf. problème de moyens pour l'instant pour ce projet.
De l'intérêt des prestations d'infogérance non ?
Effectivement, les moyens sont pour le moment assez limité.
regarde du côté de glusterfs (en version 3.0.4 ou plus, sinon y'a quelques bugs ...) et au pire, plutôt que d'utiliser un rsync bourrin, regarde du côté de csync2. a+
NB : si tu attends du trafic, une couche de proxies devant les serveurs
web est plus qu'intéressant
Si par traffic tu entend bande passante, alors oui, y'en aura de plus en plus.
en effet, pour limiter les accès en lecture à ton FS, une petite couche de Varnish serait la bienvenue :) a+
Le 22/07/2010 14:47, Sky Gunning a écrit :
Bonjour à tous,
Je doit réfléchir à la structure pour un service de stockage de médias.
Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite qui soit adminsys...
Je pensez à N serveur de stockage, un serveur pour la BDD (mysql) et N serveur pour gérer l'affichage.
En sachant que la génération des miniatures (avec ImageMagick) demande pas mal de ressource. Peut être un serveur qui gère cela de façon indépendante serai aussi pas mal.
Vous avez des conseils sur comment gérer le côté réparation ?
Merci :)
Sky_G _______________________________________________ FRsaG mailing list FRsaG@frsag.org http://www.frsag.org/mailman/listinfo/frsag
Il faudrait que tu décrives un peu mieux ce que fait le produit et le dimensionnement de l'ensemble pour en cerner les besoins d'infra... Après on pourra (peut-être) t'apporter une réponse ou simplement quelques conseils.
Le 22/07/2010 15:40, Laurent Druffin a écrit :
Le 22/07/2010 14:47, Sky Gunning a écrit :
Bonjour à tous,
...
Il faudrait que tu décrives un peu mieux ce que fait le produit et le dimensionnement de l'ensemble pour en cerner les besoins d'infra... Après on pourra (peut-être) t'apporter une réponse ou simplement quelques conseils.
Je doute que ça dépasse les 100to de stockage avant un bon moment. Plusieurs années surement. Après ... si je savais exactement, ce serai beaucoup plus simple. Disons que pour le moment, une solution pas trop chère et un minimum "scalable". Merci pour les autres réponses, y'a des trucs qui ont l'air très bien. Vais tester toutes ses choses et voir. Sky_G
Je tourne pour le moment avec du glusterfs 3.0.4 actuellement sur des chassis IBM. j'ai des DAS où je stocke les données, un coup de LVM et de l'EXT4 (pour la 'scalabilité' et car plus de 16T de données en vue) et hop. ça te fait un raid 1 over network. Mais mon Raid1 est sur du WAN (LDN-MAD) et Gluster est pas très bon dans ce cas... Je vais donc passer sur du csync2 (sûrement avec incron) Note: dans mon cas, je synchronise des fichiers de toutes tailles, quelques kilo jusqu'à 100Mo. a+ 2010/7/22 Sky GUNNING <sky.gunning@gmail.com>
Le 22/07/2010 15:40, Laurent Druffin a écrit :
Le 22/07/2010 14:47, Sky Gunning a écrit :
Bonjour à tous,
...
Il faudrait que tu décrives un peu mieux ce que fait le produit et le dimensionnement de l'ensemble pour en cerner les besoins d'infra... Après on pourra (peut-être) t'apporter une réponse ou simplement quelques conseils.
Je doute que ça dépasse les 100to de stockage avant un bon moment. Plusieurs années surement.
Après ... si je savais exactement, ce serai beaucoup plus simple.
Disons que pour le moment, une solution pas trop chère et un minimum "scalable".
Merci pour les autres réponses, y'a des trucs qui ont l'air très bien. Vais tester toutes ses choses et voir.
Sky_G _______________________________________________ FRsaG mailing list FRsaG@frsag.org http://www.frsag.org/mailman/listinfo/frsag
GlusterFS est là pour répondre à la demande si il n'y a pas de verrous exclusifs posés par une application ... Tout est scalable et on peut aller haut dans les To en rajoutant des serveurs et des serveurs. Pour ma part, nous ne l'utilisons pas pour la partie clustering car on a des problèmes de verrous et surtout pour les mails cela pose problème. Csync2 et Rsync ont leur limite .... Lilian. Le 22 juil. 2010 à 15:52, Bedis 9 a écrit :
Je tourne pour le moment avec du glusterfs 3.0.4 actuellement sur des chassis IBM. j'ai des DAS où je stocke les données, un coup de LVM et de l'EXT4 (pour la 'scalabilité' et car plus de 16T de données en vue) et hop. ça te fait un raid 1 over network.
Mais mon Raid1 est sur du WAN (LDN-MAD) et Gluster est pas très bon dans ce cas... Je vais donc passer sur du csync2 (sûrement avec incron)
Note: dans mon cas, je synchronise des fichiers de toutes tailles, quelques kilo jusqu'à 100Mo.
a+
2010/7/22 Sky GUNNING <sky.gunning@gmail.com>
Le 22/07/2010 15:40, Laurent Druffin a écrit :
Le 22/07/2010 14:47, Sky Gunning a écrit :
Bonjour à tous,
...
Il faudrait que tu décrives un peu mieux ce que fait le produit et le dimensionnement de l'ensemble pour en cerner les besoins d'infra... Après on pourra (peut-être) t'apporter une réponse ou simplement quelques conseils.
Je doute que ça dépasse les 100to de stockage avant un bon moment. Plusieurs années surement.
Après ... si je savais exactement, ce serai beaucoup plus simple.
Disons que pour le moment, une solution pas trop chère et un minimum "scalable".
Merci pour les autres réponses, y'a des trucs qui ont l'air très bien. Vais tester toutes ses choses et voir.
Sky_G _______________________________________________ FRsaG mailing list FRsaG@frsag.org http://www.frsag.org/mailman/listinfo/frsag
_______________________________________________ FRsaG mailing list FRsaG@frsag.org http://www.frsag.org/mailman/listinfo/frsag
Csync2 et Rsync ont leur limite ....
C'est sûr qu'un rsync sur 1000000000 de fichier éxécuter par un cron toutes les 5 minutes va te prendre du temps ;) Tu peux coupler les 2 avec du inotify pour déclencher les copies de nouveaux fichiers à la fin de chaque écriture. a+
Le 22 juil. 2010 à 16:01, Bedis 9 a écrit :
Csync2 et Rsync ont leur limite ....
C'est sûr qu'un rsync sur 1000000000 de fichier éxécuter par un cron toutes les 5 minutes va te prendre du temps ;)
Tu peux coupler les 2 avec du inotify pour déclencher les copies de nouveaux fichiers à la fin de chaque écriture.
Ou faire du code au niveau de l'applicatif... Après tout l'applicatif doit connaitre la liste de toutes les nouveaux fichiers
Le 22/07/2010 16:06, JF Bustarret a écrit :
Le 22 juil. 2010 à 16:01, Bedis 9 a écrit :
Csync2 et Rsync ont leur limite ....
C'est sûr qu'un rsync sur 1000000000 de fichier éxécuter par un cron toutes les 5 minutes va te prendre du temps ;)
Tu peux coupler les 2 avec du inotify pour déclencher les copies de nouveaux fichiers à la fin de chaque écriture.
Ou faire du code au niveau de l'applicatif... Après tout l'applicatif doit connaitre la liste de toutes les nouveaux fichiers
_______________________________________________
Justement, je pensez faire un truc du genre. Genre récupérer l'endroit ou est stocker le fichier. Puis via un lien type serv5.stockage.domaine.fr/file/referencedufichier.ext Lors du stockage, définir avant l'upload quel serveur va réceptioné le fichier et envoyé directement dessus. Un mini webservice sur chaque serveur de stockage qui gère la réception et la demande de téléchargement d'un fichier. Le soucis que je voie avec ceci est que certain serveurs vont être beaucoup demandé et d'autre peut être très très peux. Sky_G
2010/7/22 Sky GUNNING <sky.gunning@gmail.com>
Le 22/07/2010 16:06, JF Bustarret a écrit :
Le 22 juil. 2010 à 16:01, Bedis 9 a écrit :
Csync2 et Rsync ont leur limite ....
C'est sûr qu'un rsync sur 1000000000 de fichier éxécuter par un cron toutes les 5 minutes va te prendre du temps ;)
Tu peux coupler les 2 avec du inotify pour déclencher les copies de nouveaux fichiers à la fin de chaque écriture.
Ou faire du code au niveau de l'applicatif... Après tout l'applicatif doit connaitre la liste de toutes les nouveaux fichiers
_______________________________________________
Justement, je pensez faire un truc du genre.
Genre récupérer l'endroit ou est stocker le fichier. Puis via un lien type serv5.stockage.domaine.fr/file/referencedufichier.ext
Lors du stockage, définir avant l'upload quel serveur va réceptioné le fichier et envoyé directement dessus.
Un mini webservice sur chaque serveur de stockage qui gère la réception et la demande de téléchargement d'un fichier.
Le soucis que je voie avec ceci est que certain serveurs vont être beaucoup demandé et d'autre peut être très très peux.
Sky_G
_______________________________________________ FRsaG mailing list FRsaG@frsag.org http://www.frsag.org/mailman/listinfo/frsag
et la redondance des données, elle est où? Tu perds une node, tu perds des datas... Pour la répartition, utilise un hash sur le nom du fichier, ça devrait suffire.
De mon côté après avoir testé GlusterFS en v2 et v3, il y a bien trop de problème notamment des non reconnection du point de montage aux serveurs ou des fichiers corrompu. En vraiment distribué tu as Hadoop mais c'est une grosse archi à mettre en place. Entre les deux et c'est ce que j'ai choisi, tu as MogileFS, ce n'est pas un filesysteme posix ce qui est un peu dommage mais le fait est qu'y accéder par une api sur un canal http facilite la vitesse. Du coup ca m'a allégé d'un souci à gérer à savoir l'arborescence de plusieurs millions de fichiers et leurs noms uniques. Là on appel un fichier par sa clef unique et on ne se souci pas de l'arborescence hash ou autre sur le fs. Niveau perf j'ai réussi à tirer 400MB de deux serveurs virtuels pour de la lecture, l'écriture se fait sur un seul noeud et le tracker se charge de répliquer tout seul. On peut changer à tout moment le nombre d'exemplaire d'un fichier, suffit juste de bien ranger ses fichiers dans des classes. Typiquement une classe médias avec les originaux avec 3 exemplaires répliqués et une classe thumbnail pour les miniatures avec seulement 2. L'autre avantage de cette solution c'est la facilité à ajouter ou enlever un serveur, donc il est plus intéressant de mettre ces machines en raid0 pour gagner encore en perf. Je vous conseil d'utiliser nginx en front des noeuds de stockage c'est bien plus performant que la lib perl qu'ils fournissent. -- Pierre-Henry Muller
Bonjour Pierre-Henry ;)
De mon côté après avoir testé GlusterFS en v2 et v3, il y a bien trop de problème notamment des non reconnection du point de montage aux serveurs ou des fichiers corrompu.
+1
Entre les deux et c'est ce que j'ai choisi, tu as MogileFS, ce n'est pas un filesysteme posix ce qui est un peu dommage mais le fait est qu'y accéder par une api sur un canal http facilite la vitesse.
Pour moi la rolls sur la papier c'est Ceph : http://ceph.newdream.net/ Ca roule en kernel space (pas de fuse). Dommage que ce soit encore en beta et qu'il soit nécessaire d'avoir le kernel 2.6.34, sinon je le mettrais en place tout de suite. L'année prochaine ou 2012, je passe mon NFSv4 avec SAN dessus. Voir avant si j'ai du temps pour mettre en place une plateforme de test. -- Greg
2010/7/22 Sky Gunning <sky.gunning@gmail.com>
Bonjour à tous,
Je doit réfléchir à la structure pour un service de stockage de médias.
Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite qui soit adminsys...
Je pensez à N serveur de stockage, un serveur pour la BDD (mysql) et N serveur pour gérer l'affichage.
En sachant que la génération des miniatures (avec ImageMagick) demande pas mal de ressource. Peut être un serveur qui gère cela de façon indépendante serai aussi pas mal.
Vous avez des conseils sur comment gérer le côté réparation ?
Je chercherai du cote d'une baie de disque, avec un serveur devant. La baie de disque est extensible. Il suffit soit de rajouter des disques, soit de rajouter un niveau de baie de disque. Tu y accedes en fibre channel multipath. C'est tout redondant. Je sais, c'est pas donné, mais je l'ai vu tourner sur de gros besoin, c'est impeccable. G.
Le jeudi 22 juillet 2010 14:47:20, Sky Gunning a écrit :
Bonjour à tous,
Je doit réfléchir à la structure pour un service de stockage de médias.
Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite qui soit adminsys...
Je pensez à N serveur de stockage, un serveur pour la BDD (mysql) et N serveur pour gérer l'affichage.
Hello, est ce que tu connais : Le volume de stockage maximum à moyen/long terme ? La taille physique de la base mysql à moyen/long terme ? En gros, ce n'est pas la peine de partir sur une usine à gaz, si tu sais que le volume stocké ne va pas dépasser 20 ou 30 To cordialement, -- Digital Network Group | CTO / Chief Technical Officer Geostrategy, Economic Intelligence, Information warfare http://www.digital-network.net | http://www.intelink.info Phone : +33.611.415.869 | Fax : +33.177.758.868
Le 22 juillet 2010 14:47, Sky Gunning <sky.gunning@gmail.com> a écrit :
Bonjour à tous,
Je doit réfléchir à la structure pour un service de stockage de médias.
Bonjour, J'arrive peut-être après la bataille mais il y a un cette article que vous connaissez peut-être déjà qui permet de bien resituer le problème : http://www.geek-directeur-technique.com/post/2009/08/09/FineFS-systeme-de-fi... L'auteur met en avant sa solution mais compare également les autres. J'espère que cela pourra aider. ++ Fran'
Le 22 juillet 2010 14:47, Sky Gunning <sky.gunning@gmail.com> a écrit :
Bonjour à tous,
Je doit réfléchir à la structure pour un service de stockage de médias.
Pour ce qui est du hardware, là, il y a de l'idée: http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-chea... -------- Adrien PUJOL http://crashdump.fr
participants (13)
-
Adrien Pujol -
Bedis 9 -
Christophe Casalegno -
Eric Joseph-Alexandre -
frantishrek -
Greg -
Gérard BIGOT -
JF Bustarret -
Laurent Druffin -
Lilian RIGARD - Devclic -
Olivier Bonvalet -
Pierre-Henry Muller -
Sky Gunning