Bonjour à tous,
Question con, mais pourquoi ne pas investir dans un bon encodeur video pour compresser tout cela avant de le stocker? Cela permettrait certainement de réduire drastiquement la quantité de stockage nécessaire, donc son cout.
Michael
Le 8 juin 2015 11:06, Maurin Sylvain sylvain.maurin@isc.cnrs.fr a écrit :
Bonjour,
J'ai pour 15 cameras 1024x768, un stockage DAS basique avec des flux videos RTSP captures via des VLC[0]. En moyenne, j'observe en 18 image/s, un flux MP4 de 5Mbit/s par camera. Un zoneminder tournant par ailleurs, j'ai un flux primaire pour les VLC qui doit etre reelement a 4Mb/s et un flux secondaire degrade pour la detection de mouvement en 320x200 autour de 1Mb/s.
J'imagine que le calcul serait pour 200 cameras de faire 5x200Mb/s => un lien gigabit a saturation mais en pratique, il y a de nombreuses autres operations a prevoir sur les flux videos avec au minimum un process de signature pour s'assurer de la non repudiation et un process d'effacement cyclique.
Pour mon installation, le premier en prennant un hash SHA de 1Mo tous les 20Mo, consomme environ 200IO/s en lecture de facon asynchrone (j'ai decide de prendre ces donnees sur ce qui etait ecrit sur le HDD, plutot que de faire le calcul de hash sur le flux RSTP capture). Le second tourne autour de 80 IO/s pour les effacements.
Les ecritures oscillent autour de 8Mo/s et 250 IO/s.
J'utilise un XFS, optimise au niveau de ses stride/stripe avec le materiel. Celui-ci est base de PERC H700 de chez DELL sur 8 HDD RAID6 de 1To sur un R510. XFS n'est pas particulierement doue pour les effacements de blocs mais les reiser/NTFS/extN ne feront gueres mieux et seront pire pour les ecritures de gros flux sequentiels en //.
Dans ces conditions, je suis quasiment au maximum de ce que peut donner mon DAS avec les 15 cameras !
Je crois donc illusoire de chercher a monter 200 cameras vers une baie de disque RAID 5 ou 6. Faut tailler celle-ci pour monter dans les IOPS sauf a oublier les signatures. Avec 24 disques, le RAID0 serait une betise.
Pour les ecritures, faudrait utiliser un stockage en mode block optimisé pour que les sequences d'ecriture sequentielles et essayer d'avoir un stockage avec des effacements qui aient lieu presque sans IO par de simple re-ecriture, style LTFS.
Helas, nous parlons de video-surveillance et souvent, les FS experimentaux ne font pas bon menage avec la stabilite attendu sur ces stockages.
Je vous conseille si vraiment vous n'avez d'autre choix que de partir sur 1 baie, d'avoir vos disques en JBOD, avec 7/8 cameras par disque cela peut passer mais il faudra des disques plus performant que des modeles SATA grand public, au moins pour la gestion des queues d'ecriture // et la tenu en IO.
Bon courage si vous faite dans le low cost par obligation sur ce projet de video-surveillance : j'ai deja donne pour diviser une facture par deux et ce n'est pas rigolo.
J'espere que vous pourrez au moins faire de la maquette et regarder doucement la montee en charge se produire avec une possibilite de corriger le tir si votre materiel initial tient pas le coup.
Cordialement, Sylvain MAURIN
On Fri, 2015-06-05 at 14:04 +0200, Jerome Lien wrote:
Bonjour à tous, j'avais posté le sujet sur FRNOG en premier mais suite à différent conseil, je le post ici.
dans le cadre d'une reprise d'activité, nous avons besoin d'installer une baie de stockage pour accueillir les data de la vidéo surveillance mais tout cela version low cost. La redondance des contrôleurs n'est pas primordial. Les caractéristiques minimal : 150To dont 24 disques WDblack de 2to que nous possédons. Fiber channel car le soft sera sur plusieurs autres serveurs possédants cette connectique tout cela pour enregistrer 200 camera en h.264 sur du XFS j'ai commencé à regarder du coté des monteurs type : eracks n50 ou du coté de eurostor. Mais pour le moment je reste un peu dans le flou. Auriez vous des pistes ou des retours d'expériences à me faire partager ? En vous remerciant d'avance, Jérôme _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
--
Sylvain MAURIN - Admin.Sys. Institut des Sciences Cognitives CNRS-Université Claude Bernard Lyon 1 67, boulevard Pinel 69675 BRON cedex Tel: +33 437911214 -- Cel: +33 612399929 Mail: sylvain.maurin@isc.cnrs.fr
Liste de diffusion du FRsAG http://www.frsag.org/