Bonjour à tous,

Question con, mais pourquoi ne pas investir dans un bon encodeur video pour compresser tout cela avant de le stocker?
Cela permettrait certainement de réduire drastiquement la quantité de stockage nécessaire, donc son cout.

Michael

Le 8 juin 2015 11:06, Maurin Sylvain <sylvain.maurin@isc.cnrs.fr> a écrit :
Bonjour,

J'ai pour 15 cameras 1024x768, un stockage DAS basique avec des flux
videos RTSP captures via des VLC[0]. En moyenne, j'observe en 18
image/s, un flux MP4 de 5Mbit/s par camera. Un zoneminder tournant par
ailleurs, j'ai un flux primaire pour les VLC qui doit etre reelement a
4Mb/s et un flux secondaire degrade pour la detection de mouvement en
320x200 autour de 1Mb/s.

J'imagine que le calcul serait pour 200 cameras de faire 5x200Mb/s => un
lien gigabit a saturation mais en pratique, il y a de nombreuses autres
operations a prevoir sur les flux videos avec au minimum un process de
signature pour s'assurer de la non repudiation et  un process
d'effacement cyclique.

Pour mon installation, le premier en prennant un hash SHA de 1Mo tous
les 20Mo, consomme environ 200IO/s en lecture de facon asynchrone (j'ai
decide de prendre ces donnees sur ce qui etait ecrit sur le HDD, plutot
que de faire le calcul de hash sur le flux RSTP capture).
Le second tourne autour de 80 IO/s pour les effacements.

Les ecritures oscillent autour de 8Mo/s et 250 IO/s.

J'utilise un XFS, optimise au niveau de ses stride/stripe avec le
materiel. Celui-ci est base de PERC H700 de chez DELL sur 8 HDD RAID6 de
1To sur un R510. XFS n'est pas particulierement doue pour les
effacements de blocs mais les reiser/NTFS/extN ne feront gueres mieux et
seront pire pour les ecritures de gros flux sequentiels en //.

Dans ces conditions, je suis quasiment au maximum de ce que peut donner
mon DAS avec les 15 cameras !

Je crois donc illusoire de chercher a monter 200 cameras vers une baie
de disque RAID 5 ou 6. Faut tailler celle-ci pour monter dans les IOPS
sauf a oublier les signatures. Avec 24 disques, le RAID0 serait une
betise.

Pour les ecritures, faudrait utiliser un stockage en mode block optimisé
pour que les sequences d'ecriture sequentielles et essayer d'avoir un
stockage avec des effacements qui aient lieu presque sans IO par de
simple re-ecriture, style LTFS.

Helas, nous parlons de video-surveillance et souvent, les FS
experimentaux ne font pas bon menage avec la stabilite attendu sur ces
stockages.

Je vous conseille si vraiment vous n'avez d'autre choix que de partir
sur 1 baie, d'avoir vos disques en JBOD, avec 7/8 cameras par disque
cela peut passer mais il faudra des disques plus performant que des
modeles SATA grand public, au moins pour la gestion des queues
d'ecriture // et la tenu en IO.

Bon courage si vous faite dans le low cost par obligation sur ce projet
de video-surveillance : j'ai deja donne pour diviser une facture par
deux et ce n'est pas rigolo.

J'espere que vous pourrez au moins faire de la maquette et regarder
doucement la montee en charge se produire avec une possibilite de
corriger le tir si votre materiel initial tient pas le coup.

Cordialement,
Sylvain MAURIN


On Fri, 2015-06-05 at 14:04 +0200, Jerome Lien wrote:
> Bonjour à tous, j'avais posté le sujet sur FRNOG en premier mais suite
> à différent conseil, je le post ici.

> dans le cadre d'une reprise d'activité, nous avons besoin d'installer
> une baie de stockage pour accueillir les data de la vidéo surveillance
> mais tout cela version low cost. La redondance des contrôleurs n'est
> pas primordial.
> Les caractéristiques minimal :
> 150To dont 24 disques WDblack de 2to que nous possédons.
> Fiber channel car le soft sera sur plusieurs autres serveurs
> possédants cette connectique
> tout cela pour enregistrer 200 camera en h.264 sur du XFS
> j'ai commencé à regarder du coté des monteurs type : eracks n50
> ou du coté de eurostor. Mais pour le moment je reste un peu dans le
> flou.
> Auriez vous des pistes ou des retours d'expériences à me faire
> partager ?
> En vous remerciant d'avance,
> Jérôme
> _______________________________________________
> Liste de diffusion du FRsAG
> http://www.frsag.org/

--


**************************************************
Sylvain MAURIN - Admin.Sys.
Institut des Sciences Cognitives
CNRS-Université Claude Bernard Lyon 1
67, boulevard Pinel  69675 BRON cedex
Tel: +33 437911214  --  Cel: +33 612399929
Mail: sylvain.maurin@isc.cnrs.fr
**************************************************

_______________________________________________
Liste de diffusion du FRsAG
http://www.frsag.org/