Bonjour à tous, j'avais posté le sujet sur FRNOG en premier mais suite à différent conseil, je le post ici.
dans le cadre d'une reprise d'activité, nous avons besoin d'installer une baie de stockage pour accueillir les data de la vidéo surveillance mais tout cela version low cost. La redondance des contrôleurs n'est pas primordial.
Les caractéristiques minimal : 150To dont 24 disques WDblack de 2to que nous possédons. Fiber channel car le soft sera sur plusieurs autres serveurs possédants cette connectique
tout cela pour enregistrer 200 camera en h.264 sur du XFS
j'ai commencé à regarder du coté des monteurs type : eracks n50 ou du coté de eurostor. Mais pour le moment je reste un peu dans le flou.
Auriez vous des pistes ou des retours d'expériences à me faire partager ?
En vous remerciant d'avance, Jérôme
Bonjour,
Le 5 juin 2015 à 14:04, Jerome Lien <jerome.lien@gmail.commailto:jerome.lien@gmail.com> a écrit :
tout cela pour enregistrer 200 camera en h.264 sur du XFS
Il faudrait pouvoir estimer le flux total en écriture. 200 cameras en H264, ok mais quel frame rate, quelle resolution ?
En video surveillance, on a rarement en 24i/s.
Pour le matériel que je connais un peu en pas trop cher, compact, et performant, du Dell MD3860F, 60 disques sur 4U, jusqu’en 6To brut, double contrôleur FC, et virtualisation du RAID pour des perf et de la sécu plus que correctes.
Je l’ai appris que trop récemment, mais veillez au support sur le disque, si le disque défectueux est renvoyé chez le constructeur, cela peut poser des problèmes en termes de fuite de données. Chez Dell, il y a l’option «Keep your hard drive » sans surcout ou alors des disques chiffrés mais pas possible sur les 6To fourni par Dell (4To max).
au niveau conception : h.264, 1600*1200, 15fps on estime à 136Mo/s
J'attends une offre de l'allemand eurostor Pour le Dell MD3860F sauf si je trouve un filon d'occasion c'est plutôt hors de prix pour ce projet là :/
Le 5 juin 2015 14:44, HURTEVENT VINCENT vincent.hurtevent@univ-lyon1.fr a écrit :
Bonjour,
Le 5 juin 2015 à 14:04, Jerome Lien jerome.lien@gmail.com a écrit :
tout cela pour enregistrer 200 camera en h.264 sur du XFS
Il faudrait pouvoir estimer le flux total en écriture. 200 cameras en H264, ok mais quel frame rate, quelle resolution ?
En video surveillance, on a rarement en 24i/s.
Pour le matériel que je connais un peu en pas trop cher, compact, et performant, du Dell MD3860F, 60 disques sur 4U, jusqu’en 6To brut, double contrôleur FC, et virtualisation du RAID pour des perf et de la sécu plus que correctes.
Je l’ai appris que trop récemment, mais veillez au support sur le disque, si le disque défectueux est renvoyé chez le constructeur, cela peut poser des problèmes en termes de fuite de données. Chez Dell, il y a l’option «Keep your hard drive » sans surcout ou alors des disques chiffrés mais pas possible sur les 6To fourni par Dell (4To max).
136MB/s pour l'ensemble des caméras, donc ?
Quel est le format de stockage ? Tu parles de XFS, tu y stockes quoi (comprendre : comment) ? Un fichier par heure ? Un fichier par jour ? Un fichier pour 10sec type HLS ? Un fichier par chaine ?
Est-ce que tu les pousses via iSCSI, via NFS, via HTTP, via samba (beuhh) ?
On 05/06/2015 15:08, Jerome Lien wrote:
au niveau conception : h.264, 1600*1200, 15fps on estime à 136Mo/s
J'attends une offre de l'allemand eurostor Pour le Dell MD3860F sauf si je trouve un filon d'occasion c'est plutôt hors de prix pour ce projet là :/
Le 5 juin 2015 14:44, HURTEVENT VINCENT <vincent.hurtevent@univ-lyon1.fr mailto:vincent.hurtevent@univ-lyon1.fr> a écrit :
Bonjour,Le 5 juin 2015 à 14:04, Jerome Lien <jerome.lien@gmail.com <mailto:jerome.lien@gmail.com>> a écrit : tout cela pour enregistrer 200 camera en h.264 sur du XFSIl faudrait pouvoir estimer le flux total en écriture. 200 cameras en H264, ok mais quel frame rate, quelle resolution ? En video surveillance, on a rarement en 24i/s. Pour le matériel que je connais un peu en pas trop cher, compact, et performant, du Dell MD3860F, 60 disques sur 4U, jusqu’en 6To brut, double contrôleur FC, et virtualisation du RAID pour des perf et de la sécu plus que correctes. Je l’ai appris que trop récemment, mais veillez au support sur le disque, si le disque défectueux est renvoyé chez le constructeur, cela peut poser des problèmes en termes de fuite de données. Chez Dell, il y a l’option «Keep your hard drive » sans surcout ou alors des disques chiffrés mais pas possible sur les 6To fourni par Dell (4To max).
Liste de diffusion du FRsAG http://www.frsag.org/
je ne peux pas répondre à toute tes questions, coté confidentialité du système utilisé
les volumes sont monté via fiber channel sur les hotes le système de fichier est du xfs
Le 5 juin 2015 15:18, frsag@jack.fr.eu.org a écrit :
136MB/s pour l'ensemble des caméras, donc ?
Quel est le format de stockage ? Tu parles de XFS, tu y stockes quoi (comprendre : comment) ? Un fichier par heure ? Un fichier par jour ? Un fichier pour 10sec type HLS ? Un fichier par chaine ?
Est-ce que tu les pousses via iSCSI, via NFS, via HTTP, via samba (beuhh) ?
On 05/06/2015 15:08, Jerome Lien wrote:
au niveau conception : h.264, 1600*1200, 15fps on estime à 136Mo/s
J'attends une offre de l'allemand eurostor Pour le Dell MD3860F sauf si je trouve un filon d'occasion c'est plutôt hors de prix pour ce projet là :/
Le 5 juin 2015 14:44, HURTEVENT VINCENT <vincent.hurtevent@univ-lyon1.fr mailto:vincent.hurtevent@univ-lyon1.fr> a écrit :
Bonjour,Le 5 juin 2015 à 14:04, Jerome Lien <jerome.lien@gmail.com <mailto:jerome.lien@gmail.com>> a écrit : tout cela pour enregistrer 200 camera en h.264 sur du XFSIl faudrait pouvoir estimer le flux total en écriture. 200 cameras en H264, ok mais quel frame rate, quelle resolution ? En video surveillance, on a rarement en 24i/s. Pour le matériel que je connais un peu en pas trop cher, compact, et performant, du Dell MD3860F, 60 disques sur 4U, jusqu’en 6To brut, double contrôleur FC, et virtualisation du RAID pour des perf et de la sécu plus que correctes. Je l’ai appris que trop récemment, mais veillez au support sur le disque, si le disque défectueux est renvoyé chez le constructeur, cela peut poser des problèmes en termes de fuite de données. Chez Dell, il y a l’option «Keep your hard drive » sans surcout ou alors des disques chiffrés mais pas possible sur les 6To fourni par Dell (4To max).
Liste de diffusion du FRsAG http://www.frsag.org/
-- "UNIX was not designed to stop its users from doing stupid things, as that would also stop them from doing clever things." – Doug Gwyn _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonjour,
Pour 136 Mo/s j'aurais tendance à penser que du FC est surdimensionné... est trop couteux !
Je regarde en ce moment les NAS Synology pour faire du SAN iSCSI pas cher pour nos quelques serveurs de virtu. Je vois qu'un bête NAS Synology 12 baies peut atteindre 450 Mo/s en écriture (avec 4 ports Gigabit agrégés), certains même avec un chiffrement AES-NI... cf: https://www.synology.com/fr-fr/products/performance#five_to_twelve_bay ça ne me semble pas délirant du tout quand on voie la perf des disque 2/4/6To actuels, pourvu que le CPU et/ou la carte RAID suivent... En plus, en vidéo c'est très séquentiel comme type d'accès non ? Et si les 200 stream en parallèle découpent trop les écritures, peut être qu'un cache SSD suffirait pour faire buffer et transformer les petites écritures multiples en plus gros blocs plus facile à pousser sur les HD ?
Pour 150 To il faudra rajouter de la baie d'extension. Monté en iSCSI tu y mets le fs de ton choix.
Bref, pour faire pas cher, peut être faudrait il renoncer au Fiber Channel...
juste mes 2 centimes, j'ai pas testé... NB: j'ai pas d'actions chez Synology... ;)
Bonne journée, Fabrice
Le 05/06/2015 15:08, Jerome Lien a écrit :
au niveau conception : h.264, 1600*1200, 15fps on estime à 136Mo/s
J'attends une offre de l'allemand eurostor Pour le Dell MD3860F sauf si je trouve un filon d'occasion c'est plutôt hors de prix pour ce projet là :/
Le 5 juin 2015 14:44, HURTEVENT VINCENT <vincent.hurtevent@univ-lyon1.fr mailto:vincent.hurtevent@univ-lyon1.fr> a écrit :
Bonjour,Le 5 juin 2015 à 14:04, Jerome Lien <jerome.lien@gmail.com <mailto:jerome.lien@gmail.com>> a écrit : tout cela pour enregistrer 200 camera en h.264 sur du XFSIl faudrait pouvoir estimer le flux total en écriture. 200 cameras en H264, ok mais quel frame rate, quelle resolution ? En video surveillance, on a rarement en 24i/s. Pour le matériel que je connais un peu en pas trop cher, compact, et performant, du Dell MD3860F, 60 disques sur 4U, jusqu’en 6To brut, double contrôleur FC, et virtualisation du RAID pour des perf et de la sécu plus que correctes. Je l’ai appris que trop récemment, mais veillez au support sur le disque, si le disque défectueux est renvoyé chez le constructeur, cela peut poser des problèmes en termes de fuite de données. Chez Dell, il y a l’option «Keep your hard drive » sans surcout ou alors des disques chiffrés mais pas possible sur les 6To fourni par Dell (4To max).
Liste de diffusion du FRsAG http://www.frsag.org/
salut,
SInon y a ce type d'architecture : https://www.backblaze.com/blog/storage-pod-4-5-tweaking-a-proven-design/ c'est un design "opensource". ils tombent à $0.05 / Go
Bon weekend.
Pierre-Henri
Le 6 juin 2015 15:11, Fabrice Vincent f.vincent@allibert-trekking.com a écrit :
Bonjour,
Pour 136 Mo/s j'aurais tendance à penser que du FC est surdimensionné... est trop couteux !
Je regarde en ce moment les NAS Synology pour faire du SAN iSCSI pas cher pour nos quelques serveurs de virtu. Je vois qu'un bête NAS Synology 12 baies peut atteindre 450 Mo/s en écriture (avec 4 ports Gigabit agrégés), certains même avec un chiffrement AES-NI... cf: https://www.synology.com/fr-fr/products/performance#five_to_twelve_bay ça ne me semble pas délirant du tout quand on voie la perf des disque 2/4/6To actuels, pourvu que le CPU et/ou la carte RAID suivent... En plus, en vidéo c'est très séquentiel comme type d'accès non ? Et si les 200 stream en parallèle découpent trop les écritures, peut être qu'un cache SSD suffirait pour faire buffer et transformer les petites écritures multiples en plus gros blocs plus facile à pousser sur les HD ?
Pour 150 To il faudra rajouter de la baie d'extension. Monté en iSCSI tu y mets le fs de ton choix.
Bref, pour faire pas cher, peut être faudrait il renoncer au Fiber Channel...
juste mes 2 centimes, j'ai pas testé... NB: j'ai pas d'actions chez Synology... ;)
Bonne journée, Fabrice
Le 05/06/2015 15:08, Jerome Lien a écrit :
au niveau conception : h.264, 1600*1200, 15fps on estime à 136Mo/s
J'attends une offre de l'allemand eurostor Pour le Dell MD3860F sauf si je trouve un filon d'occasion c'est plutôt hors de prix pour ce projet là :/
Le 5 juin 2015 14:44, HURTEVENT VINCENT vincent.hurtevent@univ-lyon1.fr a écrit :
Bonjour,
Le 5 juin 2015 à 14:04, Jerome Lien jerome.lien@gmail.com a écrit :
tout cela pour enregistrer 200 camera en h.264 sur du XFS
Il faudrait pouvoir estimer le flux total en écriture. 200 cameras en H264, ok mais quel frame rate, quelle resolution ?
En video surveillance, on a rarement en 24i/s.
Pour le matériel que je connais un peu en pas trop cher, compact, et performant, du Dell MD3860F, 60 disques sur 4U, jusqu’en 6To brut, double contrôleur FC, et virtualisation du RAID pour des perf et de la sécu plus que correctes.
Je l’ai appris que trop récemment, mais veillez au support sur le disque, si le disque défectueux est renvoyé chez le constructeur, cela peut poser des problèmes en termes de fuite de données. Chez Dell, il y a l’option «Keep your hard drive » sans surcout ou alors des disques chiffrés mais pas possible sur les 6To fourni par Dell (4To max).
Liste de diffusion du FRsAGhttp://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Le Sat, Jun 06, 2015 at 03:11:58PM +0200, Fabrice Vincent [f.vincent@allibert-trekking.com] a écrit:
Bonjour,
Pour 136 Mo/s j'aurais tendance à penser que du FC est surdimensionné... est trop couteux !
+1 vouloir faire « low-cost » en ayant côté technique fait le choix de mettre du fiber-channel, c'est un peu contradictoire...
Bonjour,
J'ai pour 15 cameras 1024x768, un stockage DAS basique avec des flux videos RTSP captures via des VLC[0]. En moyenne, j'observe en 18 image/s, un flux MP4 de 5Mbit/s par camera. Un zoneminder tournant par ailleurs, j'ai un flux primaire pour les VLC qui doit etre reelement a 4Mb/s et un flux secondaire degrade pour la detection de mouvement en 320x200 autour de 1Mb/s.
J'imagine que le calcul serait pour 200 cameras de faire 5x200Mb/s => un lien gigabit a saturation mais en pratique, il y a de nombreuses autres operations a prevoir sur les flux videos avec au minimum un process de signature pour s'assurer de la non repudiation et un process d'effacement cyclique.
Pour mon installation, le premier en prennant un hash SHA de 1Mo tous les 20Mo, consomme environ 200IO/s en lecture de facon asynchrone (j'ai decide de prendre ces donnees sur ce qui etait ecrit sur le HDD, plutot que de faire le calcul de hash sur le flux RSTP capture). Le second tourne autour de 80 IO/s pour les effacements.
Les ecritures oscillent autour de 8Mo/s et 250 IO/s.
J'utilise un XFS, optimise au niveau de ses stride/stripe avec le materiel. Celui-ci est base de PERC H700 de chez DELL sur 8 HDD RAID6 de 1To sur un R510. XFS n'est pas particulierement doue pour les effacements de blocs mais les reiser/NTFS/extN ne feront gueres mieux et seront pire pour les ecritures de gros flux sequentiels en //.
Dans ces conditions, je suis quasiment au maximum de ce que peut donner mon DAS avec les 15 cameras !
Je crois donc illusoire de chercher a monter 200 cameras vers une baie de disque RAID 5 ou 6. Faut tailler celle-ci pour monter dans les IOPS sauf a oublier les signatures. Avec 24 disques, le RAID0 serait une betise.
Pour les ecritures, faudrait utiliser un stockage en mode block optimisé pour que les sequences d'ecriture sequentielles et essayer d'avoir un stockage avec des effacements qui aient lieu presque sans IO par de simple re-ecriture, style LTFS.
Helas, nous parlons de video-surveillance et souvent, les FS experimentaux ne font pas bon menage avec la stabilite attendu sur ces stockages.
Je vous conseille si vraiment vous n'avez d'autre choix que de partir sur 1 baie, d'avoir vos disques en JBOD, avec 7/8 cameras par disque cela peut passer mais il faudra des disques plus performant que des modeles SATA grand public, au moins pour la gestion des queues d'ecriture // et la tenu en IO.
Bon courage si vous faite dans le low cost par obligation sur ce projet de video-surveillance : j'ai deja donne pour diviser une facture par deux et ce n'est pas rigolo.
J'espere que vous pourrez au moins faire de la maquette et regarder doucement la montee en charge se produire avec une possibilite de corriger le tir si votre materiel initial tient pas le coup.
Cordialement, Sylvain MAURIN
On Fri, 2015-06-05 at 14:04 +0200, Jerome Lien wrote:
Bonjour à tous, j'avais posté le sujet sur FRNOG en premier mais suite à différent conseil, je le post ici.
dans le cadre d'une reprise d'activité, nous avons besoin d'installer une baie de stockage pour accueillir les data de la vidéo surveillance mais tout cela version low cost. La redondance des contrôleurs n'est pas primordial. Les caractéristiques minimal : 150To dont 24 disques WDblack de 2to que nous possédons. Fiber channel car le soft sera sur plusieurs autres serveurs possédants cette connectique tout cela pour enregistrer 200 camera en h.264 sur du XFS j'ai commencé à regarder du coté des monteurs type : eracks n50 ou du coté de eurostor. Mais pour le moment je reste un peu dans le flou. Auriez vous des pistes ou des retours d'expériences à me faire partager ? En vous remerciant d'avance, Jérôme _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonjour à tous,
Question con, mais pourquoi ne pas investir dans un bon encodeur video pour compresser tout cela avant de le stocker? Cela permettrait certainement de réduire drastiquement la quantité de stockage nécessaire, donc son cout.
Michael
Le 8 juin 2015 11:06, Maurin Sylvain sylvain.maurin@isc.cnrs.fr a écrit :
Bonjour,
J'ai pour 15 cameras 1024x768, un stockage DAS basique avec des flux videos RTSP captures via des VLC[0]. En moyenne, j'observe en 18 image/s, un flux MP4 de 5Mbit/s par camera. Un zoneminder tournant par ailleurs, j'ai un flux primaire pour les VLC qui doit etre reelement a 4Mb/s et un flux secondaire degrade pour la detection de mouvement en 320x200 autour de 1Mb/s.
J'imagine que le calcul serait pour 200 cameras de faire 5x200Mb/s => un lien gigabit a saturation mais en pratique, il y a de nombreuses autres operations a prevoir sur les flux videos avec au minimum un process de signature pour s'assurer de la non repudiation et un process d'effacement cyclique.
Pour mon installation, le premier en prennant un hash SHA de 1Mo tous les 20Mo, consomme environ 200IO/s en lecture de facon asynchrone (j'ai decide de prendre ces donnees sur ce qui etait ecrit sur le HDD, plutot que de faire le calcul de hash sur le flux RSTP capture). Le second tourne autour de 80 IO/s pour les effacements.
Les ecritures oscillent autour de 8Mo/s et 250 IO/s.
J'utilise un XFS, optimise au niveau de ses stride/stripe avec le materiel. Celui-ci est base de PERC H700 de chez DELL sur 8 HDD RAID6 de 1To sur un R510. XFS n'est pas particulierement doue pour les effacements de blocs mais les reiser/NTFS/extN ne feront gueres mieux et seront pire pour les ecritures de gros flux sequentiels en //.
Dans ces conditions, je suis quasiment au maximum de ce que peut donner mon DAS avec les 15 cameras !
Je crois donc illusoire de chercher a monter 200 cameras vers une baie de disque RAID 5 ou 6. Faut tailler celle-ci pour monter dans les IOPS sauf a oublier les signatures. Avec 24 disques, le RAID0 serait une betise.
Pour les ecritures, faudrait utiliser un stockage en mode block optimisé pour que les sequences d'ecriture sequentielles et essayer d'avoir un stockage avec des effacements qui aient lieu presque sans IO par de simple re-ecriture, style LTFS.
Helas, nous parlons de video-surveillance et souvent, les FS experimentaux ne font pas bon menage avec la stabilite attendu sur ces stockages.
Je vous conseille si vraiment vous n'avez d'autre choix que de partir sur 1 baie, d'avoir vos disques en JBOD, avec 7/8 cameras par disque cela peut passer mais il faudra des disques plus performant que des modeles SATA grand public, au moins pour la gestion des queues d'ecriture // et la tenu en IO.
Bon courage si vous faite dans le low cost par obligation sur ce projet de video-surveillance : j'ai deja donne pour diviser une facture par deux et ce n'est pas rigolo.
J'espere que vous pourrez au moins faire de la maquette et regarder doucement la montee en charge se produire avec une possibilite de corriger le tir si votre materiel initial tient pas le coup.
Cordialement, Sylvain MAURIN
On Fri, 2015-06-05 at 14:04 +0200, Jerome Lien wrote:
Bonjour à tous, j'avais posté le sujet sur FRNOG en premier mais suite à différent conseil, je le post ici.
dans le cadre d'une reprise d'activité, nous avons besoin d'installer une baie de stockage pour accueillir les data de la vidéo surveillance mais tout cela version low cost. La redondance des contrôleurs n'est pas primordial. Les caractéristiques minimal : 150To dont 24 disques WDblack de 2to que nous possédons. Fiber channel car le soft sera sur plusieurs autres serveurs possédants cette connectique tout cela pour enregistrer 200 camera en h.264 sur du XFS j'ai commencé à regarder du coté des monteurs type : eracks n50 ou du coté de eurostor. Mais pour le moment je reste un peu dans le flou. Auriez vous des pistes ou des retours d'expériences à me faire partager ? En vous remerciant d'avance, Jérôme _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
--
Sylvain MAURIN - Admin.Sys. Institut des Sciences Cognitives CNRS-Université Claude Bernard Lyon 1 67, boulevard Pinel 69675 BRON cedex Tel: +33 437911214 -- Cel: +33 612399929 Mail: sylvain.maurin@isc.cnrs.fr
Liste de diffusion du FRsAG http://www.frsag.org/
1024x768 en 18 images/s dans un flux de 5Mbit/s en 24bpp couleur, je pense que l'algorithme embarque dans les cameras doit pas etre loin de l'optimal ;-)
Cordialement, Sylvain MAURIN
On Mon, 2015-06-08 at 11:50 +0200, Michael FROMENT wrote:
Bonjour à tous, Question con, mais pourquoi ne pas investir dans un bon encodeur video pour compresser tout cela avant de le stocker? Cela permettrait certainement de réduire drastiquement la quantité de stockage nécessaire, donc son cout. Michael
-
Dominique Rousseau -
Fabrice Vincent -
frsag＠jack.fr.eu.org -
HURTEVENT VINCENT -
Jerome Lien -
Maurin Sylvain -
Michael FROMENT -
Pierre-Henri