[TECH] Transferts de grandes volumétries sur liaisons à RTT important
Bonsoir à tous, Je vous contacte dans le cadre d'une recherche de solutions de transferts de données sur réseaux à latence importante. Les volumétries concernées sont de plusieurs téras de données par jour, en transcontinental (latence de 85 à 150ms en fonction des points nous concernant). La majorité des transferts se faisant traditionnellement en TCP (rsync, ftp, scp et autres), avec les problématiques connues générées par l'augmentation du RTT, j'ai donc tenté des alternatives sur différentes solutions de transfert sur UDP, comme Tsunami-UDP, RBUDP et GridFTP, en gratuit , et Aspera en payant. Je suis passé y compris par de la "tuyauterie maison from scratch" à base de scripts NC, PIGZ et TAR, avec multi-threads pour le transfert... Bref, dans tous les cas, le taquet n'est pas atteint, mais les taux de transferts sont intéressant, notamment sur Tsunami, mais n'atteignent que péniblement les 500-600mbps sur le gigabit dont nous disposons actuellement, malgré des raids 0 vides hors fichiers pour test, de chaque côté, étant capables de gérer les 100-110MBps attendus, et un circuit vide. Précisons que les tests ont été menés y compris "directement en sortie des RAD" de chaque côté en off-hours, pour détecter d'éventuels pbs de conf sur les appliances de sécu. Donc, la question: avez vous rencontré de telles problématiques, et si oui, quelles autres solutions, de type OpenSource ou à défaut peu couteuses, avez vous adopté pour faire face ? S'entend, solutions autres que les technologies de WAN-optim embarquées sur certaines baies récentes ? Merci de vos retours, Excellent weekend à tous, -- Erik
Hello Il faut que tu utilisescun mécanisme de buffer credit / buffer recovery comme dans fibre channel Olivier Le 18 avr. 2014 21:57, "Erik LE VACON" <erik@levacon.net> a écrit :
Bonsoir à tous, Je vous contacte dans le cadre d'une recherche de solutions de transferts de données sur réseaux à latence importante.
Les volumétries concernées sont de plusieurs téras de données par jour, en transcontinental (latence de 85 à 150ms en fonction des points nous concernant).
La majorité des transferts se faisant traditionnellement en TCP (rsync, ftp, scp et autres), avec les problématiques connues générées par l'augmentation du RTT, j'ai donc tenté des alternatives sur différentes solutions de transfert sur UDP, comme Tsunami-UDP, RBUDP et GridFTP, en gratuit , et Aspera en payant.
Je suis passé y compris par de la "tuyauterie maison from scratch" à base de scripts NC, PIGZ et TAR, avec multi-threads pour le transfert...
Bref, dans tous les cas, le taquet n'est pas atteint, mais les taux de transferts sont intéressant, notamment sur Tsunami, mais n'atteignent que péniblement les 500-600mbps sur le gigabit dont nous disposons actuellement, malgré des raids 0 vides hors fichiers pour test, de chaque côté, étant capables de gérer les 100-110MBps attendus, et un circuit vide.
Précisons que les tests ont été menés y compris "directement en sortie des RAD" de chaque côté en off-hours, pour détecter d'éventuels pbs de conf sur les appliances de sécu.
Donc, la question: avez vous rencontré de telles problématiques, et si oui, quelles autres solutions, de type OpenSource ou à défaut peu couteuses, avez vous adopté pour faire face ? S'entend, solutions autres que les technologies de WAN-optim embarquées sur certaines baies récentes ?
Merci de vos retours,
Excellent weekend à tous,
--
Erik _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonsoir, à voir si ton réseau le permet, mais je serrais curieux d'un test avec des Jumbo frames (MTU de 9000): http://fr.wikipedia.org/wiki/Trame_g%C3%A9ante Le 18 avril 2014 21:56, Erik LE VACON <erik@levacon.net> a écrit :
Bonsoir à tous, Je vous contacte dans le cadre d'une recherche de solutions de transferts de données sur réseaux à latence importante.
Les volumétries concernées sont de plusieurs téras de données par jour, en transcontinental (latence de 85 à 150ms en fonction des points nous concernant).
La majorité des transferts se faisant traditionnellement en TCP (rsync, ftp, scp et autres), avec les problématiques connues générées par l'augmentation du RTT, j'ai donc tenté des alternatives sur différentes solutions de transfert sur UDP, comme Tsunami-UDP, RBUDP et GridFTP, en gratuit , et Aspera en payant.
Je suis passé y compris par de la "tuyauterie maison from scratch" à base de scripts NC, PIGZ et TAR, avec multi-threads pour le transfert...
Bref, dans tous les cas, le taquet n'est pas atteint, mais les taux de transferts sont intéressant, notamment sur Tsunami, mais n'atteignent que péniblement les 500-600mbps sur le gigabit dont nous disposons actuellement, malgré des raids 0 vides hors fichiers pour test, de chaque côté, étant capables de gérer les 100-110MBps attendus, et un circuit vide.
Précisons que les tests ont été menés y compris "directement en sortie des RAD" de chaque côté en off-hours, pour détecter d'éventuels pbs de conf sur les appliances de sécu.
Donc, la question: avez vous rencontré de telles problématiques, et si oui, quelles autres solutions, de type OpenSource ou à défaut peu couteuses, avez vous adopté pour faire face ? S'entend, solutions autres que les technologies de WAN-optim embarquées sur certaines baies récentes ?
Merci de vos retours,
Excellent weekend à tous,
--
Erik _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonjour, En pratique je ne sais pas du tout comment tuner ça, mais en théorie pour qu'une session TCP utilise la BP disponible : RWIN
= BP*RTT
il y-a une rfc concernant cela : http://www.rfc-editor.org/rfc/rfc1323.txt [3] https://en.wikipedia.org/wiki/RWIN [4] Bon courage Le 2014-04-20 19:29, Greg a écrit :
Bonsoir,
à voir si ton réseau le permet, mais je serrais curieux d'un test avec des Jumbo frames (MTU de 9000):
http://fr.wikipedia.org/wiki/Trame_g%C3%A9ante [2]
Le 18 avril 2014 21:56, Erik LE VACON <erik@levacon.net> a écrit :
Bonsoir à tous, Je vous contacte dans le cadre d'une recherche de solutions de transferts de données sur réseaux à latence importante.
Les volumétries concernées sont de plusieurs téras de données par jour, en transcontinental (latence de 85 à 150ms en fonction des points nous concernant).
La majorité des transferts se faisant traditionnellement en TCP (rsync, ftp, scp et autres), avec les problématiques connues générées par l'augmentation du RTT, j'ai donc tenté des alternatives sur différentes solutions de transfert sur UDP, comme Tsunami-UDP, RBUDP et GridFTP, en gratuit , et Aspera en payant.
Je suis passé y compris par de la "tuyauterie maison from scratch" à base de scripts NC, PIGZ et TAR, avec multi-threads pour le transfert...
Bref, dans tous les cas, le taquet n'est pas atteint, mais les taux de transferts sont intéressant, notamment sur Tsunami, mais n'atteignent que péniblement les 500-600mbps sur le gigabit dont nous disposons actuellement, malgré des raids 0 vides hors fichiers pour test, de chaque côté, étant capables de gérer les 100-110MBps attendus, et un circuit vide.
Précisons que les tests ont été menés y compris "directement en sortie des RAD" de chaque côté en off-hours, pour détecter d'éventuels pbs de conf sur les appliances de sécu.
Donc, la question: avez vous rencontré de telles problématiques, et si oui, quelles autres solutions, de type OpenSource ou à défaut peu couteuses, avez vous adopté pour faire face ? S'entend, solutions autres que les technologies de WAN-optim embarquées sur certaines baies récentes ?
Merci de vos retours,
Excellent weekend à tous,
--
Erik _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/ [1]
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/ [1]
Links: ------ [1] http://www.frsag.org/ [2] http://fr.wikipedia.org/wiki/Trame_g%C3%A9ante [3] http://www.rfc-editor.org/rfc/rfc1323.txt [4] https://en.wikipedia.org/wiki/RWIN
participants (4)
-
Erik LE VACON -
Greg -
noa -
Olivier Tourchon