[FRsAG] [TECH] Transferts de grandes volumétries sur liaisons à RTT important

Erik LE VACON erik at levacon.net
Ven 18 Avr 21:56:13 CEST 2014


Bonsoir à tous,
Je vous contacte dans le cadre d'une recherche de solutions de 
transferts de données sur réseaux à latence importante.

Les volumétries concernées sont de plusieurs téras de données par jour, 
en transcontinental (latence de 85 à 150ms en fonction des points nous 
concernant).

La majorité des transferts se faisant traditionnellement en TCP (rsync, 
ftp, scp et autres), avec les problématiques connues générées par 
l'augmentation du RTT,  j'ai donc tenté des alternatives sur différentes 
solutions de transfert sur UDP, comme Tsunami-UDP, RBUDP et GridFTP, en 
gratuit , et Aspera en payant.

Je suis passé y compris par de la "tuyauterie maison from scratch" à 
base de scripts NC, PIGZ et TAR, avec multi-threads  pour le transfert...

Bref, dans tous les cas, le taquet n'est pas atteint, mais les taux de 
transferts sont intéressant, notamment sur Tsunami, mais n'atteignent 
que péniblement les 500-600mbps sur le gigabit dont nous disposons 
actuellement, malgré des raids 0 vides hors fichiers pour test, de 
chaque côté, étant capables de gérer les 100-110MBps attendus, et un 
circuit vide.

Précisons que les tests ont été menés y compris "directement en sortie 
des RAD" de chaque côté en off-hours, pour détecter d'éventuels pbs de 
conf sur les appliances de sécu.

Donc, la question: avez vous rencontré de telles problématiques, et si 
oui, quelles autres solutions, de type OpenSource ou à défaut peu 
couteuses, avez vous adopté pour faire face ? S'entend, solutions autres 
que les technologies de WAN-optim embarquées sur certaines baies récentes ?

Merci de vos retours,

Excellent weekend à tous,


-- 

  Erik


Plus d'informations sur la liste de diffusion FRsAG