FRsAG

frsag@frsag.org

10 participants
2602 discussions

optim page load à l'autre bout du monde
by Greg 23 Jul '13

23 Jul '13

Bonjour, comment améliorer le temps d'affichage d'une page web dynamique (PHP) à l'autre bout du monde ? (Sans délocalisation de serveurs) Les CDNs permettent d'améliorer le temps d'affichage des documents statiques. Délocaliser des serveurs peut couter cher dans certain pays, et puis dans ce cas il faut déporter tous les services associés : memcached/redis, DB, ... Connaissez vous d'autres solutions ? -- Greg

7 7

Re: [FRsAG] Incidence des TCP Timestamps sur les connexions
by Greg 23 Jul '13

23 Jul '13

Merci Vincent pour ces explications et recommandations, que j'ai prise en compte. Néanmoins je me demande toujours pourquoi désactiver les TCP timestamps a un tel impact sur l'établissement des connexions TCP. Damien> je suis en contact aussi avec eux, mais comme tout CDN ils ne peuvent rien faire sur le trafic dynamique ;) Le 23 juillet 2013 12:14, Damien Wetzel <dwetzel(a)nerim.net> a écrit : > Bonjour Greg, > On est en contact via cedexis. > Si l'utilisation du cdn peut soulager vos problemes de perfs n'hesitez pas > à l'utiliser. > Cordialement, > > Greg writes: > > Bonjour, > > > > je rencontre un problème d'établissement de connexions TCP sur un > serveur par forte charge, qui se concrétise par des > > timeouts de connexion. Ce serveur établit de nombreuses connexions : > > - serveur web NGiNX > > - fichiers statiques sur NFSv4 (4 connexions TCP) > > - reverse-proxy sur une 20ène de serveurs web Apache2/PHP, via l'IP > publique > > - reverse-proxy sur un cluster XMPP > > > > Evidemment il y a quelques axes d'améliorations simple : passer par le > réseau privé pour limiter les connexions sur > > l'interface réseau publique, ... mais ce n'est pas le but de ce mail. > > > > Sous forte charge, parfois une simple connexion TCP a des difficultés > pour s'établir. Pour tester, j'écarte des soucis > > potentiels avec NGiNX et lance un serveur netcat sur le port 8080 : > > nc -l -k 8080 > > > > et depuis un poste client sous Linux : > > while true; do date -R | tee -a /dev/stderr | nc -w 2 perceval.local > 8080 || echo ERR; sleep 0.2; done > > > > Lorsque le problème survient, des "ERR" s'affichent. > > > > A ce moment, j'ai tenté plusieurs choses pour tenter de trouver la > source de ces problèmes de connexions, et aucun ne > > s'est avéré "payant" : > > - désactiver le firewall > > - supprimer et décharger conntrack > > - changer l'algorythme de congestion TCP de cubic à autre chose > > - mesurer le nombre de connexions TCP établit ou en FIN_WAIT : à 10k > total le soucis peut très bien se produire ou pas > > - modifier plusieurs paramètre de config TCP / Kernel : > > net.ipv4.tcp_sack = 1 > > net.ipv4.tcp_fack = 1 > > net.ipv4.tcp_window_scaling = 1 > > net.ipv4.tcp_syncookies = 0 > > net.ipv4.tcp_low_latency = 0 > > net.core.netdev_max_backlog = 4000 > > net.ipv4.ip_local_port_range = 1024 65000 > > net.ipv4.tcp_max_syn_backlog = 163840 > > net.ipv4.tcp_synack_retries = 1 > > net.ipv4.tcp_fin_timeout = 10 > > net.ipv4.tcp_no_metrics_save = 1 > > net.ipv4.tcp_max_tw_buckets = 400000 > > net.core.somaxconn = 8192 > > fs.file-max = 1310720 > > net.ipv4.tcp_tw_recycle=1 > > net.ipv4.tcp_tw_reuse=1 > > > > En vain. Sauf un paramètre qui débloque tout quand il est désactivé : > > net.ipv4.tcp_timestamps=0 > > > > C'est très net, si je désactive les timestamps TCP coté serveur (ou > coté client forcément), je n'ai plus aucun problème > > d'établissement de connexions TCP. > > > > A ce moment commence les recherches sur Google, et tout ce que je > trouve est ambigu : il vaut mieux activer les > > timestamps TCP pour des raisons de performances, mais il faut mieux les > désactiver pour des problèmes de sécurité. > > Activé, l'attaquant peut récupérer l'uptime du serveur... Franchement > osef nan ? > > Ce qui me gène plus, c'est qu'il est conseillé d'activer ce paramètre > en cas de soucis de congestion TCP... > > > > Peut-être qu'avec la quantité de trafic, le kernel n'est pas capable de > fournir assez de timestamps ? Peut-être que la > > fréquence du timer Linux a une incidence ? > > Le kernel utilisé est le 3.5.5 avec les patchs Google d'activé (RPS, > RFS) et cette config de timer : > > CONFIG_NO_HZ=y > > CONFIG_HZ_250=y > > CONFIG_HZ=250 > > > > J'essaye avec 1000 HZ : aucune incidence. > > > > La désactivation de ce paramètre net.ipv4.tcp_timestamps ne doit pas > agir que sur les timestamps, peut-être que les > > algos de congestion TCP, ou certains modules, ou une partie de la stack > TCP, utilisent les timestamps TCP, et peut-être > > que c'est un de ces modules qui pose problème ? > > > > Avez vous déjà expérimenté ce type de soucis ? > > Je suis dispo pour faire des tests si vous avez des idées !! > > > > -- > > Greg > > > > > > ---------------------------------------------------------------------- > > _______________________________________________ > > Liste de diffusion du FRsAG > > http://www.frsag.org/ > > -- > > ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ > Damien WETZEL (ATANAR TECHNOLOGIES) ("`-/")_.-'"``-._ > http://www.atanar.com . . `; -._ )-;-,_`) > (v_,)' _ )`-.\ ``-' > Phone:+33 9 63 05 59 99 _.- _..-_/ / ((.' > - So much to do, so little time - ((,.-' ((,/ > ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ > -- Greg

1 0

Apéro de Lyon - Juillet
by cam.lafit＠azerttyu.net 23 Jul '13

23 Jul '13

Bonjour tous le monde, Pas de répit pour les braves, je vous propose le rendez vous mensuel pour (presque) Lyonnais et environs. Cela se passe par ici : http://framadate.org/studs.php?sondage=musu2ge52b6i1cj7 Au choix le 24 et 25. Pour le moment le oint de chute est le bar à vin le Tono à Cordelier. On bloquera la date définitive pour le 20/07 Profitez bien du soleil et de la chaleur en attendant :) Km

2 3

Incidence des TCP Timestamps sur les connexions
by Greg 23 Jul '13

23 Jul '13

Bonjour, je rencontre un problème d'établissement de connexions TCP sur un serveur par forte charge, qui se concrétise par des timeouts de connexion. Ce serveur établit de nombreuses connexions : - serveur web NGiNX - fichiers statiques sur NFSv4 (4 connexions TCP) - reverse-proxy sur une 20ène de serveurs web Apache2/PHP, via l'IP publique - reverse-proxy sur un cluster XMPP Evidemment il y a quelques axes d'améliorations simple : passer par le réseau privé pour limiter les connexions sur l'interface réseau publique, ... mais ce n'est pas le but de ce mail. Sous forte charge, parfois une simple connexion TCP a des difficultés pour s'établir. Pour tester, j'écarte des soucis potentiels avec NGiNX et lance un serveur netcat sur le port 8080 : nc -l -k 8080 et depuis un poste client sous Linux : while true; do date -R | tee -a /dev/stderr | nc -w 2 perceval.local 8080 || echo ERR; sleep 0.2; done Lorsque le problème survient, des "ERR" s'affichent. A ce moment, j'ai tenté plusieurs choses pour tenter de trouver la source de ces problèmes de connexions, et aucun ne s'est avéré "payant" : - désactiver le firewall - supprimer et décharger conntrack - changer l'algorythme de congestion TCP de cubic à autre chose - mesurer le nombre de connexions TCP établit ou en FIN_WAIT : à 10k total le soucis peut très bien se produire ou pas - modifier plusieurs paramètre de config TCP / Kernel : net.ipv4.tcp_sack = 1 net.ipv4.tcp_fack = 1 net.ipv4.tcp_window_scaling = 1 net.ipv4.tcp_syncookies = 0 net.ipv4.tcp_low_latency = 0 net.core.netdev_max_backlog = 4000 net.ipv4.ip_local_port_range = 1024 65000 net.ipv4.tcp_max_syn_backlog = 163840 net.ipv4.tcp_synack_retries = 1 net.ipv4.tcp_fin_timeout = 10 net.ipv4.tcp_no_metrics_save = 1 net.ipv4.tcp_max_tw_buckets = 400000 net.core.somaxconn = 8192 fs.file-max = 1310720 net.ipv4.tcp_tw_recycle=1 net.ipv4.tcp_tw_reuse=1 En vain. Sauf un paramètre qui débloque tout quand il est désactivé : net.ipv4.tcp_timestamps=0 C'est très net, si je désactive les timestamps TCP coté serveur (ou coté client forcément), je n'ai plus aucun problème d'établissement de connexions TCP. A ce moment commence les recherches sur Google, et tout ce que je trouve est ambigu : il vaut mieux activer les timestamps TCP pour des raisons de performances, mais il faut mieux les désactiver pour des problèmes de sécurité. Activé, l'attaquant peut récupérer l'uptime du serveur... Franchement osef nan ? Ce qui me gène plus, c'est qu'il est conseillé d'activer ce paramètre en cas de soucis de congestion TCP... Peut-être qu'avec la quantité de trafic, le kernel n'est pas capable de fournir assez de timestamps ? Peut-être que la fréquence du timer Linux a une incidence ? Le kernel utilisé est le 3.5.5 avec les patchs Google d'activé (RPS, RFS) et cette config de timer : CONFIG_NO_HZ=y CONFIG_HZ_250=y CONFIG_HZ=250 J'essaye avec 1000 HZ : aucune incidence. La désactivation de ce paramètre net.ipv4.tcp_timestamps ne doit pas agir que sur les timestamps, peut-être que les algos de congestion TCP, ou certains modules, ou une partie de la stack TCP, utilisent les timestamps TCP, et peut-être que c'est un de ces modules qui pose problème ? Avez vous déjà expérimenté ce type de soucis ? Je suis dispo pour faire des tests si vous avez des idées !! -- Greg

3 2

Re: [FRsAG] Sauvegarde MySQL
by LEFEVRE Hugo 19 Jul '13

19 Jul '13

Bonjour, Je travaille actuellement sur une architecture MySQL et cette discutions m'amène a une petite question. Peu t'ont envisager d'avoir un serveur master en innodb-flush-log-at-trx-commit a 0 et un slave avec cette variable a 1? Wallace <wallace(a)morkitu.org> a écrit : Le 18/07/2013 20:12, Etienne Dechamps a écrit : > On 07/18/2013 05:46 PM, Bégault Luc wrote: >> Attention, cette méthode si elle fonctionne avec des tables MyIsam peut >> poser des problèmes avec InnoDB >> (http://dev.mysql.com/doc/refman/5.5/en/innodb-backup.html => pour un >> snapshot fichier, mysql dit que le serveur doit etre arrété). > > Si c'est vrai, alors ça veut dire que le serveur n'est pas capable de > résister à une coupure de courant, ce qui me semble peu probable (ça > briserait d'ailleurs les garanties ACID, plus précisément la garantie > de durabilité). > Pour InnoDB cela dépend de comment il est configuré notamment avec la variable : innodb-flush-log-at-trx-commit à 1 les données sont 100% consistante sur le disque, aucune perte de donnée possible en cas de coupure. à 2 possibilité de perdre 1/2 secondes de transaction à 0 possibilité de corruption de données importante, risque élevé mais quel gain en performance les backups dépendent donc notamment de cet élément

3 2

Sauvegarde MySQL
by Gaël 19 Jul '13

19 Jul '13

Hello ! J'ai un serveur (toujours le même), sur lequel sont hébergés une trentaine de site. Il y a aussi une vingtaine de bases de données MySQL. Système sous debian, pas de trucs compliqués, y'a juste apache/php/mysql et des services alacon dont on se fout ici. Je cherche une solution fonctionnelle et propre tant qu'à faire pour sauvegarder mes bases SQL. J'ai lu autour de mysql dump, mais si j'ai bien compris, ça ne bloque pas l'accès à la base pendant le dump, donc il peut y avoir des écritures simultanées et ça met le truc en vrille. M'enfin j'ai pas tout tout compris, donc je vous demande vos avis :) J'ai 3,3go de db à sauvegarder (enfin, le dossier /var/lib/mysql fait 3,3go), et je voudrais avoir un ficheir sql par DB, et après j'envoie tout ça ailleurs avec rsync. Merci d'avance !! Gaël

13 14

Re: [FRsAG] Sauvegarde MySQL
by LEFEVRE Hugo 18 Jul '13

18 Jul '13

La réponse dépend beaucoup du fait que tu pisse faire une coupure de service ou non. Sébastien Mureau <sebastien.mureau(a)gmail.com> a écrit : J'en connais qui ne s'emmerdent pas avec le dump, ils font une copie des fichiers présent dans le rep ou elles sont et les importes direct ... On est loin des procédures habituelles ... Le 18 juillet 2013 17:33, Gaël <gagou9(a)gmail.com> a écrit : > Hello ! > > > J'ai un serveur (toujours le même), sur lequel sont hébergés une trentaine > de site. > Il y a aussi une vingtaine de bases de données MySQL. > > Système sous debian, pas de trucs compliqués, y'a juste apache/php/mysql > et des services alacon dont on se fout ici. > > Je cherche une solution fonctionnelle et propre tant qu'à faire pour > sauvegarder mes bases SQL. > > > J'ai lu autour de mysql dump, mais si j'ai bien compris, ça ne bloque pas > l'accès à la base pendant le dump, donc il peut y avoir des écritures > simultanées et ça met le truc en vrille. > > M'enfin j'ai pas tout tout compris, donc je vous demande vos avis :) > > > J'ai 3,3go de db à sauvegarder (enfin, le dossier /var/lib/mysql fait > 3,3go), et je voudrais avoir un ficheir sql par DB, et après j'envoie tout > ça ailleurs avec rsync. > > > > > Merci d'avance !! > > Gaël > > _______________________________________________ > Liste de diffusion du FRsAG > http://www.frsag.org/ > > -- *********************************************************************************************** This message and any attachments are confidential and intended for the named addressee(s) only. If you have received this message in error, please notify immediately the sender, then delete the message. Any unauthorized modification, edition, use or dissemination is prohibited. The sender shall not be liable for this message if it has been modified, altered, falsified, infected by a virus or even edited or disseminated without authorization. ***********************************************************************************************

1 0

Adminsys pour la période du 12/30 aout 2013
by Benoit Mortier 17 Jul '13

17 Jul '13

Hello, Un de nos client vient de perdre son adminsys principal suite à une démission et cherche un adminsys en urgence pour la période du 12/30 aout 2013 Taches : - adminsys linux et réseau Me contacter par mail d'avance merci -- Benoit Mortier CEO OpenSides "logiciels libres pour entreprises" : http://www.opensides.eu/ Promouvoir et défendre le Logiciel Libre http://www.april.org/ Main developper in FusionDirectory : http://www.fusiondirectory.org/ Official French representative for OPSI : http://opsi.org/

2 2

[JOBS] eNovance : Recherche de talents
by Nicolas Marchal 15 Jul '13

15 Jul '13

Bonjour la liste, Un petit Job Post en ce Lundi du mois de Juillet que je viens de poster sur FRnOG mais qui pourra certainement interesser des gens sur FRsAG ! o Pour planter le decor : eNovance est une société en très forte croissance, spécialisée dans les infrastructures de Cloud Computing IaaS en général et OpenStack en particulier ainsi que dans les architectures web critiques et complexes. Nous deliverons des services de Design, Build, Run et Support sur nos infrastructures ainsi que sur les clouds publiques majeurs : AWS, RackSpace, Google Compute Engine, ... Nous sommes actuellement 7eme contributeur code d'OpenStack et participons a de nombreux autres projets libres. Nous sommes une entreprise agile et distribuée, nous sommes présent à Paris et à Montreal et ouvrons des bureaux cette année à San Francisco, Bangalore et Singapour. o Ce que nous recherchons: Nous cherchons actuellement des personnes de talents qui souhaiteraient rejoindre nos equipes de Production, d'Integration et de Developpement. Nous recherchons en particulier des Ingés Reseau, des SysAdmins, des DevOps, des Developpeurs et toute personne interessée par notre projet. En fonction de votre profil, de vos compétences et de vos envies, vous serez amenés à concevoir, integrer, deployer, maintenir et fournir du support sur nos infrastructures et celles de nos clients ainsi qu'a developper les nouveaux produits et services. o Compétences recherchées en reseau: /!\ Les compétences ne sont données qu'à titre indicatif pour donner une petite idée des sujets sur lesquels nous travaillons .. Architecture d'un LAN d'opérateur : BGP, OSPF, IPSEC, VLAN, MPLS, VPN, etc. Nouvelles techno de scaling L2 : TRILL, SPB, VXLAN, NVGRE, STT, QFabric, vPath, ... Implémentations SDN & OpenFlow : Midokura, Nicira, Contrails, ... Technologies classiques de Firewalling, Load-Balancing, Caching, CDN, ... o Experience / Diplomes / Salaire Nous valorisons surtout les compétences, l'experience et la motivation, les diplomes ont relativement peu d'importance. La fourchette de salaire est de 35K€ à +∞€ selon le profil, les compétences et l'experience Si vous êtes interessés, vous trouverez nos annonces sur notre site : http://www.enovance.com/en/about-us/careers Si vous êtes motivés par l'aventure et souhaitez nous rejoindre mais qu'aucune annonce ne vous correspond, n'hesitez pas à envoyer un mail à careers(a)enovance.com Merci et bonne journée Nicolas Marchal CTO & Co-Founder - eNovance

1 0

Intel i350 & Debian & Supermicro
by Benjamin Schilz 15 Jul '13

15 Jul '13

Bonjour à tous, Je bloque sur un problème (à la con) sur 2 serveurs supermicro équipés de cartes Intel I350-T4 (sur un riser avec une 3Ware 9750-4i). Les serveurs sont sur Debian Wheezy (3.2.0-4-amd64 / XEN). Impossible davoir de la connectivité sur les ports de cette carte (eth2->eth5). Les ports intégrés à la CM sont OK (eth0/eth1). Au boot les cartes sont détectés : Jul 12 15:41:44 lab kernel: [ 8.658321] igb 0000:01:00.0: eth0: (PCIe:2.5Gb/s:Width x4) 00:25:90:95:51:8a Jul 12 15:41:44 lab kernel: [ 8.658397] igb 0000:01:00.0: eth0: PBA No: FFFFFF-0FF Jul 12 15:41:44 lab kernel: [ 8.862312] igb 0000:01:00.1: eth1: (PCIe:2.5Gb/s:Width x4) 00:25:90:95:51:8b Jul 12 15:41:44 lab kernel: [ 8.862389] igb 0000:01:00.1: eth1: PBA No: FFFFFF-0FF Jul 12 15:41:44 lab kernel: [ 8.942355] igb 0000:05:00.0: eth2: (PCIe:5.0Gb/s:Width x4) a0:36:9f:1c:14:48 Jul 12 15:41:44 lab kernel: [ 8.942649] igb 0000:05:00.0: eth2: PBA No: G15139-002 Jul 12 15:41:44 lab kernel: [ 9.022383] igb 0000:05:00.1: eth3: (PCIe:5.0Gb/s:Width x4) a0:36:9f:1c:14:49 Jul 12 15:41:44 lab kernel: [ 9.022677] igb 0000:05:00.1: eth3: PBA No: G15139-002 Jul 12 15:41:44 lab kernel: [ 9.102409] igb 0000:05:00.2: eth4: (PCIe:5.0Gb/s:Width x4) a0:36:9f:1c:14:4a Jul 12 15:41:44 lab kernel: [ 9.102704] igb 0000:05:00.2: eth4: PBA No: G15139-002 Jul 12 15:41:44 lab kernel: [ 9.182428] igb 0000:05:00.3: eth5: (PCIe:5.0Gb/s:Width x4) a0:36:9f:1c:14:4b Jul 12 15:41:44 lab kernel: [ 9.182721] igb 0000:05:00.3: eth5: PBA No: G15139-002 Mais après rien : ADDRCONF(NETDEV_UP): eth2: link is not ready. Pas de detection du lien. Jai lu pas mal de trucs sur cette carte (plus au niveau duplicate mac), mais même en upgradant sur la dernière version du driver IGB dIntel (4.3.0) rien de mieux. Par hasard quelquun aurait une idée ? J Merci davance et bon week end à tous. Benjamin

4 6

Jump to page:

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

FRsAG