FRsAG

frsag@frsag.org

13 participants
2652 discussions

[Serveurs] Dell le relou - alternatives ?
by Benjamin BILLON 09 Oct '14

09 Oct '14

Helloz, Dell semble avoir une nouvelle politique de commercialisation et refuse désormais de nous vendre des serveurs. Il faut passer par un partenaire, mais notre compte est bloqué a cause d'une boite a qui on n'a rien demandé, ça nous casse les roustons et on n'aime pas trop bien quand on nous les casse, du coup on regarde la concurrence. Historiquement on a eu du Supermicro, et n'avons _jamais_ rien eu à leur reprocher d'un point de vue machines. Niveau achat et dispo par contre c'était assez relou aussi. On considère aussi HP et IBM. Et vous, comment faites-vous ? Qui sont vos intégrateurs / partenaires / revendeurs compétents et pas relous ? -- Benjamin

20 31

Jobs Hadoop dans Yarn
by Greg 06 Oct '14

06 Oct '14

Bonjour ! et joyeux lundi matin. J'ai fais quelques jobs Hadoop 2.5 que je lance avec la commande "yarn jar monjob.jar -mesparams" Pour l'instant ça tourne même dans une boucle "while true; do yarn jar ...; done" dans un screen ... et ça marche ! Je voudrais maintenant mettre en production ces jobs. Savez vous comment je peux les transformer en job Yarn, et comment configurer Yarn pour qu'il me lance ces jobs régulièrement ? Greg

1 0

Un webmail pour plusieurs serveurs imap
by Antoine Durant 05 Oct '14

05 Oct '14

Bonjour, J'ai plusieurs serveurs de messagerie sous linux, avec un webmail sur chaque serveur. Pour des questions de simplicités d'administration, j'ai enlevé tous les webmails des serveurs de messagerie, et monté un serveur spécialement pour le webmail. Sur le serveur webmail j'ai installé postfix tournant uniquement sur 127.0.0.1:25 afin de pouvoir faire l'envoi des mails rédigés depuis le webmail. Ma question est-ce que je dois mettre l'IP du serveur webmail dans les champs TXT-SPF des domaines qui utilisent le webmail ? Quel est la configuration recommandée dans le cas d'une centralisation du webmail sur une machine séparée afin d'utiliser plusieurs serveurs imap distants ? Merci.

4 4

Oracle & Swap
by Benoit Garcia 30 Sep '14

30 Sep '14

Bonjour, Je dévie un peu du sujet initial: 2014-09-29 16:37 GMT+02:00 nap <naparuba(a)gmail.com>: > > > 2014-09-29 16:15 GMT+02:00 <frsag(a)jack.fr.eu.org>: >> > +1. sur mes serveurs Oracle c'était 0 de swap (enfin si à l'install car > Oracel check, mais après hop on vire). Même avec swapiness à 0 le swap st > trop utilisé face au cache disque (or dans lecas d'une bdd on préfère que ce > soit la base qui gère ça, pas trop le système). Les précos d'Oracle sont de mettre entre 1,5Go et 16Go de swap, en fonction de la quantité de mémoire disponible (voir : http://docs.oracle.com/cd/E11882_01/install.112/e47689/pre_install.htm#LADB… En dehors de pouvoir récupérer un peu de disque, est-ce que ça vaut vraiment le coup? Et comment réagit le support Oracle en cas de problème? Pour la gestion de la mémoire, j'ai tendance à ne pas toucher au swapiness mais à configurer les huges pages et activer les paramètres pre_page_sga & lock_sga: Le premier permet à l'instance de réserver tout les segments mémoire de la SGA (correspondant à SGA_MAX) dès le démarrage. Le second que ces segments soient des segments de mémoire réelle (ie de la vraie RAM) et non de la mémoire virtuelle (qui elle peut partir en swap si le système le décide). Ca a par contre des effets de bords: - Les instances sont plus longues à démarrer (le temps d'allouer l'ensemble des segments mémoire) - Si on n'est pas carré au niveau des huges pages on peut justement se retrouver avec des Out of Memory error (si on essaie d'allouer plus de huge pages que la quantité disponible par exemple). -- Benoit

6 6

Re: [FRsAG] Swap or not swap ? (was: Out Of memory - linux ne libère pas le cache)
by Grégory Poudrel 30 Sep '14

30 Sep '14

Bonjour, pour un serveur: - Un peu de swap (500 Mo, 1 Go, voire plus selon le contexte) - vm.swappiness au minimum - Pour les processus critiques qui ne doivent pas être tués, ajuster la valeur de /proc/[pid]/oom_score_adj à 0 ou au plus proche de 0 Comme dit précédemment cela permet de garder un filet de sécurité, sans dégrader les performances en fonctionnement nominal, tout en évitant à oom de tuer n'importe quoi. -- Gregory Poudrel

2 2

Re: [FRsAG] Swap or not swap ? (was: Out Of memory - linux ne libère pas le cache)
by Aurélien 30 Sep '14

30 Sep '14

2014-09-29 17:03 GMT+02:00 Jean Weisbuch <jean(a)plusquenet.net>: > Désactiver complètement le swap est rarement une bonne idée, il est plus > prudent d'en laisser un peu avec le swapiness très bas (ou à 0). > > Bonjour, L'ayant en production et n'ayant jamais rencontré de problématique dans mes utilisations (principalement des bases de données et du caching HTTP), as-tu des exemples où, malgré une utilisation calibrée du serveur (calcul précis des utilisations des programmes installés, pas de multi-utilisateur, un seul jeu de services par serveur, etc), cela pose problème ? Sous quelle forme cela se manifeste-t'il ? Merci ! Cordialement, -- Aurélien Guillaume

9 10

Re: [FRsAG] Out Of memory - linux ne libère pas le cache.
by adrien nayrat 29 Sep '14

29 Sep '14

Le 29 septembre 2014 16:06, Aurélien <footplus(a)gmail.com> a écrit : > 2014-09-29 15:53 GMT+02:00 adrien nayrat <adrien.nayrat.axess(a)gmail.com>: >> >> >> La solution serait soit d'augmenter la RAM de la machine soit >> d'augmenter la swap même si elle ne sera jamais utilisée. >> On va revoir quelques check sur notre nagios! >> Merci pour vos retours > > > Mais pourquoi mettre du swap du coup, si tu ne l'utilise pas ? :) > Pour influer sur la du CommitLimit. En fait j'ai dis qu'elle ne sera jamais utilisée grâce à cette sur-allocation. La swap pourrait être utilisée si tous les process se mettaient à bouffer toute la mémoire qu'ils avaient demandé à l'allocation.

6 7

Re: [FRsAG] Out Of memory - linux ne libère pas le cache.
by adrien nayrat 29 Sep '14

29 Sep '14

Le 29 septembre 2014 15:26, <jean-yves(a)lenhof.eu.org> a écrit : > Le 2014-09-29 12:13, adrien nayrat a écrit : >> >> Bonjour, >> >> J'ai rencontré des erreurs Out Of memory sur un serveur de bdd, on >> avait ces messages d'erreurs à la création de process : >> Sep 29 10:42:26 hostname t of memory [13286] > > > > Je suppose qu'il faut lire "Out of memory" ici ? Oui mais c'est cette ligne qui apparait dans les logs. >> >> La machine possède 20Go de ram et en a utilisé la moitié pour le cache. > > > 32 bits ? 64 bits ? > OS ? Version ? > Version de kernel ? 64 Bits, Centos 6.5 kernel : 2.6.32-431.20.3.el6.x86_64 > > ulimit -a sur l'utilisateur qui fait tourner postgresql donne quoi ? core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 159701 max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimited open files (-n) 1048560 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 10240 cpu time (seconds, -t) unlimited max user processes (-u) 65535 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited > > Cdlt, > > JYL > Le 29 septembre 2014 15:12, Aurélien <footplus(a)gmail.com> a écrit : > > > Hello, > > Et sans swap du tout ? Je pense que si tu commences à mettre ta bdd dans le > swap, tu as un souci non ? > > Je sais qu'on a fini par dégager entièrement le swap de certaines machines > (sql, varnish, etc), et que ça tourne très bien. > > Cordialement, > -- > Aurélien Guillaume > Oui, en fait c'est un peu trompeur cette histoire de swap. Je pense avoir trouvé. Pour info, quand on fait un cat /proc/meminfo Il y a ces deux lignes : CommitLimit: 28887044 kB Committed_AS: 24921056 kB Elles indiquent la quantité de mémoire allouable (CommitLimit en gros : RAM + SWAP)[1] et la quantité allouée (Committed_AS) . Vu qu'on a interdit la sur-allocation (overcommit=2) Committed_AS ne peut être supérieur à CommitLimit.[2] Quand on fait un free -m, c'est assez trompeur, la commande indique la mémoire utilisée et non la mémoire allouée. Sur une même machine au même moment : free -m total used free shared buffers cached Mem: 24086 19908 4177 0 227 8021 -/+ buffers/cache: 11660 12426 Swap: 5327 0 5327 cat /proc/meminfo CommitLimit: 28887044 kB Committed_AS: 25343012 kB On pense avoir 12Go de libre alors qu'on a 28887044 -25343012 => 3Go de libre! La solution serait soit d'augmenter la RAM de la machine soit d'augmenter la swap même si elle ne sera jamais utilisée. On va revoir quelques check sur notre nagios! Merci pour vos retours [1] : http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/Documen… [2] : http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/Documen…

1 0

Out Of memory - linux ne libère pas le cache.
by adrien nayrat 29 Sep '14

29 Sep '14

Bonjour, J'ai rencontré des erreurs Out Of memory sur un serveur de bdd, on avait ces messages d'erreurs à la création de process : Sep 29 10:42:26 hostname t of memory [13286] La machine possède 20Go de ram et en a utilisé la moitié pour le cache. Petite subtilité, les paramètres mémoire ont été "tuné". Afin d'éviter la sur-allocation (et de risquer un kill de process par le OOM killer) : vm.swappiness = 10 vm.overcommit_memory = 2 vm.overcommit_ratio = 95 https://www.kernel.org/doc/Documentation/vm/overcommit-accounting Normalement la machine autorise l'allocation de 95% de la RAM + swap et ne commence à swapper qu'en dernier recours. Voici ce que donne free -m au moment des erreurs. free -m total used free shared buffers cached Mem: 19990 19797 192 0 133 9299 -/+ buffers/cache: 10363 9626 Swap: 5327 0 5327 Je suis surpris par le fait que linux n'a pas libéré la mémoire "cached" ni utilisé le swap? La ligne "-/+ buffers/cache:" indique pourtant qu'il y a plus de 9Go de disponible. Dans l'urgence on stoppé les erreurs en ajoutant de la ram à chaud (vmware). Any idea?

3 6

Machine Learning: retours d'expérience
by Greg 28 Sep '14

28 Sep '14

Bonjour, est-ce que parmi vous certains aurait expérimenté ou mis en place des architectures de machine learning ? Le domaine est assez vaste, et intéressant, et je pense qu'un retour d'expérience en environnement professionnel pourrait intéresser les membres de ce groupe. Attention, je ne suis pas à la recherche de tuto pour savoir comment installer Apache Storm, mais de vrais retours d'expériences: par où commencer, quelles erreurs éviter, dans quel cas utiliser tel ou tel techno, comment l'intégrer à une architecture existante ... Un grand merci d'avance aux contributeurs ;) Greg

2 3

Jump to page:

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

FRsAG