Performances IO différentes pour serveurs identiques
Bonjour, je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de réponses mais je tente ma chance :) J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3 mois d'intervalle. Les seules différences identifiées sont un processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU sur le serveur B. J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC ainsi que des disques durs, la configuration RAID (write back, no read ahead), reconstruction totale du RAID, la config système (j'ai même fais un clone), tenté le kernel 2.6.38, fais un diff de lshw... Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique : root@serveur_A# hdparm -tT /dev/sda8 /dev/sda8: Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec root@serveur_B# hdparm -tT /dev/sda8 /dev/sda8: Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec Je sollicite donc votre aide ! Merci, et bonne semaine ;) -- Greg
Bonjour Gregory, Peut être le port sur lequel est relié la carte RAID sur la carte mère ? Car si ce n'est pas le bon port (pci-X ou pci-express), cela peut limiter la bande passante du RAID. Tu pourrais aussi vérifier la configuration mémoire (placement des barettes sur les bons emplacements), cela peut jouer sur les performances aussi. Coté carte mère, c'est la même ? Bon courage. :) PS : tiens nous au courant si tu trouves, cela pourrait aider du monde je pense. David. Le 04/04/2011 08:45, Gregory Duchatelet a écrit :
Bonjour,
je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de réponses mais je tente ma chance :) J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3 mois d'intervalle. Les seules différences identifiées sont un processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU sur le serveur B.
J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC ainsi que des disques durs, la configuration RAID (write back, no read ahead), reconstruction totale du RAID, la config système (j'ai même fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
root@serveur_A# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec
root@serveur_B# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec
Je sollicite donc votre aide ! Merci, et bonne semaine ;)
Le 04/04/2011 09:01, David B. a écrit :
Peut être le port sur lequel est relié la carte RAID sur la carte mère ? Car si ce n'est pas le bon port (pci-X ou pci-express), cela peut limiter la bande passante du RAID.
D'après lspci -vvv c'est la même config : 02:0e.0 RAID bus controller: Dell PowerEdge Expandable RAID controller 5 Subsystem: Dell PERC 5/i Integrated RAID Controller Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV+ VGASnoop- ParErr+ Stepping+ SERR+ FastB2B- DisINTx- Status: Cap+ 66MHz+ UDF- FastB2B- ParErr- DEVSEL=medium
TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx- Latency: 32 (32000ns min), Cache Line Size: 64 bytes Interrupt: pin A routed to IRQ 78 Region 0: Memory at d80f0000 (32-bit, prefetchable) [size=64K] Region 2: Memory at fc5c0000 (32-bit, non-prefetchable) [size=128K] Expansion ROM at fc400000 [disabled] [size=32K] Capabilities: [c0] Power Management version 2 Flags: PMEClk- DSI- D1+ D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-) Status: D0 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME- Capabilities: [d0] MSI: Enable- Count=1/2 Maskable- 64bit+ Address: 0000000000000000 Data: 0000 Capabilities: [e0] PCI-X non-bridge device Command: DPERE- ERO- RBC=512 OST=4 Status: Dev=02:0e.0 64bit+ 133MHz+ SCD- USC- DC=bridge DMMRBC=1024 DMOST=4 DMCRS=16 RSCEM- 266MHz- 533MHz- Kernel driver in use: megaraid_sas
Le diff me donne une différence sur l'offset de la "region 2" de la mémoire, sur serveur B : Region 2: Memory at fc7c0000 (32-bit, non-prefetchable) [size=128K]
Tu pourrais aussi vérifier la configuration mémoire (placement des barettes sur les bons emplacements), cela peut jouer sur les performances aussi.
Tu parles de la mémoire RAID ou système ? Coté système, chez Dell si tu ne respectes pas leur préconisation tu as un message au niveau du BIOS.
Coté carte mère, c'est la même ?
Celle d'un PE2950, oui. A savoir que ces serveurs sont à 700km de mon bureau, je n'ai qu'un accès KVM (+pdu) ...
PS : tiens nous au courant si tu trouves, cela pourrait aider du monde je pense.
Je n'y manquerais pas ;) -- Greg
Bonjour, Qu'en est-il du cache des HDD ? Est-ce qu'en écriture la différence est aussi importante ? La mémoire vive est identique également ? Les Bdd sont-elles des clones ? Je suppose que B est un clone de A non ? Sinon, le simple fait que vos Bdd soient différentes peut entrainer des latences dans la lecture d'une base de données. Le 4 avril 2011 08:45, Gregory Duchatelet <greg-frsag@duchatelet.net> a écrit :
Bonjour,
je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de réponses mais je tente ma chance :) J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3 mois d'intervalle. Les seules différences identifiées sont un processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU sur le serveur B.
J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC ainsi que des disques durs, la configuration RAID (write back, no read ahead), reconstruction totale du RAID, la config système (j'ai même fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
root@serveur_A# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec
root@serveur_B# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec
Je sollicite donc votre aide ! Merci, et bonne semaine ;)
-- Greg
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Salut Greg, Est-ce que tu as eu l'occasion de tester une reconstruction après le remplacement d'un disque sur les deux serveurs, pour voir si les temps sont équivalents ? Ca te permettrait d'éliminer un problème de contrôleur RAID ou de disque. Bonne journée. Benjamin Le 4 avril 2011 09:01, Benjamin AVET <benjamin.avet@gmail.com> a écrit :
Bonjour,
Qu'en est-il du cache des HDD ? Est-ce qu'en écriture la différence est aussi importante ?
La mémoire vive est identique également ?
Les Bdd sont-elles des clones ? Je suppose que B est un clone de A non ? Sinon, le simple fait que vos Bdd soient différentes peut entrainer des latences dans la lecture d'une base de données.
Le 4 avril 2011 08:45, Gregory Duchatelet <greg-frsag@duchatelet.net> a écrit :
Bonjour,
je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de réponses mais je tente ma chance :) J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3 mois d'intervalle. Les seules différences identifiées sont un processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU sur le serveur B.
J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC ainsi que des disques durs, la configuration RAID (write back, no read ahead), reconstruction totale du RAID, la config système (j'ai même fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
root@serveur_A# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec
root@serveur_B# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec
Je sollicite donc votre aide ! Merci, et bonne semaine ;)
-- Greg
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
bonjour Si tes serveurs sont disponibles ( pas en prod ) et si c'est presque les mêmes , inverse les sous système disques+ raid et vois si tu as le même résultat. si c'est le cas, c'est pas un pb de serveur mais bien d'un des couples disques+carte raid puis tu recommences en inversant carte raid uniquement puis l'ensemble disques a la fin des tests tu aura les fautifs soit serveur carte raid ensemble de disques ...cables... bye Hugues Le 04/04/2011 09:08, Benjamin MALYNOVYTCH a écrit :
Salut Greg,
Est-ce que tu as eu l'occasion de tester une reconstruction après le remplacement d'un disque sur les deux serveurs, pour voir si les temps sont équivalents ? Ca te permettrait d'éliminer un problème de contrôleur RAID ou de disque.
Bonne journée. Benjamin
Le 4 avril 2011 09:01, Benjamin AVET <benjamin.avet@gmail.com <mailto:benjamin.avet@gmail.com>> a écrit :
Bonjour,
Qu'en est-il du cache des HDD ? Est-ce qu'en écriture la différence est aussi importante ?
La mémoire vive est identique également ?
Les Bdd sont-elles des clones ? Je suppose que B est un clone de A non ? Sinon, le simple fait que vos Bdd soient différentes peut entrainer des latences dans la lecture d'une base de données.
Le 4 avril 2011 08:45, Gregory Duchatelet <greg-frsag@duchatelet.net <mailto:greg-frsag@duchatelet.net>> a écrit :
Bonjour,
je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de réponses mais je tente ma chance :) J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3 mois d'intervalle. Les seules différences identifiées sont un processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU sur le serveur B.
J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC ainsi que des disques durs, la configuration RAID (write back, no read ahead), reconstruction totale du RAID, la config système (j'ai même fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
root@serveur_A# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec
root@serveur_B# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec
Je sollicite donc votre aide ! Merci, et bonne semaine ;)
-- Greg
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Le 04/04/2011 09:01, Benjamin AVET a écrit :
Bonjour,
Qu'en est-il du cache des HDD ? Est-ce qu'en écriture la différence est aussi importante ?
La mémoire vive est identique également ?
oui
Les Bdd sont-elles des clones ? Je suppose que B est un clone de A non ? Sinon, le simple fait que vos Bdd soient différentes peut entrainer des latences dans la lecture d'une base de données.
j'ai fais des clones aussi pour exclure ce point. Vous m'avez donné une idée: j'ai comparé les perfs en O_DIRECT, et cette fois elles sont comparable : root@serveur_B:~# hdparm --direct -tT /dev/sda /dev/sda: Timing O_DIRECT cached reads: 1216 MB in 2.00 seconds = 607.64 MB/sec Timing O_DIRECT disk reads: 642 MB in 3.00 seconds = 213.83 MB/sec root@serveur_B:~# hdparm -tT /dev/sda /dev/sda: Timing cached reads: 508 MB in 2.00 seconds = 253.38 MB/sec Timing buffered disk reads: 218 MB in 3.01 seconds = 72.33 MB/sec root@serveur_A:~# hdparm --direct -tT /dev/sda /dev/sda: Timing O_DIRECT cached reads: 1430 MB in 2.00 seconds = 714.50 MB/sec Timing O_DIRECT disk reads: 732 MB in 3.01 seconds = 243.32 MB/sec root@serveur_A:~# hdparm -tT /dev/sda /dev/sda: Timing cached reads: 9694 MB in 2.00 seconds = 4852.05 MB/sec Timing buffered disk reads: 762 MB in 3.00 seconds = 253.60 MB/sec -- Greg
Le 04/04/2011 09:26, Gregory Duchatelet a écrit :
[...] j'ai fais des clones aussi pour exclure ce point.
Vous m'avez donné une idée: j'ai comparé les perfs en O_DIRECT, et cette fois elles sont comparable :
[...] Question surement triviale, mais tu n'a pas la batterie d'une carte RAID qui est en cours de chargement ou d'analyse ? Openmanage pourra te renseigner la dessus. Car si c'est identique en O_DIRECT, cela doit venir de la carte RAID ou de la batterie de celle-ci... Bon courage. :) David.
Le 04/04/2011 09:43, David B. a écrit :
Question surement triviale, mais tu n'a pas la batterie d'une carte RAID qui est en cours de chargement ou d'analyse ? Openmanage pourra te renseigner la dessus.
Je ne pense pas, les 2 serveurs sont dans le même état : root@serveur_B:~# omreport storage battery List of Batteries in the System Controller PERC 5/i Integrated (Slot Embedded) ID : 0 Status : Ok Name : Battery 0 State : Ready Recharge Count : Not Applicable Max Recharge Count : Not Applicable Predicted Capacity Status : Ready Learn State : Idle Next Learn Time : 86 days 4 hours Maximum Learn Delay : 7 days 0 hours -- Greg
Quelle est l'architecture réseau ? Y a-t-il un répartiteur de charge en amont des serveurs ? Je demande cela car il semblerait qu'un de vos serveurs soit probablement plus sollicité que l'autre. Les différences O_DIRECT sont moindres mais reste quand même significatives à mon goût ! Les performances sont encore différentes du premier jeu de données que vous nous avez fourni, ce qui semble indiqué une modification dans l'environnement du problème ... Le 4 avril 2011 10:13, Gregory Duchatelet <greg-frsag@duchatelet.net> a écrit :
Le 04/04/2011 09:43, David B. a écrit :
Question surement triviale, mais tu n'a pas la batterie d'une carte RAID
qui est en cours de chargement ou d'analyse ? Openmanage pourra te renseigner la dessus.
Je ne pense pas, les 2 serveurs sont dans le même état :
root@serveur_B:~# omreport storage battery List of Batteries in the System
Controller PERC 5/i Integrated (Slot Embedded) ID : 0 Status : Ok Name : Battery 0 State : Ready Recharge Count : Not Applicable Max Recharge Count : Not Applicable Predicted Capacity Status : Ready Learn State : Idle Next Learn Time : 86 days 4 hours Maximum Learn Delay : 7 days 0 hours
-- Greg
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Le 04/04/2011 11:15, Benjamin AVET a écrit :
Quelle est l'architecture réseau ? Y a-t-il un répartiteur de charge en amont des serveurs ? Je demande cela car il semblerait qu'un de vos serveurs soit probablement plus sollicité que l'autre. Les différences O_DIRECT sont moindres mais reste quand même significatives à mon goût !
Ces 2 serveurs ne sont pas en prod, et je ne passe pas par le réseau pour ces tests.
Les performances sont encore différentes du premier jeu de données que vous nous avez fourni, ce qui semble indiqué une modification dans l'environnement du problème ...
C'est vrai, j'ai réinstallé le serveur_B en 32 bits pour pouvoir notamment mettre à jour les firmwares des disques durs ... Donc ce serveur est fraichement installé, il n'y a rien d'autre que l'OS, ssh, et les outils Dell OMSA. -- Greg
Peut être une mise à jour du firmware de la carte RAID ou des patch de votre OS améliorant l'accès disque manquent-ils ? Le 4 avril 2011 11:26, Gregory Duchatelet <greg-frsag@duchatelet.net> a écrit :
Le 04/04/2011 11:15, Benjamin AVET a écrit :
Quelle est l'architecture réseau ? Y a-t-il un répartiteur de charge en
amont des serveurs ? Je demande cela car il semblerait qu'un de vos serveurs soit probablement plus sollicité que l'autre. Les différences O_DIRECT sont moindres mais reste quand même significatives à mon goût !
Ces 2 serveurs ne sont pas en prod, et je ne passe pas par le réseau pour ces tests.
Les performances sont encore différentes du premier jeu de données que
vous nous avez fourni, ce qui semble indiqué une modification dans l'environnement du problème ...
C'est vrai, j'ai réinstallé le serveur_B en 32 bits pour pouvoir notamment mettre à jour les firmwares des disques durs ... Donc ce serveur est fraichement installé, il n'y a rien d'autre que l'OS, ssh, et les outils Dell OMSA.
-- Greg
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Salut, Et en swappant carte raid et disque, qui deviens lent ? :) 2011/4/4 Gregory Duchatelet <greg-frsag@duchatelet.net>
Le 04/04/2011 11:37, Benjamin AVET a écrit :
Peut être une mise à jour du firmware de la carte RAID ou des patch de
votre OS améliorant l'accès disque manquent-ils ?
Déjà fait, pas ça ! :-/
-- Greg
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
'jour. ----- Mail original -----
J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3 mois d'intervalle. Les seules différences identifiées sont un processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345 @2,33GHz sur le serveur B
Il n'y aurait pas un 2950-II et un 2950-III ? Donc un bus différent (vitesse). Sur la face avant, en haut à gauche, au dessus des "thumbscrews"... Il devrait y avoir un cercle avec II ou III dedans. David
Salut, Clairement y a un souci en raid10 sur le serveur B tu ne devrais pas être aussi lent. Voilà les différences matériel qui peuvent jouer à mon avis hors problème technique : - le Xeon E5410 a 12MB de cache L2 alors que le E5345 n'en a que 8. - les modèles des disques durs ont il les mêmes caches tampon Après niveau panne possible, l'état d'usure des disques? Si dans la grappe du B des secteurs sont ignorés par la carte raid pour cause de dysfonctionnement ça n'aide pas niveau perf. La batterie de la carte peut être aussi une piste de recherche mais si tu n'as pas d'alarme ... Pour écarter la carte raid et les disques, essaye d'installer un os sans raid hard et test les disques un par un. Ca permettra de voir si ils sont cohérent entre eux ou si un ou plusieurs posent problèmes. ++ -- Pierre-Henry Muller
Salut,
- le Xeon E5410 a 12MB de cache L2 alors que le E5345 n'en a que 8.
Je ne pense pas que ça joue sur les IO.
- les modèles des disques durs ont il les mêmes caches tampon
Ils ont tous les 12 16MB de cache.
Après niveau panne possible, l'état d'usure des disques? Si dans la grappe du B des secteurs sont ignorés par la carte raid pour cause de dysfonctionnement ça n'aide pas niveau perf.
Je devrais le voir dans les status/infos de la carte RAID non ?
La batterie de la carte peut être aussi une piste de recherche mais si tu n'as pas d'alarme ...
Pour écarter la carte raid et les disques, essaye d'installer un os sans raid hard et test les disques un par un. Ca permettra de voir si ils sont cohérent entre eux ou si un ou plusieurs posent problèmes.
Bien vu, je vais tester ça ;) -- Greg
Le 4 avr. 2011 à 11:50, Gregory Duchatelet a écrit :
Salut,
- le Xeon E5410 a 12MB de cache L2 alors que le E5345 n'en a que 8.
Je ne pense pas que ça joue sur les IO.
- les modèles des disques durs ont il les mêmes caches tampon
Ils ont tous les 12 16MB de cache.
Après niveau panne possible, l'état d'usure des disques? Si dans la grappe du B des secteurs sont ignorés par la carte raid pour cause de dysfonctionnement ça n'aide pas niveau perf.
Je devrais le voir dans les status/infos de la carte RAID non ?
Hum je ne me rappel plus des infos que l'on peut avoir sur les cartes Dell, à chercher.
La batterie de la carte peut être aussi une piste de recherche mais si tu n'as pas d'alarme ...
Pour écarter la carte raid et les disques, essaye d'installer un os sans raid hard et test les disques un par un. Ca permettra de voir si ils sont cohérent entre eux ou si un ou plusieurs posent problèmes.
Bien vu, je vais tester ça ;)
-- Pierre-Henry Muller
Hum je ne me rappel plus des infos que l'on peut avoir sur les cartes Dell, à chercher.
On peut via les outils OM ou en installant la suite MegaCLI de LSI. http://www.lsi.com/storage_home/products_home/internal_raid/megaraid_sas/meg... David.
On a eu l'année dernière des problèmes avec les cartes DELL, on sortait au débit d'un disque dur en écriture, le cache avait disparu : solution envisagée après plusieurs jours de tuning : replacement des cartes RAID ... ( 4 cartes RAID neuves sur les 4 serveurs ... ) Le 04/04/11 13:08, David Touitou a écrit :
Hum je ne me rappel plus des infos que l'on peut avoir sur les cartes Dell, à chercher. On peut via les outils OM ou en installant la suite MegaCLI de LSI. http://www.lsi.com/storage_home/products_home/internal_raid/megaraid_sas/meg...
David. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- RIGARD Lilian - Devclic SARL Gérant - CEO& CTO Téléphone (Standard) / Phone : +33 3 57 75 61 46 Portable / Cell Phone : +33 6 29 59 21 34 E-mail : lilian@devclic.fr Web : http://www.devclic.fr
Le 04/04/2011 13:16, Lilian - Devclic a écrit :
On a eu l'année dernière des problèmes avec les cartes DELL, on sortait au débit d'un disque dur en écriture, le cache avait disparu : solution envisagée après plusieurs jours de tuning : replacement des cartes RAID ... ( 4 cartes RAID neuves sur les 4 serveurs ... )
Et comment en êtes vous arrivez à cette conclusion ? Est-ce que vous avez des indicateurs pertinents de omreport ou megacli ? -- Greg
Tout simplement parce que tout d'un coup, sur 4 serveur : le même phénomène alors que nous n'avions rien touché ... 30 Mo / s en écriture sur du RAID 1 ou RAID 5, y a de quoi se poser des questions ... Le 04/04/11 14:27, Gregory Duchatelet a écrit :
Le 04/04/2011 13:16, Lilian - Devclic a écrit :
On a eu l'année dernière des problèmes avec les cartes DELL, on sortait au débit d'un disque dur en écriture, le cache avait disparu : solution envisagée après plusieurs jours de tuning : replacement des cartes RAID ... ( 4 cartes RAID neuves sur les 4 serveurs ... )
Et comment en êtes vous arrivez à cette conclusion ? Est-ce que vous avez des indicateurs pertinents de omreport ou megacli ?
-- RIGARD Lilian - Devclic SARL Gérant - CEO& CTO Téléphone (Standard) / Phone : +33 3 57 75 61 46 Portable / Cell Phone : +33 6 29 59 21 34 E-mail : lilian@devclic.fr Web : http://www.devclic.fr
Le 04/04/2011 14:42, Lilian - Devclic a écrit :
Tout simplement parce que tout d'un coup, sur 4 serveur : le même phénomène alors que nous n'avions rien touché ...
Ca me parait un peu léger comme explication ! C'est une explication provenant de Dell directement ? Parce que je crois que je vais passer beaucoup de temps avec le support pour en arriver avec cette conclusion, et qu'ils me changent la carte PERC sous garantie ... -- Greg
Non ... mais je vais pas tout refaire :) car c'est une histoire qui a pris du temps de notre côté pour les diagnostiques et on était en prod. Le changement des 4 cartes PERC n'a plus du tout posé de problème depuis, avant constamment on avait un FS qui plantait très facilement ( pour ça que l'on a acheté un SAN aussi ... ) Tu appelles DELL et tu exiges de changer les cartes, ils vont te passer un CD et le CD va leur donner un résultat qui sera le même que le nôtre à savoir : change les 4 cartes Le 04/04/11 15:27, Gregory Duchatelet a écrit :
Le 04/04/2011 14:42, Lilian - Devclic a écrit :
Tout simplement parce que tout d'un coup, sur 4 serveur : le même phénomène alors que nous n'avions rien touché ...
Ca me parait un peu léger comme explication ! C'est une explication provenant de Dell directement ? Parce que je crois que je vais passer beaucoup de temps avec le support pour en arriver avec cette conclusion, et qu'ils me changent la carte PERC sous garantie ...
-- RIGARD Lilian - Devclic SARL Gérant - CEO& CTO Téléphone (Standard) / Phone : +33 3 57 75 61 46 Portable / Cell Phone : +33 6 29 59 21 34 E-mail : lilian@devclic.fr Web : http://www.devclic.fr
Bonjour, Le 04/04/2011 15:37, Lilian - Devclic a écrit :
Non ... mais je vais pas tout refaire :) car c'est une histoire qui a pris du temps de notre côté pour les diagnostiques et on était en prod.
Le changement des 4 cartes PERC n'a plus du tout posé de problème depuis, avant constamment on avait un FS qui plantait très facilement ( pour ça que l'on a acheté un SAN aussi ... )
J'ai procédé au changement de la carte PERC, bon point je n'ai pas perdu le RAID10 et n'ait pas eu besoin de réinstaller. Par contre les perfs sont toujours moisies .... Il faut que je fasse une mise à jour du firmware des disques durs Fujitsu (ils sont en D406, il existe une mise à jour facultative D407), et si c'est toujours pas bon je tenterais une inversion de disques avec l'autre serveur. -- Greg
Faut aussi voir sur la BBU ... Par contre, oui les firmwares peuvent effectivement poser problème. Le 07/04/11 16:47, Gregory Duchatelet a écrit :
Bonjour,
Le 04/04/2011 15:37, Lilian - Devclic a écrit :
Non ... mais je vais pas tout refaire :) car c'est une histoire qui a pris du temps de notre côté pour les diagnostiques et on était en prod.
Le changement des 4 cartes PERC n'a plus du tout posé de problème depuis, avant constamment on avait un FS qui plantait très facilement ( pour ça que l'on a acheté un SAN aussi ... )
J'ai procédé au changement de la carte PERC, bon point je n'ai pas perdu le RAID10 et n'ait pas eu besoin de réinstaller. Par contre les perfs sont toujours moisies ....
Il faut que je fasse une mise à jour du firmware des disques durs Fujitsu (ils sont en D406, il existe une mise à jour facultative D407), et si c'est toujours pas bon je tenterais une inversion de disques avec l'autre serveur.
-- RIGARD Lilian - Devclic SARL Gérant - CEO& CTO Téléphone (Standard) / Phone : +33 3 57 75 61 46 Portable / Cell Phone : +33 6 29 59 21 34 E-mail : lilian@devclic.fr Web : http://www.devclic.fr
Le 7 avr. 2011 à 16:47, Gregory Duchatelet a écrit :
Bonjour,
J'ai procédé au changement de la carte PERC, bon point je n'ai pas perdu le RAID10 et n'ait pas eu besoin de réinstaller. Par contre les perfs sont toujours moisies ....
Il faut que je fasse une mise à jour du firmware des disques durs Fujitsu (ils sont en D406, il existe une mise à jour facultative D407), et si c'est toujours pas bon je tenterais une inversion de disques avec l'autre serveur.
Tente de faire sans raid aussi tu seras fixé pour les disques. -- Pierre-Henry Muller
Hello, ayant eu le même problème ce matin sur une carte MegaRAID également, j'ai du mal à croire à la coïncidence. Chez moi une des cartes était passé en mode "vérification", et le "Resynch rate" était étrangement configurée à 95% au lieu de 30% sur les autres serveurs. Pour voir ça, j'ai utilisé : megacli -LDinfo -Lall -aAll Ainsi que : megacli -AdpGetProp BgiRate -aAll Olivier Le 04/04/2011 08:45, Gregory Duchatelet a écrit :
Bonjour,
je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de réponses mais je tente ma chance :) J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3 mois d'intervalle. Les seules différences identifiées sont un processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU sur le serveur B.
J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC ainsi que des disques durs, la configuration RAID (write back, no read ahead), reconstruction totale du RAID, la config système (j'ai même fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
root@serveur_A# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec
root@serveur_B# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec
Je sollicite donc votre aide ! Merci, et bonne semaine ;)
Coté Dell. Tu as omreport en CLI qui est livré avec openmanage. Il pourra te donner des informations. Par exemple : omreport storage vdisk ou omreport storage pdisk controller=0 Le 04/04/2011 13:17, Olivier Bonvalet a écrit :
Hello,
ayant eu le même problème ce matin sur une carte MegaRAID également, j'ai du mal à croire à la coïncidence. Chez moi une des cartes était passé en mode "vérification", et le "Resynch rate" était étrangement configurée à 95% au lieu de 30% sur les autres serveurs.
Pour voir ça, j'ai utilisé : megacli -LDinfo -Lall -aAll
Ainsi que : megacli -AdpGetProp BgiRate -aAll
Olivier
MegaCLI n'affiche rien, même sur le serveur A : root@serveur_A:~/opt/MegaRAID/MegaCli# ./MegaCli64 -LDinfo -Lall -aAll root@serveur_A:~/opt/MegaRAID/MegaCli# ./MegaCli64 -AdpGetProp BgiRate -aAll root@serveur_A:~/opt/MegaRAID/MegaCli# Par contre avec omreport j'ai des infos, mais encore une fois: ce sont les mêmes sur les 2 serveurs. De plus, j'ai tout pété et refait un RAID10 from scratch. Le 04/04/2011 13:55, David B. a écrit :
Coté Dell. Tu as omreport en CLI qui est livré avec openmanage. Il pourra te donner des informations.
Par exemple : omreport storage vdisk ou omreport storage pdisk controller=0
Le 04/04/2011 13:17, Olivier Bonvalet a écrit :
Hello,
ayant eu le même problème ce matin sur une carte MegaRAID également, j'ai du mal à croire à la coïncidence. Chez moi une des cartes était passé en mode "vérification", et le "Resynch rate" était étrangement configurée à 95% au lieu de 30% sur les autres serveurs.
Pour voir ça, j'ai utilisé : megacli -LDinfo -Lall -aAll
-- Greg
----- Mail original -----
MegaCLI n'affiche rien, même sur le serveur A :
Euh... Tu es sûr que ce sont des PERC 5i ? [root@unserveur ~]# /opt/MegaRAID/MegaCli/MegaCli -AdpGetProp BgiRate -aAll Adapter 0: BGI Rate = 30% Exit Code: 0x00 [root@unserveur ~]# /opt/MegaRAID/MegaCli/MegaCli -LDinfo -Lall -aAll Adapter 0 -- Virtual Drive Information: Virtual Disk: 0 (Target Id: 0) Name:raid10 RAID Level: Primary-1, Secondary-3, RAID Level Qualifier-0 Size:4.091 TB State: Optimal Stripe Size: 64 KB Number Of Drives per span:2 Span Depth:3 Default Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU Current Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU Access Policy: Read/Write Disk Cache Policy: Disk's Default Encryption Type: None Exit Code: 0x00
Le 04/04/2011 14:35, David Touitou a écrit :
Euh... Tu es sûr que ce sont des PERC 5i ?
Etrange n'est-ce pas ? Et pourtant : root@serveur_A:~/opt/MegaRAID/MegaCli# omreport storage controller Controller PERC 5/i Integrated (Embedded) Controllers ID : 0 Status : Ok Name : PERC 5/i Integrated Slot ID : Embedded State : Ready Firmware Version : 5.2.2-0072 Minimum Required Firmware Version : Not Applicable Driver Version : 00.00.05.29-rc1 Minimum Required Driver Version : Not Applicable Number of Connectors : 2 Rebuild Rate : 30% BGI Rate : 30% Check Consistency Rate : 30% Reconstruct Rate : 30% Alarm State : Not Applicable Cluster Mode : Not Applicable SCSI Initiator ID : Not Applicable Cache Memory Size : 256 MB Patrol Read Mode : Auto Patrol Read State : Stopped Patrol Read Rate : 30% Patrol Read Iterations : 156 Abort check consistency on error : Not Applicable Allow Revertible Hot Spare and Replace Member : Not Applicable Auto replace member on predictive failure : Not Applicable Load balance : Not Applicable -- Greg
On n'a pas tout à fait les même versions de firmware 8))) # /opt/MegaRAID/MegaCli/MegaCli -AdpAllInfo -aAll Adapter #0 ============================================================================== Versions ================ Product Name : PERC 5/i Integrated Serial No : 12345 FW Package Build: 5.1.1-0040 Mfg. Data ================ Mfg. Date : 00/00/00 Rework Date : 00/00/00 Revision No : @ ôA Battery FRU : N/A Image Versions in Flash: ================ Boot Block Version : R.2.3.12 BIOS Version : MT28 MPT Version : MPTFW-00.10.47.00-IT FW Version : 1.03.10-0216 WebBIOS Version : 1.03-04 Ctrl-R Version : 1.04-017A
Bonjour, Avez vous utiliser des tests de type iozone ou bonnie pour verifier qu'effectivement les RAID ont des comportements distincts ? Au dela de qq centaines de Mo/s sur du pur sequentiel vous testez plus les limites de votre bus que celle d'un RAID, non ? Et si vous avez des entrees/sorties (IO/s) en pagaille qui debordent des buffer cache, memoire RAID et consort faut rarement esperer + de qq Mo/s avec autre chose que de l'agregat (RAID (1-6)0). Cordialement, Sylvain MAURIN
/dev/sda8: Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec
-- ************************************************** * Sylvain MAURIN - ASR - CNRS * Institut des Sciences Cognitives * 67, boulevard Pinel 69675 BRON cedex * Tel: +33 437911214 Cel: +33 612399929 * Mail: sylvain.maurin@isc.cnrs.fr **************************************************
Bonsoir, Au risque de dire une connerie, quelle est la conf de la carte réseau ? J'explique: j'ai pu constater une différence importante du débit disque entre 2 machines identiques *juste* parce que l'une des deux n'avait pas le TSO d'activé. Résultat: elle pédalait dans la semoule joyeusement :-/ Au cas où, JB On 04/04/2011 08:45, Gregory Duchatelet wrote:
Bonjour,
je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de réponses mais je tente ma chance :) J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3 mois d'intervalle. Les seules différences identifiées sont un processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU sur le serveur B.
J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC ainsi que des disques durs, la configuration RAID (write back, no read ahead), reconstruction totale du RAID, la config système (j'ai même fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
root@serveur_A# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec
root@serveur_B# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec
Je sollicite donc votre aide ! Merci, et bonne semaine ;)
Au risque de faire le boulet,quelqu'un aurait une documentation claire sur Bonnie++,voir même des avis sur ce type de tests? Le 4 avr. 2011 à 23:41, Jean Baptiste FAVRE <fr-sag@jbfavre.org> a écrit :
Bonsoir, Au risque de dire une connerie, quelle est la conf de la carte réseau ?
J'explique: j'ai pu constater une différence importante du débit disque entre 2 machines identiques *juste* parce que l'une des deux n'avait pas le TSO d'activé. Résultat: elle pédalait dans la semoule joyeusement :-/
Au cas où, JB
On 04/04/2011 08:45, Gregory Duchatelet wrote:
Bonjour,
je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de réponses mais je tente ma chance :) J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3 mois d'intervalle. Les seules différences identifiées sont un processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU sur le serveur B.
J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC ainsi que des disques durs, la configuration RAID (write back, no read ahead), reconstruction totale du RAID, la config système (j'ai même fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
root@serveur_A# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec
root@serveur_B# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec
Je sollicite donc votre aide ! Merci, et bonne semaine ;)
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
La carte réseau limiterait le débit en lecture sur les disques ? même en test local ? Le 4 avril 2011 23:41, Jean Baptiste FAVRE <fr-sag@jbfavre.org> a écrit :
Bonsoir, Au risque de dire une connerie, quelle est la conf de la carte réseau ?
J'explique: j'ai pu constater une différence importante du débit disque entre 2 machines identiques *juste* parce que l'une des deux n'avait pas le TSO d'activé. Résultat: elle pédalait dans la semoule joyeusement :-/
Au cas où, JB
On 04/04/2011 08:45, Gregory Duchatelet wrote:
Bonjour,
je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de réponses mais je tente ma chance :) J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3 mois d'intervalle. Les seules différences identifiées sont un processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU sur le serveur B.
J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC ainsi que des disques durs, la configuration RAID (write back, no read ahead), reconstruction totale du RAID, la config système (j'ai même fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
root@serveur_A# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec
root@serveur_B# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec
Je sollicite donc votre aide ! Merci, et bonne semaine ;)
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Indirectement oui, en augmentant l'IO/Wait JB Le 05/04/11 08:44, Benjamin AVET a écrit :
La carte réseau limiterait le débit en lecture sur les disques ? même en test local ?
Le 4 avril 2011 23:41, Jean Baptiste FAVRE <fr-sag@jbfavre.org <mailto:fr-sag@jbfavre.org>> a écrit :
Bonsoir, Au risque de dire une connerie, quelle est la conf de la carte réseau ?
J'explique: j'ai pu constater une différence importante du débit disque entre 2 machines identiques *juste* parce que l'une des deux n'avait pas le TSO d'activé. Résultat: elle pédalait dans la semoule joyeusement :-/
Au cas où, JB
On 04/04/2011 08:45, Gregory Duchatelet wrote: > Bonjour, > > je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de > réponses mais je tente ma chance :) > J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS > @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à > 3 mois d'intervalle. Les seules différences identifiées sont un > processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et > un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente > malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et > des FUJITSU sur le serveur B. > > J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte > PERC ainsi que des disques durs, la configuration RAID (write back, no > read ahead), reconstruction totale du RAID, la config système (j'ai même > fais un clone), tenté le kernel 2.6.38, fais un diff de lshw... > > Je n'explique pas cette différence de perfs, qui se vérifie sur un > VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique : > > root@serveur_A# hdparm -tT /dev/sda8 > > /dev/sda8: > Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec > Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec > > > root@serveur_B# hdparm -tT /dev/sda8 > > /dev/sda8: > Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec > Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec > > > Je sollicite donc votre aide ! > Merci, et bonne semaine ;) >
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
J'ai fais le test sans réseau (ifdown) => les résultats sont identiques. J'ai commandé une carte PERC de remplacement, je vous tiendrais au courant. Greg Le 05/04/2011 14:30, Jean Baptiste Favre a écrit :
Indirectement oui, en augmentant l'IO/Wait
JB
Le 05/04/11 08:44, Benjamin AVET a écrit :
La carte réseau limiterait le débit en lecture sur les disques ? même en test local ?
Le 4 avril 2011 23:41, Jean Baptiste FAVRE <fr-sag@jbfavre.org <mailto:fr-sag@jbfavre.org>> a écrit :
Bonsoir, Au risque de dire une connerie, quelle est la conf de la carte réseau ?
J'explique: j'ai pu constater une différence importante du débit disque entre 2 machines identiques *juste* parce que l'une des deux n'avait pas le TSO d'activé. Résultat: elle pédalait dans la semoule joyeusement :-/
Au cas où, JB
On 04/04/2011 08:45, Gregory Duchatelet wrote: > Bonjour, > > je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de > réponses mais je tente ma chance :) > J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS > @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à > 3 mois d'intervalle. Les seules différences identifiées sont un > processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et > un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente > malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et > des FUJITSU sur le serveur B. > > J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte > PERC ainsi que des disques durs, la configuration RAID (write back, no > read ahead), reconstruction totale du RAID, la config système (j'ai même > fais un clone), tenté le kernel 2.6.38, fais un diff de lshw... > > Je n'explique pas cette différence de perfs, qui se vérifie sur un > VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique : > > root@serveur_A# hdparm -tT /dev/sda8 > > /dev/sda8: > Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec > Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec > > > root@serveur_B# hdparm -tT /dev/sda8 > > /dev/sda8: > Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec > Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec > > > Je sollicite donc votre aide ! > Merci, et bonne semaine ;) >
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Just for fun, que donne la commande: ethtool -k eth0 ? Existe-t-il une possibilité que ifdown n'empêche pas les IRQ (là, je sais pas, c'est donc une question ouverte) ? JB On 05/04/2011 15:13, Gregory Duchatelet wrote:
J'ai fais le test sans réseau (ifdown) => les résultats sont identiques.
J'ai commandé une carte PERC de remplacement, je vous tiendrais au courant.
Greg
Le 05/04/2011 14:30, Jean Baptiste Favre a écrit :
Indirectement oui, en augmentant l'IO/Wait
JB
Le 05/04/11 08:44, Benjamin AVET a écrit :
La carte réseau limiterait le débit en lecture sur les disques ? même en test local ?
Le 4 avril 2011 23:41, Jean Baptiste FAVRE <fr-sag@jbfavre.org <mailto:fr-sag@jbfavre.org>> a écrit :
Bonsoir, Au risque de dire une connerie, quelle est la conf de la carte réseau ?
J'explique: j'ai pu constater une différence importante du débit disque entre 2 machines identiques *juste* parce que l'une des deux n'avait pas le TSO d'activé. Résultat: elle pédalait dans la semoule joyeusement :-/
Au cas où, JB
On 04/04/2011 08:45, Gregory Duchatelet wrote: > Bonjour, > > je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de > réponses mais je tente ma chance :) > J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS > @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à > 3 mois d'intervalle. Les seules différences identifiées sont un > processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et > un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente > malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et > des FUJITSU sur le serveur B. > > J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte > PERC ainsi que des disques durs, la configuration RAID (write back, no > read ahead), reconstruction totale du RAID, la config système (j'ai même > fais un clone), tenté le kernel 2.6.38, fais un diff de lshw... > > Je n'explique pas cette différence de perfs, qui se vérifie sur un > VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique : > > root@serveur_A# hdparm -tT /dev/sda8 > > /dev/sda8: > Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec > Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec > > > root@serveur_B# hdparm -tT /dev/sda8 > > /dev/sda8: > Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec > Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec > > > Je sollicite donc votre aide ! > Merci, et bonne semaine ;) >
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Tu penses que ça impacterait les performances sur un test local? Le 4 avr. 2011 à 23:41, Jean Baptiste FAVRE a écrit :
Bonsoir, Au risque de dire une connerie, quelle est la conf de la carte réseau ?
J'explique: j'ai pu constater une différence importante du débit disque entre 2 machines identiques *juste* parce que l'une des deux n'avait pas le TSO d'activé. Résultat: elle pédalait dans la semoule joyeusement :-/
Au cas où, JB
On 04/04/2011 08:45, Gregory Duchatelet wrote:
Bonjour,
je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de réponses mais je tente ma chance :) J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3 mois d'intervalle. Les seules différences identifiées sont un processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU sur le serveur B.
J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC ainsi que des disques durs, la configuration RAID (write back, no read ahead), reconstruction totale du RAID, la config système (j'ai même fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
root@serveur_A# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec
root@serveur_B# hdparm -tT /dev/sda8
/dev/sda8: Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec
Je sollicite donc votre aide ! Merci, et bonne semaine ;)
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- Pierre-Henry Muller
participants (13)
-
Benjamin AVET -
Benjamin MALYNOVYTCH -
David B. -
David Touitou -
Gregory Duchatelet -
hugues Max -
Jean Baptiste FAVRE -
Lilian - Devclic -
Marichy Mervyn -
Olivier Bonvalet -
Pierre-Henry Muller -
Romain Bourdy -
Sylvain MAURIN