[FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Bonjour,

je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de 
réponses mais je tente ma chance :)
J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS 
@10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 
3 mois d'intervalle. Les seules différences identifiées sont un 
processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et 
un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente 
malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et 
des FUJITSU sur le serveur B.


J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte 
PERC ainsi que des disques durs, la configuration RAID (write back, no 
read ahead), reconstruction totale du RAID, la config système (j'ai même 
fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...


Je n'explique pas cette différence de perfs, qui se vérifie sur un 
VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :


root@serveur_A# hdparm -tT /dev/sda8

/dev/sda8:
 Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
 Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05 MB/sec


root@serveur_B# hdparm -tT /dev/sda8

/dev/sda8:
 Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
 Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50 MB/sec


Je sollicite donc votre aide !
Merci, et bonne semaine ;)

--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[David B.]

Bonjour Gregory,

Peut être le port sur lequel est relié la carte RAID sur la carte mère ?
Car si ce n'est pas le bon port (pci-X ou pci-express), cela peut
limiter la bande passante du RAID.

Tu pourrais aussi vérifier la configuration mémoire (placement des
barettes sur les bons emplacements), cela peut jouer sur les
performances aussi.

Coté carte mère, c'est la même ?

Bon courage. :)

PS : tiens nous au courant si tu trouves, cela pourrait aider du monde
je pense.
David.

Le 04/04/2011 08:45, Gregory Duchatelet a écrit :
> Bonjour,
>
> je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de
> réponses mais je tente ma chance :)
> J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS
> @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008
> à 3 mois d'intervalle. Les seules différences identifiées sont un
> processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et
> un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD
> différente malgré la capa et la vitesse identique : des SEAGATE sur le
> serveur A et des FUJITSU sur le serveur B.
>
> J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte
> PERC ainsi que des disques durs, la configuration RAID (write back, no
> read ahead), reconstruction totale du RAID, la config système (j'ai
> même fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
>
> Je n'explique pas cette différence de perfs, qui se vérifie sur un
> VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
>
> root@serveur_A# hdparm -tT /dev/sda8
>
> /dev/sda8:
>  Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
>  Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05 MB/sec
>
>
> root@serveur_B# hdparm -tT /dev/sda8
>
> /dev/sda8:
>  Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
>  Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50 MB/sec
>
>
> Je sollicite donc votre aide !
> Merci, et bonne semaine ;)
>

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Benjamin AVET]

Bonjour,

Qu'en est-il du cache des HDD ? Est-ce qu'en écriture la différence est
aussi importante ?

La mémoire vive est identique également ?

Les Bdd sont-elles des clones ? Je suppose que B est un clone de A non ?
Sinon, le simple fait que vos Bdd soient différentes peut entrainer des
latences dans la lecture d'une base de données.

Le 4 avril 2011 08:45, Gregory Duchatelet  a
écrit :

> Bonjour,
>
> je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de
> réponses mais je tente ma chance :)
> J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS
> @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3
> mois d'intervalle. Les seules différences identifiées sont un processeur
> légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345
> @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la
> capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU
> sur le serveur B.
>
> J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC
> ainsi que des disques durs, la configuration RAID (write back, no read
> ahead), reconstruction totale du RAID, la config système (j'ai même fais un
> clone), tenté le kernel 2.6.38, fais un diff de lshw...
>
> Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM
> PostgreSQL 10x plus long sur le serveur B pour une DB identique :
>
> root@serveur_A# hdparm -tT /dev/sda8
>
> /dev/sda8:
>  Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
>  Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05 MB/sec
>
>
> root@serveur_B# hdparm -tT /dev/sda8
>
> /dev/sda8:
>  Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
>  Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50 MB/sec
>
>
> Je sollicite donc votre aide !
> Merci, et bonne semaine ;)
>
> --
> Greg
>
> ___
> Liste de diffusion du FRsAG
> http://www.frsag.org/
>
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Benjamin MALYNOVYTCH]

Salut Greg,

Est-ce que tu as eu l'occasion de tester une reconstruction après le
remplacement d'un disque sur les deux serveurs, pour voir si les temps sont
équivalents ?
Ca te permettrait d'éliminer un problème de contrôleur RAID ou de disque.

Bonne journée.
Benjamin

Le 4 avril 2011 09:01, Benjamin AVET  a écrit :

> Bonjour,
>
> Qu'en est-il du cache des HDD ? Est-ce qu'en écriture la différence est
> aussi importante ?
>
> La mémoire vive est identique également ?
>
> Les Bdd sont-elles des clones ? Je suppose que B est un clone de A non ?
> Sinon, le simple fait que vos Bdd soient différentes peut entrainer des
> latences dans la lecture d'une base de données.
>
> Le 4 avril 2011 08:45, Gregory Duchatelet  a
> écrit :
>
> Bonjour,
>>
>> je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de
>> réponses mais je tente ma chance :)
>> J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS
>> @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à 3
>> mois d'intervalle. Les seules différences identifiées sont un processeur
>> légèrement différent: un E5410 @2,33GHz sur le serveur A et un E5345
>> @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente malgré la
>> capa et la vitesse identique : des SEAGATE sur le serveur A et des FUJITSU
>> sur le serveur B.
>>
>> J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte PERC
>> ainsi que des disques durs, la configuration RAID (write back, no read
>> ahead), reconstruction totale du RAID, la config système (j'ai même fais un
>> clone), tenté le kernel 2.6.38, fais un diff de lshw...
>>
>> Je n'explique pas cette différence de perfs, qui se vérifie sur un VACUUM
>> PostgreSQL 10x plus long sur le serveur B pour une DB identique :
>>
>> root@serveur_A# hdparm -tT /dev/sda8
>>
>> /dev/sda8:
>>  Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
>>  Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05 MB/sec
>>
>>
>> root@serveur_B# hdparm -tT /dev/sda8
>>
>> /dev/sda8:
>>  Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
>>  Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50 MB/sec
>>
>>
>> Je sollicite donc votre aide !
>> Merci, et bonne semaine ;)
>>
>> --
>> Greg
>>
>> ___
>> Liste de diffusion du FRsAG
>> http://www.frsag.org/
>>
>
>
> ___
> Liste de diffusion du FRsAG
> http://www.frsag.org/
>
>
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Le 04/04/2011 09:01, David B. a écrit :

Peut être le port sur lequel est relié la carte RAID sur la carte mère ?
Car si ce n'est pas le bon port (pci-X ou pci-express), cela peut
limiter la bande passante du RAID.


D'après lspci -vvv c'est la même config :

02:0e.0 RAID bus controller: Dell PowerEdge Expandable RAID controller 5
Subsystem: Dell PERC 5/i Integrated RAID Controller
Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV+ VGASnoop- 
ParErr+ Stepping+ SERR+ FastB2B- DisINTx-
Status: Cap+ 66MHz+ UDF- FastB2B- ParErr- DEVSEL=medium 
>TAbort- SERR- 
Latency: 32 (32000ns min), Cache Line Size: 64 bytes
Interrupt: pin A routed to IRQ 78
Region 0: Memory at d80f (32-bit, prefetchable) [size=64K]
Region 2: Memory at fc5c (32-bit, non-prefetchable) [size=128K]
Expansion ROM at fc40 [disabled] [size=32K]
Capabilities: [c0] Power Management version 2
Flags: PMEClk- DSI- D1+ D2- AuxCurrent=0mA 
PME(D0-,D1-,D2-,D3hot-,D3cold-)

Status: D0 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME-
Capabilities: [d0] MSI: Enable- Count=1/2 Maskable- 64bit+
Address:   Data: 
Capabilities: [e0] PCI-X non-bridge device
Command: DPERE- ERO- RBC=512 OST=4
Status: Dev=02:0e.0 64bit+ 133MHz+ SCD- USC- DC=bridge 
DMMRBC=1024 DMOST=4 DMCRS=16 RSCEM- 266MHz- 533MHz-

Kernel driver in use: megaraid_sas

Le diff me donne une différence sur l'offset de la "region 2" de la 
mémoire, sur serveur B :

Region 2: Memory at fc7c (32-bit, non-prefetchable) [size=128K]



Tu pourrais aussi vérifier la configuration mémoire (placement des
barettes sur les bons emplacements), cela peut jouer sur les
performances aussi.


Tu parles de la mémoire RAID ou système ? Coté système, chez Dell si tu 
ne respectes pas leur préconisation tu as un message au niveau du BIOS.



Coté carte mère, c'est la même ?


Celle d'un PE2950, oui.
A savoir que ces serveurs sont à 700km de mon bureau, je n'ai qu'un 
accès KVM (+pdu) ...



PS : tiens nous au courant si tu trouves, cela pourrait aider du monde
je pense.


Je n'y manquerais pas ;)

--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[hugues Max]

bonjour
Si tes serveurs sont disponibles ( pas en prod ) et si c'est presque les 
mêmes , inverse les sous système disques+ raid

et vois si tu as le même résultat.
si c'est le cas,  c'est pas un pb de serveur mais bien d'un des couples 
disques+carte raid

puis tu recommences en inversant carte raid uniquement
puis l'ensemble disques
a la fin des tests tu aura les fautifs
soit

serveur
carte raid
ensemble de disques
...cables...

bye
Hugues


Le 04/04/2011 09:08, Benjamin MALYNOVYTCH a écrit :

Salut Greg,

Est-ce que tu as eu l'occasion de tester une reconstruction après le 
remplacement d'un disque sur les deux serveurs, pour voir si les temps 
sont équivalents ?

Ca te permettrait d'éliminer un problème de contrôleur RAID ou de disque.

Bonne journée.
Benjamin

Le 4 avril 2011 09:01, Benjamin AVET > a écrit :


Bonjour,

Qu'en est-il du cache des HDD ? Est-ce qu'en écriture la
différence est aussi importante ?

La mémoire vive est identique également ?

Les Bdd sont-elles des clones ? Je suppose que B est un clone de A
non ? Sinon, le simple fait que vos Bdd soient différentes peut
entrainer des latences dans la lecture d'une base de données.

Le 4 avril 2011 08:45, Gregory Duchatelet
mailto:greg-fr...@duchatelet.net>> a
écrit :

Bonjour,

je sais bien qu'un lundi matin je ne risque pas d'avoir
beaucoup de réponses mais je tente ma chance :)
J'ai 2 serveurs quasi identique, des Dell PE2950 avec un
RAID10 6x SAS @10krpm via une carte PERC 5/i, ces 2 serveurs
ont été acheté en 2008 à 3 mois d'intervalle. Les seules
différences identifiées sont un processeur légèrement
différent: un E5410 @2,33GHz sur le serveur A et un E5345
@2,33GHz sur le serveur B; ainsi qu'une marque de DD
différente malgré la capa et la vitesse identique : des
SEAGATE sur le serveur A et des FUJITSU sur le serveur B.

J'ai vérifié aussi que le BIOS était à jour, le firmware de la
carte PERC ainsi que des disques durs, la configuration RAID
(write back, no read ahead), reconstruction totale du RAID, la
config système (j'ai même fais un clone), tenté le kernel
2.6.38, fais un diff de lshw...

Je n'explique pas cette différence de perfs, qui se vérifie
sur un VACUUM PostgreSQL 10x plus long sur le serveur B pour
une DB identique :

root@serveur_A# hdparm -tT /dev/sda8

/dev/sda8:
 Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
 Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05
MB/sec


root@serveur_B# hdparm -tT /dev/sda8

/dev/sda8:
 Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
 Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50
MB/sec


Je sollicite donc votre aide !
Merci, et bonne semaine ;)

-- 
Greg


___
Liste de diffusion du FRsAG
http://www.frsag.org/



___
Liste de diffusion du FRsAG
http://www.frsag.org/



___
Liste de diffusion du FRsAG
http://www.frsag.org/
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Le 04/04/2011 09:01, Benjamin AVET a écrit :

Bonjour,

Qu'en est-il du cache des HDD ? Est-ce qu'en écriture la différence 
est aussi importante ?


La mémoire vive est identique également ?


oui

Les Bdd sont-elles des clones ? Je suppose que B est un clone de A non 
? Sinon, le simple fait que vos Bdd soient différentes peut entrainer 
des latences dans la lecture d'une base de données.


j'ai fais des clones aussi pour exclure ce point.

Vous m'avez donné une idée: j'ai comparé les perfs en O_DIRECT, et cette 
fois elles sont comparable :


root@serveur_B:~# hdparm --direct -tT /dev/sda
/dev/sda:
 Timing O_DIRECT cached reads:   1216 MB in  2.00 seconds = 607.64 MB/sec
 Timing O_DIRECT disk reads: 642 MB in  3.00 seconds = 213.83 MB/sec

root@serveur_B:~# hdparm -tT /dev/sda
/dev/sda:
 Timing cached reads:   508 MB in  2.00 seconds = 253.38 MB/sec
 Timing buffered disk reads: 218 MB in  3.01 seconds =  72.33 MB/sec




root@serveur_A:~# hdparm --direct -tT /dev/sda
/dev/sda:
 Timing O_DIRECT cached reads:   1430 MB in  2.00 seconds = 714.50 MB/sec
 Timing O_DIRECT disk reads: 732 MB in  3.01 seconds = 243.32 MB/sec

root@serveur_A:~# hdparm -tT /dev/sda
/dev/sda:
 Timing cached reads:   9694 MB in  2.00 seconds = 4852.05 MB/sec
 Timing buffered disk reads: 762 MB in  3.00 seconds = 253.60 MB/sec

--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[David Touitou]

'jour.

- Mail original -
> J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS
> @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008
> à 3 mois d'intervalle. 
> Les seules différences identifiées sont un
> processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et
> un E5345 @2,33GHz sur le serveur B

Il n'y aurait pas un 2950-II et un 2950-III ?
Donc un bus différent (vitesse).

Sur la face avant, en haut à gauche, au dessus des "thumbscrews"...
Il devrait y avoir un cercle avec II ou III dedans.

David
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[David B.]

Le 04/04/2011 09:26, Gregory Duchatelet a écrit :
> [...]
> j'ai fais des clones aussi pour exclure ce point.
>
> Vous m'avez donné une idée: j'ai comparé les perfs en O_DIRECT, et
> cette fois elles sont comparable :
>
[...]

Question surement triviale, mais tu n'a pas la batterie d'une carte RAID
qui est en cours de chargement ou d'analyse ?
Openmanage pourra te renseigner la dessus.

Car si c'est identique en O_DIRECT, cela doit venir de la carte RAID ou
de la batterie de celle-ci...

Bon courage. :)
David.
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Le 04/04/2011 09:43, David B. a écrit :

Question surement triviale, mais tu n'a pas la batterie d'une carte RAID
qui est en cours de chargement ou d'analyse ?
Openmanage pourra te renseigner la dessus.


Je ne pense pas, les 2 serveurs sont dans le même état :

root@serveur_B:~# omreport storage battery
List of Batteries in the System

Controller PERC 5/i Integrated (Slot Embedded)
ID: 0
Status: Ok
Name  : Battery 0
State : Ready
Recharge Count: Not Applicable
Max Recharge Count: Not Applicable
Predicted Capacity Status : Ready
Learn State   : Idle
Next Learn Time   : 86 days 4 hours
Maximum Learn Delay   : 7 days 0 hours

--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Benjamin AVET]

Quelle est l'architecture réseau ? Y a-t-il un répartiteur de charge en
amont des serveurs ?
Je demande cela car il semblerait qu'un de vos serveurs soit probablement
plus sollicité que l'autre.
Les différences O_DIRECT sont moindres mais reste quand même significatives
à mon goût !

Les performances sont encore différentes du premier jeu de données que vous
nous avez fourni, ce qui semble indiqué une modification dans
l'environnement du problème ...

Le 4 avril 2011 10:13, Gregory Duchatelet  a
écrit :

> Le 04/04/2011 09:43, David B. a écrit :
>
>  Question surement triviale, mais tu n'a pas la batterie d'une carte RAID
>> qui est en cours de chargement ou d'analyse ?
>> Openmanage pourra te renseigner la dessus.
>>
>
> Je ne pense pas, les 2 serveurs sont dans le même état :
>
> root@serveur_B:~# omreport storage battery
> List of Batteries in the System
>
> Controller PERC 5/i Integrated (Slot Embedded)
> ID: 0
> Status: Ok
> Name  : Battery 0
> State : Ready
> Recharge Count: Not Applicable
> Max Recharge Count: Not Applicable
> Predicted Capacity Status : Ready
> Learn State   : Idle
> Next Learn Time   : 86 days 4 hours
> Maximum Learn Delay   : 7 days 0 hours
>
> --
> Greg
>
>
> ___
> Liste de diffusion du FRsAG
> http://www.frsag.org/
>
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Le 04/04/2011 11:15, Benjamin AVET a écrit :
Quelle est l'architecture réseau ? Y a-t-il un répartiteur de charge 
en amont des serveurs ?
Je demande cela car il semblerait qu'un de vos serveurs soit 
probablement plus sollicité que l'autre.
Les différences O_DIRECT sont moindres mais reste quand même 
significatives à mon goût !


Ces 2 serveurs ne sont pas en prod, et je ne passe pas par le réseau 
pour ces tests.


Les performances sont encore différentes du premier jeu de données que 
vous nous avez fourni, ce qui semble indiqué une modification dans 
l'environnement du problème ...


C'est vrai, j'ai réinstallé le serveur_B en 32 bits pour pouvoir 
notamment mettre à jour les firmwares des disques durs ... Donc ce 
serveur est fraichement installé, il n'y a rien d'autre que l'OS, ssh, 
et les outils Dell OMSA.


--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Benjamin AVET]

Peut être une mise à jour du firmware de la carte RAID ou des patch de votre
OS améliorant l'accès disque manquent-ils ?

Le 4 avril 2011 11:26, Gregory Duchatelet  a
écrit :

> Le 04/04/2011 11:15, Benjamin AVET a écrit :
>
>  Quelle est l'architecture réseau ? Y a-t-il un répartiteur de charge en
>> amont des serveurs ?
>> Je demande cela car il semblerait qu'un de vos serveurs soit probablement
>> plus sollicité que l'autre.
>> Les différences O_DIRECT sont moindres mais reste quand même
>> significatives à mon goût !
>>
>
> Ces 2 serveurs ne sont pas en prod, et je ne passe pas par le réseau pour
> ces tests.
>
>
>  Les performances sont encore différentes du premier jeu de données que
>> vous nous avez fourni, ce qui semble indiqué une modification dans
>> l'environnement du problème ...
>>
>
> C'est vrai, j'ai réinstallé le serveur_B en 32 bits pour pouvoir notamment
> mettre à jour les firmwares des disques durs ... Donc ce serveur est
> fraichement installé, il n'y a rien d'autre que l'OS, ssh, et les outils
> Dell OMSA.
>
>
> --
> Greg
>
> ___
> Liste de diffusion du FRsAG
> http://www.frsag.org/
>
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Pierre-Henry Muller]

Salut,

Clairement y a un souci en raid10 sur le serveur B tu ne devrais pas être aussi 
lent.
Voilà les différences matériel qui peuvent jouer à mon avis hors problème 
technique :

- le Xeon E5410 a 12MB de cache L2 alors que le E5345 n'en a que 8.
- les modèles des disques durs ont il les mêmes caches tampon

Après niveau panne possible, l'état d'usure des disques? Si dans la grappe du B 
des secteurs sont ignorés
par la carte raid pour cause de dysfonctionnement ça n'aide pas niveau perf.

La batterie de la carte peut être aussi une piste de recherche mais si tu n'as 
pas d'alarme ...

Pour écarter la carte raid et les disques, essaye d'installer un os sans raid 
hard et test les disques un par un.
Ca permettra de voir si ils sont cohérent entre eux ou si un ou plusieurs 
posent problèmes.

++
--
Pierre-Henry Muller



___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Le 04/04/2011 11:37, Benjamin AVET a écrit :
Peut être une mise à jour du firmware de la carte RAID ou des patch de 
votre OS améliorant l'accès disque manquent-ils ?




Déjà fait, pas ça ! :-/

--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Romain Bourdy]

Salut,

 Et en swappant carte raid et disque, qui deviens lent ? :)



2011/4/4 Gregory Duchatelet 

> Le 04/04/2011 11:37, Benjamin AVET a écrit :
>
>  Peut être une mise à jour du firmware de la carte RAID ou des patch de
>> votre OS améliorant l'accès disque manquent-ils ?
>>
>>
> Déjà fait, pas ça ! :-/
>
>
> --
> Greg
>
> ___
> Liste de diffusion du FRsAG
> http://www.frsag.org/
>
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Salut,


- le Xeon E5410 a 12MB de cache L2 alors que le E5345 n'en a que 8.


Je ne pense pas que ça joue sur les IO.


- les modèles des disques durs ont il les mêmes caches tampon


Ils ont tous les 12 16MB de cache.


Après niveau panne possible, l'état d'usure des disques? Si dans la grappe du B 
des secteurs sont ignorés
par la carte raid pour cause de dysfonctionnement ça n'aide pas niveau perf.


Je devrais le voir dans les status/infos de la carte RAID non ?


La batterie de la carte peut être aussi une piste de recherche mais si tu n'as 
pas d'alarme ...

Pour écarter la carte raid et les disques, essaye d'installer un os sans raid 
hard et test les disques un par un.
Ca permettra de voir si ils sont cohérent entre eux ou si un ou plusieurs 
posent problèmes.



Bien vu, je vais tester ça ;)

--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Le 04/04/2011 11:50, Romain Bourdy a écrit :

Salut,

 Et en swappant carte raid et disque, qui deviens lent ? :)



trop loin (700km) :) je ferais les manips physiques en dernier.

--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Pierre-Henry Muller]

Le 4 avr. 2011 à 11:50, Gregory Duchatelet a écrit :

> Salut,
> 
>> - le Xeon E5410 a 12MB de cache L2 alors que le E5345 n'en a que 8.
> 
> Je ne pense pas que ça joue sur les IO.
> 
>> - les modèles des disques durs ont il les mêmes caches tampon
> 
> Ils ont tous les 12 16MB de cache.
> 
>> Après niveau panne possible, l'état d'usure des disques? Si dans la grappe 
>> du B des secteurs sont ignorés
>> par la carte raid pour cause de dysfonctionnement ça n'aide pas niveau perf.
> 
> Je devrais le voir dans les status/infos de la carte RAID non ?

Hum je ne me rappel plus des infos que l'on peut avoir sur les cartes Dell, à 
chercher.

> 
>> La batterie de la carte peut être aussi une piste de recherche mais si tu 
>> n'as pas d'alarme ...
>> 
>> Pour écarter la carte raid et les disques, essaye d'installer un os sans 
>> raid hard et test les disques un par un.
>> Ca permettra de voir si ils sont cohérent entre eux ou si un ou plusieurs 
>> posent problèmes.
>> 
> 
> Bien vu, je vais tester ça ;)


--
Pierre-Henry Muller



___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[David Touitou]

> Hum je ne me rappel plus des infos que l'on peut avoir sur les cartes
> Dell, à chercher.

On peut via les outils OM ou en installant la suite MegaCLI de LSI.
http://www.lsi.com/storage_home/products_home/internal_raid/megaraid_sas/megaraid_sas_8408e/index.html

David.
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Lilian - Devclic]

On a eu l'année dernière des problèmes avec les cartes DELL, on sortait 
au débit d'un disque dur en écriture, le cache avait disparu : solution 
envisagée après plusieurs jours de tuning : replacement des cartes RAID 
... ( 4 cartes RAID neuves sur les 4 serveurs ... )


Le 04/04/11 13:08, David Touitou a écrit :



Hum je ne me rappel plus des infos que l'on peut avoir sur les cartes
Dell, à chercher.

On peut via les outils OM ou en installant la suite MegaCLI de LSI.
http://www.lsi.com/storage_home/products_home/internal_raid/megaraid_sas/megaraid_sas_8408e/index.html

David.
___
Liste de diffusion du FRsAG
http://www.frsag.org/



--
RIGARD Lilian - Devclic SARL
Gérant - CEO&  CTO
Téléphone (Standard) / Phone : +33 3 57 75 61 46
Portable / Cell Phone : +33 6 29 59 21 34
E-mail : lil...@devclic.fr
Web : http://www.devclic.fr

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Olivier Bonvalet]

Hello,

ayant eu le même problème ce matin sur une carte MegaRAID également, 
j'ai du mal à croire à la coïncidence.
Chez moi une des cartes était passé en mode "vérification", et le 
"Resynch rate" était étrangement configurée à 95% au lieu de 30% sur les 
autres serveurs.


Pour voir ça, j'ai utilisé :
megacli -LDinfo -Lall -aAll

Ainsi que :
megacli -AdpGetProp BgiRate -aAll

Olivier

Le 04/04/2011 08:45, Gregory Duchatelet a écrit :

Bonjour,

je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de
réponses mais je tente ma chance :)
J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS
@10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à
3 mois d'intervalle. Les seules différences identifiées sont un
processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et
un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente
malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et
des FUJITSU sur le serveur B.

J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte
PERC ainsi que des disques durs, la configuration RAID (write back, no
read ahead), reconstruction totale du RAID, la config système (j'ai même
fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...

Je n'explique pas cette différence de perfs, qui se vérifie sur un
VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :

root@serveur_A# hdparm -tT /dev/sda8

/dev/sda8:
Timing cached reads: 11346 MB in 2.00 seconds = 5679.55 MB/sec
Timing buffered disk reads: 716 MB in 3.01 seconds = 238.05 MB/sec


root@serveur_B# hdparm -tT /dev/sda8

/dev/sda8:
Timing cached reads: 610 MB in 2.00 seconds = 304.60 MB/sec
Timing buffered disk reads: 192 MB in 3.02 seconds = 63.50 MB/sec


Je sollicite donc votre aide !
Merci, et bonne semaine ;)



___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[David B.]

Coté Dell.
Tu as omreport en CLI qui est livré avec openmanage. Il pourra te donner
des informations.

Par exemple : omreport storage vdisk
ou
omreport storage pdisk controller=0

Le 04/04/2011 13:17, Olivier Bonvalet a écrit :
> Hello,
>
> ayant eu le même problème ce matin sur une carte MegaRAID également,
> j'ai du mal à croire à la coïncidence.
> Chez moi une des cartes était passé en mode "vérification", et le
> "Resynch rate" était étrangement configurée à 95% au lieu de 30% sur
> les autres serveurs.
>
> Pour voir ça, j'ai utilisé :
> megacli -LDinfo -Lall -aAll
>
> Ainsi que :
> megacli -AdpGetProp BgiRate -aAll
>
> Olivier
>
>
>

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Le 04/04/2011 13:16, Lilian - Devclic a écrit :
On a eu l'année dernière des problèmes avec les cartes DELL, on 
sortait au débit d'un disque dur en écriture, le cache avait disparu : 
solution envisagée après plusieurs jours de tuning : replacement des 
cartes RAID ... ( 4 cartes RAID neuves sur les 4 serveurs ... )




Et comment en êtes vous arrivez à cette conclusion ? Est-ce que vous 
avez des indicateurs pertinents de omreport ou megacli ?


--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

MegaCLI n'affiche rien, même sur le serveur A :

root@serveur_A:~/opt/MegaRAID/MegaCli# ./MegaCli64 -LDinfo -Lall -aAll

root@serveur_A:~/opt/MegaRAID/MegaCli# ./MegaCli64 -AdpGetProp BgiRate -aAll

root@serveur_A:~/opt/MegaRAID/MegaCli#

Par contre avec omreport j'ai des infos, mais encore une fois: ce sont 
les mêmes sur les 2 serveurs. De plus, j'ai tout pété et refait un 
RAID10 from scratch.



Le 04/04/2011 13:55, David B. a écrit :

Coté Dell.
Tu as omreport en CLI qui est livré avec openmanage. Il pourra te donner
des informations.

Par exemple : omreport storage vdisk
ou
omreport storage pdisk controller=0

Le 04/04/2011 13:17, Olivier Bonvalet a écrit :

Hello,

ayant eu le même problème ce matin sur une carte MegaRAID également,
j'ai du mal à croire à la coïncidence.
Chez moi une des cartes était passé en mode "vérification", et le
"Resynch rate" était étrangement configurée à 95% au lieu de 30% sur
les autres serveurs.

Pour voir ça, j'ai utilisé :
megacli -LDinfo -Lall -aAll



--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[David Touitou]

- Mail original -
> MegaCLI n'affiche rien, même sur le serveur A :

Euh...
Tu es sûr que ce sont des PERC 5i ?

[root@unserveur ~]# /opt/MegaRAID/MegaCli/MegaCli -AdpGetProp BgiRate -aAll

Adapter 0: BGI Rate = 30%

Exit Code: 0x00


[root@unserveur ~]# /opt/MegaRAID/MegaCli/MegaCli -LDinfo -Lall -aAll


Adapter 0 -- Virtual Drive Information:
Virtual Disk: 0 (Target Id: 0)
Name:raid10
RAID Level: Primary-1, Secondary-3, RAID Level Qualifier-0
Size:4.091 TB
State: Optimal
Stripe Size: 64 KB
Number Of Drives per span:2
Span Depth:3
Default Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad 
BBU
Current Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad 
BBU
Access Policy: Read/Write
Disk Cache Policy: Disk's Default
Encryption Type: None

Exit Code: 0x00
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Le 04/04/2011 14:35, David Touitou a écrit :


Euh...
Tu es sûr que ce sont des PERC 5i ?



Etrange n'est-ce pas ? Et pourtant :

root@serveur_A:~/opt/MegaRAID/MegaCli# omreport storage controller
 Controller  PERC 5/i Integrated (Embedded)

Controllers
ID: 0
Status: Ok
Name  : PERC 5/i Integrated
Slot ID   : Embedded
State : Ready
Firmware Version  : 5.2.2-0072
Minimum Required Firmware Version : Not Applicable
Driver Version: 00.00.05.29-rc1

Minimum Required Driver Version   : Not Applicable
Number of Connectors  : 2
Rebuild Rate  : 30%
BGI Rate  : 30%
Check Consistency Rate: 30%
Reconstruct Rate  : 30%
Alarm State   : Not Applicable
Cluster Mode  : Not Applicable
SCSI Initiator ID : Not Applicable
Cache Memory Size : 256 MB
Patrol Read Mode  : Auto
Patrol Read State : Stopped
Patrol Read Rate  : 30%
Patrol Read Iterations: 156
Abort check consistency on error  : Not Applicable
Allow Revertible Hot Spare and Replace Member : Not Applicable
Auto replace member on predictive failure : Not Applicable
Load balance  : Not Applicable

--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Lilian - Devclic]

Tout simplement parce que tout d'un coup, sur 4 serveur : le même 
phénomène alors que nous n'avions rien touché ...


30 Mo / s en écriture sur du RAID 1 ou RAID 5, y a de quoi se poser des 
questions ...


Le 04/04/11 14:27, Gregory Duchatelet a écrit :

Le 04/04/2011 13:16, Lilian - Devclic a écrit :
On a eu l'année dernière des problèmes avec les cartes DELL, on 
sortait au débit d'un disque dur en écriture, le cache avait disparu 
: solution envisagée après plusieurs jours de tuning : replacement 
des cartes RAID ... ( 4 cartes RAID neuves sur les 4 serveurs ... )




Et comment en êtes vous arrivez à cette conclusion ? Est-ce que vous 
avez des indicateurs pertinents de omreport ou megacli ?





--
RIGARD Lilian - Devclic SARL
Gérant - CEO&  CTO
Téléphone (Standard) / Phone : +33 3 57 75 61 46
Portable / Cell Phone : +33 6 29 59 21 34
E-mail : lil...@devclic.fr
Web : http://www.devclic.fr

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[David Touitou]

On n'a pas tout à fait les même versions de firmware 8)))

# /opt/MegaRAID/MegaCli/MegaCli -AdpAllInfo -aAll

Adapter #0

==
Versions

Product Name: PERC 5/i Integrated
Serial No   : 12345
FW Package Build: 5.1.1-0040

Mfg. Data

Mfg. Date   : 00/00/00
Rework Date : 00/00/00
Revision No : @ôA
Battery FRU : N/A

Image Versions in Flash:

Boot Block Version : R.2.3.12
BIOS Version   : MT28
MPT Version: MPTFW-00.10.47.00-IT
FW Version : 1.03.10-0216
WebBIOS Version: 1.03-04
Ctrl-R Version : 1.04-017A
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Le 04/04/2011 14:52, David Touitou a écrit :

On n'a pas tout à fait les même versions de firmware 8)))


Oui j'ai mis à jour à la dernière version :
Firmware Version  : 5.2.2-0072


FW Package Build: 5.1.1-0040


--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Le 04/04/2011 14:42, Lilian - Devclic a écrit :
Tout simplement parce que tout d'un coup, sur 4 serveur : le même 
phénomène alors que nous n'avions rien touché ...




Ca me parait un peu léger comme explication ! C'est une explication 
provenant de Dell directement ? Parce que je crois que je vais passer 
beaucoup de temps avec le support pour en arriver avec cette conclusion, 
et qu'ils me changent la carte PERC sous garantie ...


--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Lilian - Devclic]

Non ... mais je vais pas tout refaire :) car c'est une histoire qui a 
pris du temps de notre côté pour les diagnostiques et on était en prod.


Le changement des 4 cartes PERC n'a plus du tout posé de problème 
depuis, avant constamment on avait un FS qui plantait très facilement ( 
pour ça que l'on a acheté un SAN aussi ... )


Tu appelles DELL et tu exiges de changer les cartes, ils vont te passer 
un CD et le CD va leur donner un résultat qui sera le même que le nôtre 
à savoir : change les 4 cartes


Le 04/04/11 15:27, Gregory Duchatelet a écrit :

Le 04/04/2011 14:42, Lilian - Devclic a écrit :
Tout simplement parce que tout d'un coup, sur 4 serveur : le même 
phénomène alors que nous n'avions rien touché ...




Ca me parait un peu léger comme explication ! C'est une explication 
provenant de Dell directement ? Parce que je crois que je vais passer 
beaucoup de temps avec le support pour en arriver avec cette 
conclusion, et qu'ils me changent la carte PERC sous garantie ...





--
RIGARD Lilian - Devclic SARL
Gérant - CEO&  CTO
Téléphone (Standard) / Phone : +33 3 57 75 61 46
Portable / Cell Phone : +33 6 29 59 21 34
E-mail : lil...@devclic.fr
Web : http://www.devclic.fr

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Sylvain MAURIN]

Bonjour,

Avez vous utiliser des tests de type iozone ou bonnie pour
verifier qu'effectivement les RAID ont des comportements 
distincts ? 

Au dela de qq centaines de Mo/s sur du pur sequentiel vous 
testez plus les limites de votre bus que celle d'un RAID, 
non ? 

Et si vous avez des entrees/sorties (IO/s) en pagaille qui
debordent des buffer cache, memoire RAID et consort faut 
rarement esperer + de qq Mo/s avec autre chose que de 
l'agregat (RAID (1-6)0).

Cordialement,
Sylvain MAURIN

> /dev/sda8:
>   Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
>   Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05 MB/sec

-- 

**
*  Sylvain MAURIN - ASR - CNRS
*  Institut des Sciences Cognitives
*  67, boulevard Pinel  69675 BRON cedex
*  Tel: +33 437911214 Cel: +33 612399929
*  Mail: sylvain.mau...@isc.cnrs.fr
**


smime.p7s
Description: S/MIME cryptographic signature
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Jean Baptiste FAVRE]

Bonsoir,
Au risque de dire une connerie, quelle est la conf de la carte réseau ?

J'explique: j'ai pu constater une différence importante du débit disque
entre 2 machines identiques *juste* parce que l'une des deux n'avait pas
le TSO d'activé.
Résultat: elle pédalait dans la semoule joyeusement :-/

Au cas où,
JB


On 04/04/2011 08:45, Gregory Duchatelet wrote:
> Bonjour,
> 
> je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de
> réponses mais je tente ma chance :)
> J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS
> @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à
> 3 mois d'intervalle. Les seules différences identifiées sont un
> processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et
> un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente
> malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et
> des FUJITSU sur le serveur B.
> 
> J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte
> PERC ainsi que des disques durs, la configuration RAID (write back, no
> read ahead), reconstruction totale du RAID, la config système (j'ai même
> fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
> 
> Je n'explique pas cette différence de perfs, qui se vérifie sur un
> VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
> 
> root@serveur_A# hdparm -tT /dev/sda8
> 
> /dev/sda8:
>  Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
>  Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05 MB/sec
> 
> 
> root@serveur_B# hdparm -tT /dev/sda8
> 
> /dev/sda8:
>  Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
>  Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50 MB/sec
> 
> 
> Je sollicite donc votre aide !
> Merci, et bonne semaine ;)
> 

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Marichy Mervyn]

Au risque de faire le boulet,quelqu'un aurait une documentation claire sur 
Bonnie++,voir même des avis sur ce type de tests?


Le 4 avr. 2011 à 23:41, Jean Baptiste FAVRE  a écrit :

> Bonsoir,
> Au risque de dire une connerie, quelle est la conf de la carte réseau ?
> 
> J'explique: j'ai pu constater une différence importante du débit disque
> entre 2 machines identiques *juste* parce que l'une des deux n'avait pas
> le TSO d'activé.
> Résultat: elle pédalait dans la semoule joyeusement :-/
> 
> Au cas où,
> JB
> 
> 
> On 04/04/2011 08:45, Gregory Duchatelet wrote:
>> Bonjour,
>> 
>> je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de
>> réponses mais je tente ma chance :)
>> J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS
>> @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à
>> 3 mois d'intervalle. Les seules différences identifiées sont un
>> processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et
>> un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente
>> malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et
>> des FUJITSU sur le serveur B.
>> 
>> J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte
>> PERC ainsi que des disques durs, la configuration RAID (write back, no
>> read ahead), reconstruction totale du RAID, la config système (j'ai même
>> fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
>> 
>> Je n'explique pas cette différence de perfs, qui se vérifie sur un
>> VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
>> 
>> root@serveur_A# hdparm -tT /dev/sda8
>> 
>> /dev/sda8:
>> Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
>> Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05 MB/sec
>> 
>> 
>> root@serveur_B# hdparm -tT /dev/sda8
>> 
>> /dev/sda8:
>> Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
>> Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50 MB/sec
>> 
>> 
>> Je sollicite donc votre aide !
>> Merci, et bonne semaine ;)
>> 
> 
> ___
> Liste de diffusion du FRsAG
> http://www.frsag.org/
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Benjamin AVET]

La carte réseau limiterait le débit en lecture sur les disques ? même en
test local ?

Le 4 avril 2011 23:41, Jean Baptiste FAVRE  a écrit :

> Bonsoir,
> Au risque de dire une connerie, quelle est la conf de la carte réseau ?
>
> J'explique: j'ai pu constater une différence importante du débit disque
> entre 2 machines identiques *juste* parce que l'une des deux n'avait pas
> le TSO d'activé.
> Résultat: elle pédalait dans la semoule joyeusement :-/
>
> Au cas où,
> JB
>
>
> On 04/04/2011 08:45, Gregory Duchatelet wrote:
> > Bonjour,
> >
> > je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de
> > réponses mais je tente ma chance :)
> > J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS
> > @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à
> > 3 mois d'intervalle. Les seules différences identifiées sont un
> > processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et
> > un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente
> > malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et
> > des FUJITSU sur le serveur B.
> >
> > J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte
> > PERC ainsi que des disques durs, la configuration RAID (write back, no
> > read ahead), reconstruction totale du RAID, la config système (j'ai même
> > fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
> >
> > Je n'explique pas cette différence de perfs, qui se vérifie sur un
> > VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
> >
> > root@serveur_A# hdparm -tT /dev/sda8
> >
> > /dev/sda8:
> >  Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
> >  Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05 MB/sec
> >
> >
> > root@serveur_B# hdparm -tT /dev/sda8
> >
> > /dev/sda8:
> >  Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
> >  Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50 MB/sec
> >
> >
> > Je sollicite donc votre aide !
> > Merci, et bonne semaine ;)
> >
>
> ___
> Liste de diffusion du FRsAG
> http://www.frsag.org/
>
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Pierre-Henry Muller]

Tu penses que ça impacterait les performances sur un test local?


Le 4 avr. 2011 à 23:41, Jean Baptiste FAVRE a écrit :

> Bonsoir,
> Au risque de dire une connerie, quelle est la conf de la carte réseau ?
> 
> J'explique: j'ai pu constater une différence importante du débit disque
> entre 2 machines identiques *juste* parce que l'une des deux n'avait pas
> le TSO d'activé.
> Résultat: elle pédalait dans la semoule joyeusement :-/
> 
> Au cas où,
> JB
> 
> 
> On 04/04/2011 08:45, Gregory Duchatelet wrote:
>> Bonjour,
>> 
>> je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de
>> réponses mais je tente ma chance :)
>> J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10 6x SAS
>> @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en 2008 à
>> 3 mois d'intervalle. Les seules différences identifiées sont un
>> processeur légèrement différent: un E5410 @2,33GHz sur le serveur A et
>> un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD différente
>> malgré la capa et la vitesse identique : des SEAGATE sur le serveur A et
>> des FUJITSU sur le serveur B.
>> 
>> J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte
>> PERC ainsi que des disques durs, la configuration RAID (write back, no
>> read ahead), reconstruction totale du RAID, la config système (j'ai même
>> fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
>> 
>> Je n'explique pas cette différence de perfs, qui se vérifie sur un
>> VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB identique :
>> 
>> root@serveur_A# hdparm -tT /dev/sda8
>> 
>> /dev/sda8:
>> Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
>> Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05 MB/sec
>> 
>> 
>> root@serveur_B# hdparm -tT /dev/sda8
>> 
>> /dev/sda8:
>> Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
>> Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50 MB/sec
>> 
>> 
>> Je sollicite donc votre aide !
>> Merci, et bonne semaine ;)
>> 
> 
> ___
> Liste de diffusion du FRsAG
> http://www.frsag.org/

--
Pierre-Henry Muller



___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Jean Baptiste Favre]

Indirectement oui, en augmentant l'IO/Wait

JB


Le 05/04/11 08:44, Benjamin AVET a écrit :
> La carte réseau limiterait le débit en lecture sur les disques ? même
> en test local ?
>
> Le 4 avril 2011 23:41, Jean Baptiste FAVRE  > a écrit :
>
> Bonsoir,
> Au risque de dire une connerie, quelle est la conf de la carte
> réseau ?
>
> J'explique: j'ai pu constater une différence importante du débit
> disque
> entre 2 machines identiques *juste* parce que l'une des deux
> n'avait pas
> le TSO d'activé.
> Résultat: elle pédalait dans la semoule joyeusement :-/
>
> Au cas où,
> JB
>
>
> On 04/04/2011 08:45, Gregory Duchatelet wrote:
> > Bonjour,
> >
> > je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de
> > réponses mais je tente ma chance :)
> > J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10
> 6x SAS
> > @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté en
> 2008 à
> > 3 mois d'intervalle. Les seules différences identifiées sont un
> > processeur légèrement différent: un E5410 @2,33GHz sur le
> serveur A et
> > un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD
> différente
> > malgré la capa et la vitesse identique : des SEAGATE sur le
> serveur A et
> > des FUJITSU sur le serveur B.
> >
> > J'ai vérifié aussi que le BIOS était à jour, le firmware de la carte
> > PERC ainsi que des disques durs, la configuration RAID (write
> back, no
> > read ahead), reconstruction totale du RAID, la config système
> (j'ai même
> > fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
> >
> > Je n'explique pas cette différence de perfs, qui se vérifie sur un
> > VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB
> identique :
> >
> > root@serveur_A# hdparm -tT /dev/sda8
> >
> > /dev/sda8:
> >  Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
> >  Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05 MB/sec
> >
> >
> > root@serveur_B# hdparm -tT /dev/sda8
> >
> > /dev/sda8:
> >  Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
> >  Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50 MB/sec
> >
> >
> > Je sollicite donc votre aide !
> > Merci, et bonne semaine ;)
> >
>
> ___
> Liste de diffusion du FRsAG
> http://www.frsag.org/
>
>

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

J'ai fais le test sans réseau (ifdown) => les résultats sont identiques.

J'ai commandé une carte PERC de remplacement, je vous tiendrais au courant.

Greg

Le 05/04/2011 14:30, Jean Baptiste Favre a écrit :

Indirectement oui, en augmentant l'IO/Wait

JB


Le 05/04/11 08:44, Benjamin AVET a écrit :
La carte réseau limiterait le débit en lecture sur les disques ? même 
en test local ?


Le 4 avril 2011 23:41, Jean Baptiste FAVRE > a écrit :


Bonsoir,
Au risque de dire une connerie, quelle est la conf de la carte
réseau ?

J'explique: j'ai pu constater une différence importante du débit
disque
entre 2 machines identiques *juste* parce que l'une des deux
n'avait pas
le TSO d'activé.
Résultat: elle pédalait dans la semoule joyeusement :-/

Au cas où,
JB


On 04/04/2011 08:45, Gregory Duchatelet wrote:
> Bonjour,
>
> je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de
> réponses mais je tente ma chance :)
> J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10
6x SAS
> @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté
en 2008 à
> 3 mois d'intervalle. Les seules différences identifiées sont un
> processeur légèrement différent: un E5410 @2,33GHz sur le
serveur A et
> un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD
différente
> malgré la capa et la vitesse identique : des SEAGATE sur le
serveur A et
> des FUJITSU sur le serveur B.
>
> J'ai vérifié aussi que le BIOS était à jour, le firmware de la
carte
> PERC ainsi que des disques durs, la configuration RAID (write
back, no
> read ahead), reconstruction totale du RAID, la config système
(j'ai même
> fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
>
> Je n'explique pas cette différence de perfs, qui se vérifie sur un
> VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB
identique :
>
> root@serveur_A# hdparm -tT /dev/sda8
>
> /dev/sda8:
>  Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
>  Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05
MB/sec
>
>
> root@serveur_B# hdparm -tT /dev/sda8
>
> /dev/sda8:
>  Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
>  Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50
MB/sec
>
>
> Je sollicite donc votre aide !
> Merci, et bonne semaine ;)
>

___
Liste de diffusion du FRsAG
http://www.frsag.org/





___
Liste de diffusion du FRsAG
http://www.frsag.org/


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Jean Baptiste FAVRE]

Just for fun, que donne la commande:
ethtool -k eth0 ?

Existe-t-il une possibilité que ifdown n'empêche pas les IRQ (là, je
sais pas, c'est donc une question ouverte) ?

JB

On 05/04/2011 15:13, Gregory Duchatelet wrote:
> J'ai fais le test sans réseau (ifdown) => les résultats sont identiques.
> 
> J'ai commandé une carte PERC de remplacement, je vous tiendrais au courant.
> 
> Greg
> 
> Le 05/04/2011 14:30, Jean Baptiste Favre a écrit :
>> Indirectement oui, en augmentant l'IO/Wait
>>
>> JB
>>
>>
>> Le 05/04/11 08:44, Benjamin AVET a écrit :
>>> La carte réseau limiterait le débit en lecture sur les disques ? même
>>> en test local ?
>>>
>>> Le 4 avril 2011 23:41, Jean Baptiste FAVRE >> > a écrit :
>>>
>>> Bonsoir,
>>> Au risque de dire une connerie, quelle est la conf de la carte
>>> réseau ?
>>>
>>> J'explique: j'ai pu constater une différence importante du débit
>>> disque
>>> entre 2 machines identiques *juste* parce que l'une des deux
>>> n'avait pas
>>> le TSO d'activé.
>>> Résultat: elle pédalait dans la semoule joyeusement :-/
>>>
>>> Au cas où,
>>> JB
>>>
>>>
>>> On 04/04/2011 08:45, Gregory Duchatelet wrote:
>>> > Bonjour,
>>> >
>>> > je sais bien qu'un lundi matin je ne risque pas d'avoir beaucoup de
>>> > réponses mais je tente ma chance :)
>>> > J'ai 2 serveurs quasi identique, des Dell PE2950 avec un RAID10
>>> 6x SAS
>>> > @10krpm via une carte PERC 5/i, ces 2 serveurs ont été acheté
>>> en 2008 à
>>> > 3 mois d'intervalle. Les seules différences identifiées sont un
>>> > processeur légèrement différent: un E5410 @2,33GHz sur le
>>> serveur A et
>>> > un E5345 @2,33GHz sur le serveur B; ainsi qu'une marque de DD
>>> différente
>>> > malgré la capa et la vitesse identique : des SEAGATE sur le
>>> serveur A et
>>> > des FUJITSU sur le serveur B.
>>> >
>>> > J'ai vérifié aussi que le BIOS était à jour, le firmware de la
>>> carte
>>> > PERC ainsi que des disques durs, la configuration RAID (write
>>> back, no
>>> > read ahead), reconstruction totale du RAID, la config système
>>> (j'ai même
>>> > fais un clone), tenté le kernel 2.6.38, fais un diff de lshw...
>>> >
>>> > Je n'explique pas cette différence de perfs, qui se vérifie sur un
>>> > VACUUM PostgreSQL 10x plus long sur le serveur B pour une DB
>>> identique :
>>> >
>>> > root@serveur_A# hdparm -tT /dev/sda8
>>> >
>>> > /dev/sda8:
>>> >  Timing cached reads:   11346 MB in  2.00 seconds = 5679.55 MB/sec
>>> >  Timing buffered disk reads: 716 MB in  3.01 seconds = 238.05
>>> MB/sec
>>> >
>>> >
>>> > root@serveur_B# hdparm -tT /dev/sda8
>>> >
>>> > /dev/sda8:
>>> >  Timing cached reads:   610 MB in  2.00 seconds = 304.60 MB/sec
>>> >  Timing buffered disk reads: 192 MB in  3.02 seconds =  63.50
>>> MB/sec
>>> >
>>> >
>>> > Je sollicite donc votre aide !
>>> > Merci, et bonne semaine ;)
>>> >
>>>
>>> ___
>>> Liste de diffusion du FRsAG
>>> http://www.frsag.org/
>>>
>>>
>>
>>
>> ___
>> Liste de diffusion du FRsAG
>> http://www.frsag.org/
> 
> 
> 
> ___
> Liste de diffusion du FRsAG
> http://www.frsag.org/

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Gregory Duchatelet]

Bonjour,

Le 04/04/2011 15:37, Lilian - Devclic a écrit :
Non ... mais je vais pas tout refaire :) car c'est une histoire qui a 
pris du temps de notre côté pour les diagnostiques et on était en prod.


Le changement des 4 cartes PERC n'a plus du tout posé de problème 
depuis, avant constamment on avait un FS qui plantait très facilement 
( pour ça que l'on a acheté un SAN aussi ... )


J'ai procédé au changement de la carte PERC, bon point je n'ai pas perdu 
le RAID10 et n'ait pas eu besoin de réinstaller. Par contre les perfs 
sont toujours moisies 


Il faut que je fasse une mise à jour du firmware des disques durs 
Fujitsu (ils sont en D406, il existe une mise à jour facultative D407), 
et si c'est toujours pas bon je tenterais une inversion de disques avec 
l'autre serveur.


--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Lilian - Devclic]

Faut aussi voir sur la BBU ...

Par contre, oui les firmwares peuvent effectivement poser problème.

Le 07/04/11 16:47, Gregory Duchatelet a écrit :

Bonjour,

Le 04/04/2011 15:37, Lilian - Devclic a écrit :
Non ... mais je vais pas tout refaire :) car c'est une histoire qui a 
pris du temps de notre côté pour les diagnostiques et on était en prod.


Le changement des 4 cartes PERC n'a plus du tout posé de problème 
depuis, avant constamment on avait un FS qui plantait très facilement 
( pour ça que l'on a acheté un SAN aussi ... )


J'ai procédé au changement de la carte PERC, bon point je n'ai pas 
perdu le RAID10 et n'ait pas eu besoin de réinstaller. Par contre les 
perfs sont toujours moisies 


Il faut que je fasse une mise à jour du firmware des disques durs 
Fujitsu (ils sont en D406, il existe une mise à jour facultative 
D407), et si c'est toujours pas bon je tenterais une inversion de 
disques avec l'autre serveur.





--
RIGARD Lilian - Devclic SARL
Gérant - CEO&  CTO
Téléphone (Standard) / Phone : +33 3 57 75 61 46
Portable / Cell Phone : +33 6 29 59 21 34
E-mail : lil...@devclic.fr
Web : http://www.devclic.fr

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Performances IO différentes pour serveurs identiques

[Pierre-Henry Muller]

Le 7 avr. 2011 à 16:47, Gregory Duchatelet a écrit :

> Bonjour,
> 
> J'ai procédé au changement de la carte PERC, bon point je n'ai pas perdu le 
> RAID10 et n'ait pas eu besoin de réinstaller. Par contre les perfs sont 
> toujours moisies 
> 
> Il faut que je fasse une mise à jour du firmware des disques durs Fujitsu 
> (ils sont en D406, il existe une mise à jour facultative D407), et si c'est 
> toujours pas bon je tenterais une inversion de disques avec l'autre serveur.

Tente de faire sans raid aussi tu seras fixé pour les disques.

--
Pierre-Henry Muller



___
Liste de diffusion du FRsAG
http://www.frsag.org/