[FRsAG] DRBD valeur syncer

Sébastien 65 sebastien-65 at live.fr
Sam 29 Mar 15:53:20 CET 2014


Bonjour,
 
En fait si tu changes le syncer par 100M le want passe à 102,400 K/sec mais la vitesse reste identique... Donc je pense que les disques doivent être au max.
J'utilise un cordon patch de 50cm CAT6A afin d'essayer d'optimiser le transfert entre les deux nodes...
 
Pour le moment je suis encore en synch, donc je vais attendre que la synchro soit terminée pour donner les perfs disques.
 
Date: Sun, 30 Mar 2014 01:28:27 +1100
Subject: Re: [FRsAG] DRBD valeur syncer
From: valferon at gmail.com
To: sebastien-65 at live.fr
CC: frsag at frsag.org

Hello,
Au vu de tes logs, DRBD semble être configuré comme tu le souhaite ( speed: 73,756 (70,644) want: 1,000,001 K/sec )

Je regarderai du côté des perfs disques peut être, tu peux nous en dire un peu plus ? 

(un basique dd bs=1M count=1024 if=/dev/zero of=delme conv=fdatasync devrait nous donner une idee)
Feron Valentin
valferon at gmail.com0474 225 521



Le 30 mars 2014 01:08, Sébastien 65 <sebastien-65 at live.fr> a écrit :




Bonjour,
 
Alors voici les tests d'une synchro de 4To sur l'interface Giga des deux serveurs :
 
root at node1:/etc/drbd.d# drbdsetup /dev/drbd0 syncer -r 1000M

root at node1:/etc/drbd.d# cat /proc/drbd
version: 8.3.11 (api:88/proto:86-96)
srcversion: F937DCB2E5D83C6CCE4A6C9
 0: cs:SyncTarget ro:Primary/Secondary ds:Inconsistent/UpToDate C r-----

    ns:0 nr:9537420 dw:9537408 dr:8 al:0 bm:582 lo:1 pe:7410 ua:0 ap:1 ep:1 wo:f oos:3897360024
        [>....................] sync'ed:  0.3% (3806012/3815328)Mfinish: 14:40:25 speed: 73,756 (70,644) want: 1,000,001 K/sec

 

 
#### atop
PRC | sys    2.41s |  user   0.00s |              |               | #proc     72 |               | #trun      1 | #tslpi    73  | #tslpu     1 |               | #zombie    0 | clones     0  |              |               | #exit      0 |

CPU | sys      19% |  user      0% |              |  irq       1% |              |               | idle    275% | wait    105%  |              |               | steal     0% | guest     0%  |              | curf 2.80GHz  | curscal   ?% |

cpu | sys      19% |  user      0% |              |  irq       1% |              |               | idle     80% | cpu003 w  0%  |              |               | steal     0% | guest     0%  |              | curf 2.80GHz  | curscal   ?% |

cpu | sys       2% |  user      0% |              |  irq       0% |              |               | idle     98% | cpu001 w  0%  |              |               | steal     0% | guest     0%  |              | curf 2.80GHz  | curscal   ?% |

cpu | sys       0% |  user      0% |              |  irq       0% |              |               | idle    100% | cpu002 w  0%  |              |               | steal     0% | guest     0%  |              | curf 2.80GHz  | curscal   ?% |

cpu | sys       0% |  user      0% |              |  irq       0% |              |               | idle      0% | cpu000 w100%  |              |               | steal     0% | guest     0%  |              | curf 2.80GHz  | curscal   ?% |

CPL | avg1    1.95 |               | avg5    0.84 |               | avg15   0.78 |               |              |               | csw   108392 |               | intr   53239 |               |              |               | numcpu     4 |

MEM | tot     2.0G |               | free    1.7G |  cache  71.0M |              |  dirty   0.5M | buff    4.7M |               | slab   17.9M |               |              |               |              |               |              |

SWP | tot     4.0G |               | free    4.0G |               |              |               |              |               |              |               |              |               | vmcom  41.0M |               | vmlim   5.0G |

DSK |          sdb |               | busy     70% |  read       0 |              |  write   5323 | KiB/r      0 |               | KiB/w    131 | MBr/s   0.00  |              | MBw/s  68.59  | avq     1.27 |               | avio 1.25 ms |

DSK |          sda |               | busy      1% |  read       4 |              |  write      2 | KiB/r      7 |               | KiB/w     38 | MBr/s   0.00  |              | MBw/s   0.01  | avq     1.57 |               | avio 9.33 ms |

NET | transport    |  tcpi   47361 |              |  tcpo   46753 | udpi       0 |  udpo       0 | tcpao      0 |               | tcppo      0 | tcprs      0  | tcpie      0 | tcpor      0  |              | udpnp      0  | udpip      0 |

NET | network      |               | ipi    47363 |  ipo    46754 |              |  ipfrw      0 | deliv  47363 |               |              |               |              |               | icmpi      0 |               | icmpo      0 |

NET | eth1     60% |  pcki  502072 |              |  pcko   46743 | si  601 Mbps |               | so 2749 Kbps | coll       0  | mlti       0 |               | erri       0 | erro       0  |              | drpi       0  | drpo       0 |

NET | eth0      0% |  pcki      17 |              |  pcko      11 | si    1 Kbps |               | so   10 Kbps | coll       0  | mlti       0 |               | erri       0 | erro       0  |              | drpi       0  | drpo       0 |

  PID         RUID              EUID              THR           SYSCPU           USRCPU          VGROW           RGROW           RDDSK          WRDSK          ST          EXC         S          CPUNR           CPU         CMD         1/1

 2575         root              root                1            1.94s            0.00s             0K              0K              0K             0K          --            -         S              3           20%         drbd0_receiver

 2580         root              root                1            0.37s            0.00s             0K              0K              0K             0K          --            -         S              3            4%         drbd0_asender

 2560         root              root                1            0.04s            0.00s             0K              0K              0K             0K          --            -         S              1            0%         drbd0_worker

 2860         root              root                1            0.02s            0.00s          8888K            728K              0K             0K          --            -         R              2            0%         atop

 2512         root              root                1            0.02s            0.00s             0K              0K              0K             0K          --            -         S              3            0%         kworker/3:0

 2533         root              root                1            0.02s            0.00s             0K              0K              0K             0K          --            -         S              3            0%         kworker/3:1

 2096         root              root                1            0.00s            0.00s             0K              0K              0K             0K          --            -         S              3            0%         sshd

 1915         root              root                1            0.00s            0.00s            28K            472K             28K             0K          --            -         S              1            0%         cron

   25         root              root                1            0.00s            0.00s             0K              0K              0K             0K          --            -         S              2            0%         sync_supers

  176         root              root                1            0.00s            0.00s             0K              0K              0K             4K          --            -         S              3            0%         jbd2/sda1-8

 2531         root              root                1            0.00s            0.00s             0K              0K              0K             0K          --            -         S              2            0%         flush-8:0



### iftop -i eth1
node1                                                                                                => node2                                                                                                 2,16Mb  2,15Mb  2,14Mb

                                                                                                         <=                                                                                                            550Mb   549Mb   549Mb


 
Date: Sun, 30 Mar 2014 00:57:18 +1100
From: valferon at gmail.com
To: frsag at frsag.org
Subject: Re: [FRsAG] DRBD valeur syncer


Hello,

En passant le syncer a 1000M au lieu de 100M, la difference est minime etant donne qu'en admettant que ton lien est le bottleneck et pas les disques, la vitesse theorique maximale est de 125MB/s. 

A 100M/s tu es donc pas loin de ta vitesse maximum de synchro.


Comme le dit Olivier, 30% une fois la premiere synchro faite est recommande et un bon compromis.


J'aime bien 'atop' personellement pour mettre en evidence ce genre de limitations (hdd, cpu, mem, inet}.


My 2 cents.
Val


Le 29 mars 2014 23:46, Olivier <olc at glou.fr> a écrit :


Hello,



On 29/03/2014 13:23, Sébastien 65 wrote:


Quelle valeur pensez vous la meilleure concernant le syncer > rate pour

un DRBD (Actif/Passif) avec un lien Giga dédié à la synchro ?




La doc suggère un mode de calcul (en gros, 30% de la capacité max du maillon le plus faible). Cela dit, pour la synchro initiale, autant mettre tout à fond.



http://www.drbd.org/users-guide/s-configure-sync-rate.html (8.4)

http://www.drbd.org/users-guide-8.3/s-configure-syncer-rate.html (8.3)



NB : syncer est deprécié à partir de drbd 8.4, ça explique pourquoi il n'y a eu pas de changement si tu utilises cette version. En effet, sauf erreur drbd ignore la section "syncer" mais ne prévient pas. :)





Durant les phases de synchro, notamment la synchro initiale, il est utile d'observer l'état de drbd (watch cat /proc/drbd), on y voit notamment le temps estimé et la vitesse de synchro (en plus du pourcentage). C'est le bon moment pour changer les paramètres en live, observer les éventuelles incidences, repérer les éventuels goulots. Penser à bien surveiller la charge CPU, la charge réseau (iftop), et les IO sur la source et la cible (top/iowaits, iostat -xm 5).





a+

-- 

Oliv

_______________________________________________

Liste de diffusion du FRsAG

http://www.frsag.org/




_______________________________________________
Liste de diffusion du FRsAG
http://www.frsag.org/ 		 	   		  

 		 	   		  
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://www.frsag.org/pipermail/frsag/attachments/20140329/ec53cc31/attachment-0001.html>


Plus d'informations sur la liste de diffusion FRsAG