[FRsAG] DRBD valeur syncer

Valentin FERON valferon at gmail.com
Sam 29 Mar 15:28:27 CET 2014


Hello,

Au vu de tes logs, DRBD semble être configuré comme tu le souhaite ( speed:
73,756 (70,644) *want: 1,000,001 K/sec *)

Je regarderai du côté des perfs disques peut être, tu peux nous en dire un
peu plus ?

(un basique dd bs=1M count=1024 if=/dev/zero of=delme conv=fdatasync devrait
nous donner une idee)

Feron Valentin
valferon at gmail.com
0474 225 521


Le 30 mars 2014 01:08, Sébastien 65 <sebastien-65 at live.fr> a écrit :

> Bonjour,
>
> Alors voici les tests d'une synchro de 4To sur l'interface Giga des deux
> serveurs :
>
> root at node1:/etc/drbd.d# drbdsetup /dev/drbd0 syncer -r 1000M
> root at node1:/etc/drbd.d# cat /proc/drbd
> version: 8.3.11 (api:88/proto:86-96)
> srcversion: F937DCB2E5D83C6CCE4A6C9
>  0: cs:SyncTarget ro:Primary/Secondary ds:Inconsistent/UpToDate C r-----
>     ns:0 nr:9537420 dw:9537408 dr:8 al:0 bm:582 lo:1 pe:7410 ua:0 ap:1
> ep:1 wo:f oos:3897360024
>         [>....................] sync'ed:  0.3% (3806012/3815328)Mfinish:
> 14:40:25 speed: 73,756 (70,644) want: 1,000,001 K/sec
>
>
>
> #### atop
> PRC | sys    2.41s |  user   0.00s |              |               |
> #proc     72 |               | #trun      1 | #tslpi    73  | #tslpu     1
> |               | #zombie    0 | clones     0  |
> |               | #exit      0 |
> CPU | sys      19% |  user      0% |              |  irq       1%
> |              |               | idle    275% | wait    105%
> |              |               | steal     0% | guest     0%
> |              | curf 2.80GHz  | curscal   ?% |
> cpu | sys      19% |  user      0% |              |  irq       1%
> |              |               | idle     80% | cpu003 w  0%
> |              |               | steal     0% | guest     0%
> |              | curf 2.80GHz  | curscal   ?% |
> cpu | sys       2% |  user      0% |              |  irq       0%
> |              |               | idle     98% | cpu001 w  0%
> |              |               | steal     0% | guest     0%
> |              | curf 2.80GHz  | curscal   ?% |
> cpu | sys       0% |  user      0% |              |  irq       0%
> |              |               | idle    100% | cpu002 w  0%
> |              |               | steal     0% | guest     0%
> |              | curf 2.80GHz  | curscal   ?% |
> cpu | sys       0% |  user      0% |              |  irq       0%
> |              |               | idle      0% | cpu000 w100%
> |              |               | steal     0% | guest     0%
> |              | curf 2.80GHz  | curscal   ?% |
> CPL | avg1    1.95 |               | avg5    0.84 |               |
> avg15   0.78 |               |              |               | csw   108392
> |               | intr   53239 |               |
> |               | numcpu     4 |
> MEM | tot     2.0G |               | free    1.7G |  cache  71.0M
> |              |  dirty   0.5M | buff    4.7M |               | slab
> 17.9M |               |              |               |
> |               |              |
> SWP | tot     4.0G |               | free    4.0G |
> |              |               |              |
> |              |               |              |               | vmcom
> 41.0M |               | vmlim   5.0G |
> DSK |          sdb |               | busy     70% |  read       0
> |              |  write   5323 | KiB/r      0 |               | KiB/w
> 131 | MBr/s   0.00  |              | MBw/s  68.59  | avq     1.27
> |               | avio 1.25 ms |
> DSK |          sda |               | busy      1% |  read       4
> |              |  write      2 | KiB/r      7 |               | KiB/w
> 38 | MBr/s   0.00  |              | MBw/s   0.01  | avq     1.57
> |               | avio 9.33 ms |
> NET | transport    |  tcpi   47361 |              |  tcpo   46753 |
> udpi       0 |  udpo       0 | tcpao      0 |               | tcppo      0
> | tcprs      0  | tcpie      0 | tcpor      0  |              | udpnp
> 0  | udpip      0 |
> NET | network      |               | ipi    47363 |  ipo    46754
> |              |  ipfrw      0 | deliv  47363 |
> |              |               |              |               | icmpi
> 0 |               | icmpo      0 |
> NET | eth1     60% |  pcki  502072 |              |  pcko   46743 | si
> 601 Mbps |               | so 2749 Kbps | coll       0  | mlti       0
> |               | erri       0 | erro       0  |              | drpi
> 0  | drpo       0 |
> NET | eth0      0% |  pcki      17 |              |  pcko      11 | si
> 1 Kbps |               | so   10 Kbps | coll       0  | mlti       0
> |               | erri       0 | erro       0  |              | drpi
> 0  | drpo       0 |
>   PID         RUID              EUID              THR
> SYSCPU           USRCPU          VGROW           RGROW
> RDDSK          WRDSK          ST          EXC         S
> CPUNR           CPU         CMD         1/1
>  2575         root              root                1
> 1.94s            0.00s             0K              0K
> 0K             0K          --            -         S
> 3           20%         drbd0_receiver
>  2580         root              root                1
> 0.37s            0.00s             0K              0K
> 0K             0K          --            -         S
> 3            4%         drbd0_asender
>  2560         root              root                1
> 0.04s            0.00s             0K              0K
> 0K             0K          --            -         S
> 1            0%         drbd0_worker
>  2860         root              root                1
> 0.02s            0.00s          8888K            728K
> 0K             0K          --            -         R
> 2            0%         atop
>  2512         root              root                1
> 0.02s            0.00s             0K              0K
> 0K             0K          --            -         S
> 3            0%         kworker/3:0
>  2533         root              root                1
> 0.02s            0.00s             0K              0K
> 0K             0K          --            -         S
> 3            0%         kworker/3:1
>  2096         root              root                1
> 0.00s            0.00s             0K              0K
> 0K             0K          --            -         S
> 3            0%         sshd
>  1915         root              root                1
> 0.00s            0.00s            28K            472K
> 28K             0K          --            -         S
> 1            0%         cron
>    25         root              root                1
> 0.00s            0.00s             0K              0K
> 0K             0K          --            -         S
> 2            0%         sync_supers
>   176         root              root                1
> 0.00s            0.00s             0K              0K
> 0K             4K          --            -         S
> 3            0%         jbd2/sda1-8
>  2531         root              root                1
> 0.00s            0.00s             0K              0K
> 0K             0K          --            -         S
> 2            0%         flush-8:0
>
>
> ### iftop -i eth1
> node1
> =>
> node2
> 2,16Mb  2,15Mb  2,14Mb
>
> <=
> 550Mb   549Mb   549Mb
>
>
> ------------------------------
> Date: Sun, 30 Mar 2014 00:57:18 +1100
> From: valferon at gmail.com
> To: frsag at frsag.org
> Subject: Re: [FRsAG] DRBD valeur syncer
>
>
> Hello,
>
> En passant le syncer a 1000M au lieu de 100M, la difference est minime
> etant donne qu'en admettant que ton lien est le bottleneck et pas les
> disques, la vitesse theorique maximale est de 125MB/s.
>
> A 100M/s tu es donc pas loin de ta vitesse maximum de synchro.
>
> Comme le dit Olivier, 30% une fois la premiere synchro faite est
> recommande et un bon compromis.
>
> J'aime bien 'atop' personellement pour mettre en evidence ce genre de
> limitations (hdd, cpu, mem, inet}.
>
> My 2 cents.
>
> Val
>
> Le 29 mars 2014 23:46, Olivier <olc at glou.fr> a écrit :
>
> Hello,
>
>
> On 29/03/2014 13:23, Sébastien 65 wrote:
>
> Quelle valeur pensez vous la meilleure concernant le syncer > rate pour
> un DRBD (Actif/Passif) avec un lien Giga dédié à la synchro ?
>
>
> La doc suggère un mode de calcul (en gros, 30% de la capacité max du
> maillon le plus faible). Cela dit, pour la synchro initiale, autant mettre
> tout à fond.
>
> http://www.drbd.org/users-guide/s-configure-sync-rate.html (8.4)
> http://www.drbd.org/users-guide-8.3/s-configure-syncer-rate.html (8.3)
>
> NB : syncer est deprécié à partir de drbd 8.4, ça explique pourquoi il n'y
> a eu pas de changement si tu utilises cette version. En effet, sauf erreur
> drbd ignore la section "syncer" mais ne prévient pas. :)
>
> Durant les phases de synchro, notamment la synchro initiale, il est utile
> d'observer l'état de drbd (watch cat /proc/drbd), on y voit notamment le
> temps estimé et la vitesse de synchro (en plus du pourcentage). C'est le
> bon moment pour changer les paramètres en live, observer les éventuelles
> incidences, repérer les éventuels goulots. Penser à bien surveiller la
> charge CPU, la charge réseau (iftop), et les IO sur la source et la cible
> (top/iowaits, iostat -xm 5).
>
> a+
> --
> Oliv
> _______________________________________________
> Liste de diffusion du FRsAG
> http://www.frsag.org/
>
>
>
> _______________________________________________ Liste de diffusion du
> FRsAG http://www.frsag.org/
>
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://www.frsag.org/pipermail/frsag/attachments/20140330/bf42928a/attachment.html>


Plus d'informations sur la liste de diffusion FRsAG