Bonjour,
Le 30/01/2020 à 11:22, Dernat Rémy a écrit :
A mon avis tu dois avoir du cache quelque part...
Oui, il y a le cache (mémoire) intégré à ZFS, mais pas de L2ARC.
Il y a 96Go de RAM sur l'hôte de virtualisation (il y avait une erreur
dans ma description initiale).
Sinon, est-ce que tu as activé de la compression à la volée ?
Oui la compression est active.
$ zfs get all | grep compression
[...]
rpool/data compression on
inherited from rpool
As-tu calculé les débits théoriques sur les disques ?
Il s'agit de disques SATA Entreprise à 7200tr/min dont l'interface est à
6 Gbps.
On peut écrire de manière soutenue à environ 190 Mo/s sur un disque
monté en direct (sans ZFS).
$ fio --name=seqfile --ioengine=libaio --iodepth=32 --rw=write --bs=16k
--direct=1 --size=4G --numjobs=8 --group_reporting
[...]
write: IOPS=11.6k, BW=181MiB/s (189MB/s)(32.0GiB/181426msec)
Je n'ai pas de problème particulier avec le débit disque en lui même.
Ce qui me questionne, c'est l'ordre de grandeur entre le débit sur le
système de fichier et le débit effectif résultant sur le sous-système
disque selon le type d'écriture:
-> en écriture aléatoire : fichier 2 Gbps --> ZFS --> disques 11 Gbps
-> en écriture séquentielle : fichier 8 Gbps --> ZFS --> disques 10 Gbps
Est-ce que tu as des ordres de grandeur similaires en écriture aléatoire
vs séquentielle sur ton infra ?
Merci.
--
Emmanuel DECAEN
> Le 29/01/2020 à 14:44, Emmanuel DECAEN a écrit :
>>
>> Bonjour,
>>
>> Depuis quelques semaines, je teste la solution Proxmox VE 6.1.
>> Il y a beaucoup de choses intéressantes, mais j'avoue avoir des
>> surprises avec la partie ZFS pour la virtualisation.
>>
>> J'ai une petite maquette avec un ancien serveur Dell :
>> - Chassis R730XD 12 slots
>> - 256 Go de RAM
>> - 10 disques SATA Entreprise 6 To en ZFS RAID z2 mode HBA
>> - 2 SSD SAS 1,8 To non utilisés pour le moment (ni ZIL, ni L2ARC).
>>
>> Quand je fais un test sur l'hôte de virtualisation (Proxmox) avec
>> fio, j'obtiens ceci:
>>
>> $ fio --name=randfile --ioengine=libaio --iodepth=32 --rw=randwrite
>> --bs=16k --direct=1 --size=4G --numjobs=8 --group_reporting
>> [...]
>> write: IOPS=13.8k, BW=216MiB/s (227MB/s)(32.0GiB/151568msec)
>>
>> ==> fio : 227 Mo/s
>>
>> Côté iostat sur l'intervalle de temps:
>> $ iostat -xm 60
>> avg-cpu: %user %nice %system %iowait %steal %idle
>> 0.29 0.00 30.98 9.80 0.00 58.93
>>
>> Device r/s w/s rMB/s wMB/s rrqm/s wrqm/s
>> %rrqm %wrqm r_await w_await aqu-sz rareq-sz wareq-sz svctm %util
>> sda 0.05 2185.70 0.00 133.04 0.00 5.00
>> 0.00 0.23 21.00 3.34 2.71 4.00 62.33 0.35 77.37
>> [...] (8 lignes similaires)
>> sdj 0.02 2169.40 0.00 133.04 0.00 4.70
>> 0.00 0.22 48.00 3.45 2.90 4.00 62.80 0.36 77.13
>>
>>
>> ==> iostat: 1330 Mo/s
>>
>> Côté zpool iostat sur l'intervalle de temps:
>> $ zpool iostat -v 60
>> capacity
>> operations bandwidth
>> pool alloc free read
>> write read write
>> ------------------------------------------ ----- ----- -----
>> ----- ----- -----
>> rpool 73.2G 54.5T 0
>> 19.4K 2.33K 1.30G
>> raidz2 73.2G 54.5T 0
>> 19.4K 2.33K 1.30G
>> ata-ST6000NM0024-1HT17Z_xxxxxxxx-part3 - - 0
>> 1.93K 204 133M
>> [...] (8 lignes similaires)
>> ata-ST6000NM0024-1HT17Z_xxxxxxxx-part3 - - 0
>> 1.92K 68 133M
>>
>> ==> zfs iostat: 1300 Mo/s
>>
>>
>> Le débit est cohérent entre iostat et zfs iostat.
>> Comment expliquer la différence entre l'écriture faite par fio à 227
>> Mo/s et celle relevée par les iostat à 1300 Mo/s ?
>>
>> Le fonctionnement de ZFS en RAID z2 + journal doit aboutir à un
>> facteur 6 côté débit ?
>>
>> Merci.
>> -- *
>> *Emmanuel DECAEN
>>
