[Monitoring zpool] Quelle outil pour monitorer ZFS I/O ? (Demande d'avis)

Ce qui ne concerne ni le forum ni des problèmes
egislard
Hankyu
Messages : 12
Inscription : mer. 09 déc. 2020, 12:56

[Monitoring zpool] Quelle outil pour monitorer ZFS I/O ? (Demande d'avis)

Message par egislard »

Bonjour a tous,

je poste ce message dans cette partie du forum car ce n'est pas un probleme mais une demande d'avis sur un sujet aue j'ai a tratier.

Je suis a la recherche d'un outil me permettant de monitorer les I/O ZFS de mon glusterFS. Les outils comme iostat et zpool sont deja installes sur mes machines, mais j'aimerais "exporter" ces donnees afin de les avoir sous forme de graphiques sur un outils tels que grafana (par exemple) (je n'ai pas de contraintes.) afin de les visualiser rapidement etsimplement h24.

J'ai deja plusieurs pistes sur le monitoring de ces I/O notamment :
- Cet exporter : https://github.com/ncabatoff/zfs-exporter
- Ce plugin de collectd (qui n'est pas installe) :https://github.com/deniszh/collectd-ios ... _python.py
- Cet outil, mais qui n'est pas compatible archlinux : https://github.com/damicon/zfswatcher (si vous avez un equivalent a tester je prend)
- Cet outil mais je crois qu'il ne fait pas les I/O donc je l'ai mis de cote : https://github.com/maireanu/zfsbeat

Et quelques autres pistes que je n'ai pas retenus. J'aimerais donc avoir si possible votre avis sur la question.

Peut etre avez deja installe un outil pour monitorer un pool zfs, si oui lequel ? Sinon avez vous d'autres proposition qui sont si possible "simple a mettre en place" ou du moins comprehensible avec de bonnes metriques et des graph.

Mon objectif est d'avoir un apercu en temps reel (sous forme de graph) des I/O de chaque disques de chaque machines de mon gluster. (GlusterFS)

Version de mon archlinux : Linux version 5.4.15-arch1-1 (linux@archlinux) (gcc version 9.2.0 (GCC)) #1 SMP PREEMPT Sun, 26 Jan 2020 09:48:50 +0000

Merci d'avance pour vos propositions, n'hesitez pas me poser des questions si besoin,

Cordialement
laurent85
Elfe
Messages : 951
Inscription : mar. 16 oct. 2018, 21:05

Re: [Monitoring zpool] Quelle outil pour monitorer ZFS I/O ? (Demande d'avis)

Message par laurent85 »

Bonjour,
Pourquoi ne pas monitorer directement les io disques avec des solutions logicielles de supervision type RRDTool ?
egislard
Hankyu
Messages : 12
Inscription : mer. 09 déc. 2020, 12:56

Re: [Monitoring zpool] Quelle outil pour monitorer ZFS I/O ? (Demande d'avis)

Message par egislard »

Bonsoir,

Merci pour votre réponse, c'est vrai que je n'ai pas regardé de ce côté là. C'est effectivement une piste que je peux explorer.

Je me suis directement penché vers collectd et différent plugins car ayant une bdd influxdb et l'outil grafana ideja à disposition il était plus simple pour moi de le mettre en place.

Je n'ai pas regarder en détail comment fonctionne cette solution à telle besoin d'un outil tiers pour être complet ?

Je vais faire des recherches sur ce sujet. Merci à vous.
laurent85
Elfe
Messages : 951
Inscription : mar. 16 oct. 2018, 21:05

Re: [Monitoring zpool] Quelle outil pour monitorer ZFS I/O ? (Demande d'avis)

Message par laurent85 »

Ça fait longtemps que je ne l'ai pas utilisé. Il y a des solutions basées dessus comme cacti https://www.cacti.net/

Il y en a sûrement plein d'autres plus ou moins complexes à mettre en oeuvre suivant les besoins.
https://oss.oetiker.ch/rrdtool/rrdworld/index.en.html et d'autres non basés sur rrdtool.

C'est le fait de monitorer les io disques uniquement pour les datasets zfs, c'est une information secondaire par rapport aux io disques réels.
egislard
Hankyu
Messages : 12
Inscription : mer. 09 déc. 2020, 12:56

Re: [Monitoring zpool] Quelle outil pour monitorer ZFS I/O ? (Demande d'avis)

Message par egislard »

Bonjour,

Merci pour vos liens et votre idee, je suis actuellement entrain de faire une machine "test" afin de voir si cela correspond bien a mes besoin, je vous ferais un retour sur l'outil des que j'aurais installe et parametre l'ensemble.

Encore merci !
egislard
Hankyu
Messages : 12
Inscription : mer. 09 déc. 2020, 12:56

Re: [Monitoring zpool] Quelle outil pour monitorer ZFS I/O ? (Demande d'avis)

Message par egislard »

Bonsoir,

Je reviens vers vous car j'ai finis d'installe cacti sur une VM et j'ai rajouter un hôte test, a savoir un node de mon glusterFS afin de voir les données que je pouvais recevoir pour les i/o.

(je ne sais malheureusement pas comment insérer une image sur ce forum) mais je vois que j'ai 2 graphiques un pour les i/o : les lecture / écriture (Combined SCSI Disk I/O) un pour les DISK Bytes.

Ai-je manque quelque chose, ou il n'est pas possible d'avoir un graphique lecture/ecriture pour chaque disque de ma machines ?

Elle a en effet un système de raid avec 10 disques et je voulais savoir s'il était possible de monitorer chaque disque un par un avec cacti (i/o).

Je me demande même si cela est "nécessaire" ou si le graphique Combined SCSI I/O fournit "assez" d'information.

L'objectif de se monitoring et de savoir pour pendant certaines phases nous avons des ralentissement sur le glusterFS.

Merci d'avance pour vos retour et bonne fêtes a vous.
egislard
Hankyu
Messages : 12
Inscription : mer. 09 déc. 2020, 12:56

Re: [Monitoring zpool] Quelle outil pour monitorer ZFS I/O ? (Demande d'avis)

Message par egislard »

Bonjour,

J'espere que vous avez passe de bonnes fetes !

Vous n'avez aucune autres idee a propos de mon "probleme" de monitoring ? je ne vois que IOSTAT push in Grafane pour faire ca pour le moment.

Je n'ai pas pousse mes recherches jusqu'au bout sur rrdtools, mais de ce que j'ai sur cacti, il ne me semble pas possible de faire du cas par cas (disque par disque)

Merci d'avance
Répondre