[Réseau] Solutions pour réplication de rootfs [Résolu]

[RoyalPanda]

Bonjour à tous.

Je me questionne depuis un certain temps sur une "bonne" réponse à mon problème :
Je bosse sur deux sites distants. J'ai actuellement un portable, mais je souhaiterai passer sur deux fixes, un sur chaque sites. La solution théorique idéale serait un Raid 1 asynchrone avec possibilité de contrôler le débit suivant les heures (Je ne veux pas pourrir la connexion des deux sites sur les heures de bureaux, ni sur les heures de sauvegardes).

J'ai bien évidemment envisagé le Rsync, mais j'aurais préféré mettre en place quelque chose de sous-jacent soit au niveau FS, soit au niveau Block Device. Par contre, je ne souhaite pas centraliser, c'est à dire que les deux ordis doivent être pairs. Si l'un tombe, ne se synchro pas ou autre, pas de problème. Lorsque la connexion revient, la synchro revient tout simplement.

J'ai jeté un coup d’œil a DRBD, et à pas mal de File System distribués et le problème majeur est l'obligation de mettre en place un serveur tiers dans la plupart des cas. Est-ce possible de faire quelque chose comme du raid logiciel sur le réseau ? Type dm-raid ou lvm ?
Sinon, au début, j'avais pensé utiliser un Disque Dur externe pour faire une sorte de raid 1 à trois disques : 1 disques sur chaque site + le disque USB qui transmet les modifications entre les sites avec sauvegarde sur chaque site. Ça ne me semble pas être une bonne idée du fait que je trimbale un disque dur et que s'il lâche, brule, se fait voler, j'aurais de toute façon besoin d'une synchro sur le réseau pour récupérer les dernières modifications.

Voilà ou j'en suis. Actuellement c'est Rsync que je vois seul envisageable. Si quelqu'un a de l'expérience en la matière, je suis preneur.
Merci de vos réponses.

[RoyalPanda]

Devant l'afflux de réponses je me vois dans l'obligation de m'auto-répondre:
Je n'avance pas beaucoup pour l'instant. Si jamais je trouve la perle rare, je vous en ferait part.

[mélodie]

Salut,

J'ai lu des infos sur zsync hier, ça pourrait t'intéresser:
http://zsync.moria.org.uk/paper/paper.html

Je pense à des commandes zsync dans un cron. (Tu verras la comparaison entre rsync et zsync, dans la page du lien ci-dessus).

Je n'ai pas tout à fait compris cependant si tu veux répliquer directement entre les deux sites distants ou si tu veux avoir un intermédiaire entre les deux. À ce sujet (avec intermédiaire) j'ai aussi entrevu des possibilités qui m'ont semblé intéressantes dans certains cas, avec FXP pour le ftp (pourvu que les serveurs distants le supportent, dit la doc). Et lftp (mon client préféré) le supporte. (Mais c'est peut-être un autre sujet).

[RoyalPanda]

Salut,

Après lecture, bien que Zsync paraisse être un projet intéressant, il ne conviendra pas. Le protocole HTTP impliqué sera d'une part trop lourd à mettre en place (serveur, sécurité du serveur (je compte répliqué un rootfs)) et ensuite de ce que la personne dit de son système c'est qu'en utilisant HTTP, il y a un volume de données non-utiles plus important.

Sinon, pour ton deuxième point, en effet je veux répliquer directement du PC-A au PC-B sans aucun PC-C.

Finalement, après pas mal de tergiversation, je vais me tourner vers un système comme suit :

- Deux PC : PC-A et PC-B.
- J'utilise PC-A, Les données doivent répliqués vers PC-B.
- PC-A boot normalement sur le rootfs, PC-B boot en mode Live avec un serveur ssh et un client RSync.
- PC-B lance des Rsync automatiquement pendant la journée avec des limitation de bande passante.
- A la fin de la journée, je lance un dernier script qui arrête les RSync de PC-B, reboot PC-A en mode live, lance un Rsync pour la nuit depuis PC-A.
- Quand le Rsync de la nuit finit, PC-B reboot en mode normal, ou s'éteint, suivant mon degré de patience le matin (oui le degré de patience sera hardcodé .

Finalement RSync aura eu le dernier mot, mais seulement par que je voulais une solution n'impliquant pas d'achat, ou de récupération de serveurs. Sachant que si j'avais eu sur chaque site un NAS digne de ce nom ou un SAN, j'aurais plutôt utilisé DRBD ou open-iSCSI.

A bientôt les Archers.

[benjarobin]

Tu parles depuis le début de rootfs, rassure moi, tu ne compte pas répliquer la racine ?
C'est une très très mauvaise idée, car le gestionnaire de paquet ne gérera / ne contrôlera pas les fichiers : Probabilité de casser le système : 99% en moins d'un mois.

[RoyalPanda]

Si, si, je compte répliquer la racine.
Je ne vois pas ce qui gênera Pacman dans cette solution. D'une part la réplication se fait en offline sur le PC-Distant, d'autre part, même si les deux racines étaient actives, pacman génère un .lock afin d'éviter deux instances simultanées.

édit : fautes

[mélodie]

Pour le volume de données "non utiles" (il n'a pas dit non utiles mais plutôt très important) il parlait de rsync et non de zsync -lequel permet d'envoyer le delta d'un fichier donné, lequel fichier est ensuite reconstruit à partir du fichier existant auquel s'ajoutera le delta. Par contre, il me semble que zsync serait plus pour des images iso ou des paquets que pour des fichiers d'un système de fichiers. Cependant comme je n'ai pas exploré le man de zsync et sa documentation à fond j'ai pensé que tu voudrais peut-être vérifier ce point.

[RoyalPanda]

Dans la comparaison avec Rsync, il me semble qu'il dit qu'a cause du protocole utiliser par ZSync (HTTP), le nombre d'octets non-utiles lié aux protocole HTTP en lui-même (http-header etc...) était plus important comparé à du RSync sur SSH par exemple.

De plus, sécuriser entièrement une racine distribuée par HTTP me semble difficile, comparé à un bon mot de passe pour SSH.

Par contre le commentaire sur la réplication de racine mettant Pacman en difficulté, j'aimerai bien avoir de plus amples informations parce que la je nage complètement.

[benjarobin]

Si tu duplique parfaitement les 2 machines hors lignes il n'y aura pas de souci. En effet je n'avais pas compris que tu faisais la duplication hors ligne.
Dans tous les cas il y a intérêt qu'aucun fichier ne soit oublié lors de la synchronisation. Bref je n'aime pas trop l'idée mais cela fonctionnera (en théorie).

[RoyalPanda]

Bref je n'aime pas trop l'idée mais cela fonctionnera (en théorie).

Erf, moi non plus mais je n'ai trouvé que ça...

[Moviuro]

Pour la synchro, regarde unison: ça utilise ssh et ocaml. De mon expérience, je n'ai jamais eu aucun souci avec.

J'utilise ça dans un cas différent, mais l'avantage c'est que c'est de la synchro bi-directionnelle.
(J'ai un serveur toujours online et deux clients qui, s'ils sont allumés, vont, toutes les 20 minutes, se synchroniser : si le serveur a des fichiers plus récents, le client applique les changements et vice-versa et ça fonctionne du tonnerre)

Répliquer / par contre ça ne fonctionnera pas : comment tu veux que tes machines gèrent les logs correctement ? et les noms des sockets ? initramfs ? statut des services systemd ? resolv.conf ? hwdb.bin ? et j'en passe et des meilleures...

Ce qui ferait plus sens, c'est synchroniser la liste des paquets installés à droite et à gauche, le /root, le /home et garder les /etc dans 2 endroits différents :

Code : Tout sélectionner

machine1 # ls -l /
[...] /etc -> /srv/etc/machine1 [...]
machine2 # ls -l /
[...] /etc -> /srv/etc/machine2 [...]

C'est ce que moi je ferais.

J'espère que tu ne tenteras pas le diable (répliquer bêtement /), parce que c'est un coup à tout bousiller.

[benjarobin]

Si tu répliques hors ligne, c'est à dire depuis un autre OS (liveCD), cela marchera très bien. Par contre je trouve ceci très lourd...
Il suffit d'ignorer certains dossier comme /var/log...

[RoyalPanda]

Bonjour à tous.

Petite précision : les deux PC sont identiques, et je compte bien blacklister tout les dossiers tmpfs, tel que /dev /sys /proc. Par contre, je veux garder mes logs, comme si je transportais physiquement ma machine.
@Moviuro : De toute façon, je me suis rendu compte que je ne pouvais pas faire tourner mes deux systèmes simultanément sur la même racine, même si c'est ce que j’espérais faire au début. Il faudrait utiliser une ingénierie bien trop lourde pour l'utilisation que j'en ferais.

Je vais monter le bouzin dans les jours prochains, je ferai un petit retour sur la viabilité de la chose.

Merci de vos réponses.

[RoyalPanda]

Bonjour,

Je viens mettre le point final au topic.
Voici la configuration en cours, qui ne bougera pas beaucoup je pense :

PC A & PC B sont identiques jusqu'aux UUID des partitions.
Une partition spéciale appelée Clonarch est la pour s'occuper de la réplication Offline.
Ensuite avec Rsync lancé depuis Clonarch, je réplique ma rootfs le midi avec limitation, et la nuit sans limitation.

Pour l'instant tout marche bien. Par contre le gros défaut de cette solution est que j'ai maintenant quatre OS à maintenir. La ou j'en aurais eu deux si j'avais opté pour une solution avec un serveur tiers. Il n'y a pas spécialement grand chose à faire pour les maintenir mais ce sont quand même des sources de pannes.

Voilà, vous savez tout.
A bientôt.