[mdadm] Copie d'un disque complet sur un RAID1 (EN COURS...)

Questions et astuces concernant l'installation et la configuration d'archlinux
Répondre
Avatar de l’utilisateur
L_Indien
Chu Ko Nu
Messages : 357
Inscription : dim. 14 nov. 2010, 09:47
Localisation : En mouvement perpétuel...

[mdadm] Copie d'un disque complet sur un RAID1 (EN COURS...)

Message par L_Indien » lun. 09 sept. 2019, 19:38

Bonjour à toutes et à tous,

J'utilise le logiciel mdadm.

Est-il possible de copier un disque complet (ou RAID1) sur un autre RAID1 en utilisant mdadm ?

Je pense que c'est possible, mais je bloque.

Les essais sont effectués en virtualisation.

Je créée une grappe raid1 (2 disques et 1 spare), que je remplis de données.
J'ai donc un RAID1, du nom 1er.

Et je veux mettre les données du RAID 1er sur un autre RAID1 plus grand (Scd).

J'ai testé plusieurs manip sans vraiment y arriver.

Auriez-vous une ou deux idées ?

Je vous remercie.

Bonne soirée.
Dernière modification par L_Indien le mer. 08 avr. 2020, 18:32, modifié 2 fois.
Différence entre windows et linux
Linux est multi-tâches, windows est multi-taches.
L'Indien de la Douche - Soutient L'April

benjarobin
Maître du Kyudo
Messages : 15900
Inscription : sam. 30 mai 2009, 15:48
Localisation : Lyon

Re: [mdadm] Copie d'un disque complet sur un RAID1 (EN COURS)

Message par benjarobin » lun. 09 sept. 2019, 19:41

Bonjour,
mdadm permet de créer, et gérer ton raid. Je ne vois pas le rapport avec une copie. La copie se fait comme tout autre copie.
Le raid une fois assemblé est vu comme un disque, donc ta question c'est comment copier un disque vers un autre disque.
Je te pose donc la question de ce que tu veux copier et quel volume utile tu veux copier.
Zsh | KDE | PC fixe : core i7, carte nvidia | Portable : Asus ul80vt
Titre d'un sujet : [Thème] Sujet (état)

Avatar de l’utilisateur
L_Indien
Chu Ko Nu
Messages : 357
Inscription : dim. 14 nov. 2010, 09:47
Localisation : En mouvement perpétuel...

Re: [mdadm] Copie d'un disque complet sur un RAID1 (EN COURS)

Message par L_Indien » lun. 09 sept. 2019, 20:39

Bonsoir Benjarobin,

Je te remercie pour ta réponse.

Je dois copier 5To.

J'ai pensé à rsync, mais j'ai eu des erreurs avec. J'ai des noms de fichiers à rallonge (des dossiers dans des dossiers dans des dossiers [...] dans des dossiers dans des dossiers ....)

Je me suis donc tourné vers mdadm, car il synchronise les disques lors de la création.

L'idée était d'ajouter les disques du nouveau raid dans l'ancien, mais sans créer le nouveau raid.
mdadm synchronise les disques (donc, les nouveaux)
Puis, une fois la synchronisation effectuée, je retire les nouveaux disques de l'ancien raid pour les assembler sur un nouveau raid.

Indirectement, mdadm à copier l'intégralité de l'ancien raid sur le nouveau, non ?

Je te l'avoue, c'est écraser une mouche avec un canon, mais au moins la copie sera correctement effectuée.

Bonne soirée.

Petit détail : l'ancien et le nouveau RAID sont identiques, au niveau du type. C'est un RAID1 avec 1 disque de spare, soit 3 disques par RAID.
Différence entre windows et linux
Linux est multi-tâches, windows est multi-taches.
L'Indien de la Douche - Soutient L'April

benjarobin
Maître du Kyudo
Messages : 15900
Inscription : sam. 30 mai 2009, 15:48
Localisation : Lyon

Re: [mdadm] Copie d'un disque complet sur un RAID1 (EN COURS)

Message par benjarobin » lun. 09 sept. 2019, 20:59

Non, la synchronisation n'a strictement rien à voir... Tu ne devrait surtout pas tenter cela.

Tu as plusieurs méthodes pour copier un disque vers un autre :
- dd
- rsync (et non tu ne devrais pas avoir de problème sur un système de fichiers Linux)
- La copie du système de fichiers via partclone.

Mais je te conseille clonezilla, qui fait tout automatiquement et de manière très performante.
Zsh | KDE | PC fixe : core i7, carte nvidia | Portable : Asus ul80vt
Titre d'un sujet : [Thème] Sujet (état)

laurent85
Elfe
Messages : 585
Inscription : mar. 16 oct. 2018, 21:05

Re: [mdadm] Copie d'un disque complet sur un RAID1 (EN COURS)

Message par laurent85 » lun. 09 sept. 2019, 22:17

L_Indien a écrit :
lun. 09 sept. 2019, 20:39
L'idée était d'ajouter les disques du nouveau raid dans l'ancien, mais sans créer le nouveau raid.
mdadm synchronise les disques (donc, les nouveaux)
Puis, une fois la synchronisation effectuée, je retire les nouveaux disques de l'ancien raid pour les assembler sur un nouveau raid.

Indirectement, mdadm à copier l'intégralité de l'ancien raid sur le nouveau, non ?
Bonjour,
C'est ce que je ferais aussi surtout à cause du temps d'indisponibilité et dans la mesure ou mdadm le permet parce que copier des To de données c'est très long.
En s'appuyant sur un tuto trouvé sur le net ça me paraît assez simple, celui-la par exemple Migrating existing RAID1 volumes to bigger drives
Tuto Kde Plasma + gestionnaire de fenêtres i3
Mon développement en cours Archuseriso

benjarobin
Maître du Kyudo
Messages : 15900
Inscription : sam. 30 mai 2009, 15:48
Localisation : Lyon

Re: [mdadm] Copie d'un disque complet sur un RAID1 (EN COURS)

Message par benjarobin » lun. 09 sept. 2019, 22:24

Ok, c'est apparemment possible pour le cas particulier du RAID 1, mais qu'est ce que c'est convolué / compliqué comme méthode...
Et c'est je pense bien plus lent que de faire un simple clonezilla
Zsh | KDE | PC fixe : core i7, carte nvidia | Portable : Asus ul80vt
Titre d'un sujet : [Thème] Sujet (état)

laurent85
Elfe
Messages : 585
Inscription : mar. 16 oct. 2018, 21:05

Re: [mdadm] Copie d'un disque complet sur un RAID1 (EN COURS)

Message par laurent85 » lun. 09 sept. 2019, 22:48

benjarobin a écrit :
lun. 09 sept. 2019, 22:24
Et c'est je pense bien plus lent que de faire un simple clonezilla
Copier 5 To plus l'indisponibilité tu pars pour des heures.
Tuto Kde Plasma + gestionnaire de fenêtres i3
Mon développement en cours Archuseriso

Avatar de l’utilisateur
L_Indien
Chu Ko Nu
Messages : 357
Inscription : dim. 14 nov. 2010, 09:47
Localisation : En mouvement perpétuel...

Re: [mdadm] Copie d'un disque complet sur un RAID1 (EN COURS)

Message par L_Indien » sam. 14 sept. 2019, 08:47

Bonjour,

Je vous remercie pour les réponses.

Je vous avoue, qu'avec 5To à copier, je table sur une immobilisation d'une vingtaine d'heures (sur une base de 100 Mo/s et une règle de trois, on arrive à 13hr. Plus une marge de sécu...)

N'ayant pas tous les disques, je fais pour le moment des tests en virtualisation pour bien apprendre les différents softs et je verrai ensuite...

Je mets ainsi le sujet en (EN ATTENTE...), le temps de voir tout çà, et l'arrivé des disques.

Encore merci pour les conseils.

Bon week-end.
Différence entre windows et linux
Linux est multi-tâches, windows est multi-taches.
L'Indien de la Douche - Soutient L'April

Avatar de l’utilisateur
L_Indien
Chu Ko Nu
Messages : 357
Inscription : dim. 14 nov. 2010, 09:47
Localisation : En mouvement perpétuel...

Re: [mdadm] Copie d'un disque complet sur un RAID1 (EN COURS...)

Message par L_Indien » mer. 08 avr. 2020, 18:50

Bonsoir,

Je reviens suite à la création du RAID.
Encore merci pour toutes les infos.
benjarobin a écrit :
lun. 09 sept. 2019, 20:59
Tu as plusieurs méthodes pour copier un disque vers un autre :
- dd
- rsync (et non tu ne devrais pas avoir de problème sur un système de fichiers Linux)
- La copie du système de fichiers via partclone.

Mais je te conseille clonezilla, qui fait tout automatiquement et de manière très performante.
J'ai testé (en virtualisation) les softs suivants :
  • rsync
  • partclone
  • clonezilla
Pour clonezilla, c'est bien. Sauf qu'il copie TOUT, même les UUID des disques.
J'ai pas mal galeré pour essayer de modifier l'UUID sans formater le disque. D'ailleurs, je ne pense pas que ça soit possible. J'ai laissé tomber

Pour partclone, je n'ai pas réussi du tout : il ne voyait pas le RAID de destination...

Et pour rsync, pas de soucis (Merci benjarobin). Mais (il y a toujours des mets), il ne copie pas les « repertoires liés ». Je vais une comparaison avec diff, et c'est le seul bémol pour le moment.
Différence entre windows et linux
Linux est multi-tâches, windows est multi-taches.
L'Indien de la Douche - Soutient L'April

benjarobin
Maître du Kyudo
Messages : 15900
Inscription : sam. 30 mai 2009, 15:48
Localisation : Lyon

Re: [mdadm] Copie d'un disque complet sur un RAID1 (EN COURS...)

Message par benjarobin » mer. 08 avr. 2020, 18:54

clonezilla ne fait qu’appeler partclone (tu as du faire erreur). Changer les UUID c'est trivial :

Code : Tout sélectionner

sudo tune2fs -U random /dev/partition-to-change-UUID
C'est quoi pour toi les "répertoires liés" ? Un lien symbolique ? Tu as appelé rsync avec quelle option ?

Mais vraiment je te recommande clonezilla
Zsh | KDE | PC fixe : core i7, carte nvidia | Portable : Asus ul80vt
Titre d'un sujet : [Thème] Sujet (état)

Avatar de l’utilisateur
L_Indien
Chu Ko Nu
Messages : 357
Inscription : dim. 14 nov. 2010, 09:47
Localisation : En mouvement perpétuel...

Re: [mdadm] Copie d'un disque complet sur un RAID1 (EN COURS...)

Message par L_Indien » mer. 08 avr. 2020, 20:07

benjarobin a écrit :
mer. 08 avr. 2020, 18:54
clonezilla ne fait qu’appeler partclone (tu as du faire erreur). Changer les UUID c'est trivial :

Code : Tout sélectionner

sudo tune2fs -U random /dev/partition-to-change-UUID
C'est ballot... Je le serai pour la prochaine fois...
benjarobin a écrit :
mer. 08 avr. 2020, 18:54
C'est quoi pour toi les "répertoires liés" ? Un lien symbolique ?
Ça doit être la même chose : c'est « juste » un dossier vide mais qui pointe vers le dossier souhaité.
benjarobin a écrit :
mer. 08 avr. 2020, 18:54
Tu as appelé rsync avec quelle option ?
Pour rsync, j'ai utilisé la commande suivante : rsync -v -r source/ destination
benjarobin a écrit :
mer. 08 avr. 2020, 18:54
Mais vraiment je te recommande clonezilla
La copie a été effectuée lundi dans la journée. À la suite des essais effectués (dont le « soucis » avec clonezilla, qui n'en ai pas un mais bon...) je me suis tourné vers rsync.

Le « petit » bémol que j'ai oublié de mentionner au début : avant, il y avait 2 RAID 1 (2 disques de même taille, et 1 disque de taille plus petite), et là je n'ai fait plus que 1 RAID (sur 3 disques de taille identique).
La config était un peu tordue, mais je n'avais pas pu faire autrement...

Avec clonezilla, je ne crois pas que tu puisses copier des repertoires vers des répertoires.
Maitenant, je n'aurai plus ce genre de soucis. Et surtout, je sais qu'il est possible de modifier l'UUID sans perte de données.

En faite, en regardant une docs (http://www.delafond.org/traducmanfr/man ... ync.1.html), je vois qu'il est possible de copier les copiers avec l'option -l

Donc, normalement, si j'exécute la commande suivante rsync -v -r -l -e --ignore-existing -0 --progress source/ destination ou rsync -v -r -l -e --ignore-existing source/ destination > /ficher.txt il doit me copier justes les liens symboliques (sans copier les fichiers et dossiers déjà copier) ?

Bonne soirée.
Différence entre windows et linux
Linux est multi-tâches, windows est multi-taches.
L'Indien de la Douche - Soutient L'April

Avatar de l’utilisateur
L_Indien
Chu Ko Nu
Messages : 357
Inscription : dim. 14 nov. 2010, 09:47
Localisation : En mouvement perpétuel...

Re: [mdadm] Copie d'un disque complet sur un RAID1 (EN COURS...)

Message par L_Indien » jeu. 09 avr. 2020, 20:49

Bonsoir,

Je reviens rapidement concernant rsync
L_Indien a écrit :
mer. 08 avr. 2020, 20:07
Donc, normalement, si j'exécute la commande suivante rsync -v -r -l -e --ignore-existing -0 --progress source/ destination ou rsync -v -r -l -e --ignore-existing source/ destination > /ficher.txt il doit me copier justes les liens symboliques (sans copier les fichiers et dossiers déjà copier) ?
NON. Il ne faut pas mettre le -e. Ce qui donne rsync -v -r -l --ignore-existing source/ destination.

Bonne soirée.
Différence entre windows et linux
Linux est multi-tâches, windows est multi-taches.
L'Indien de la Douche - Soutient L'April

Répondre