[stockage] Rajout d'un disque dur sorti d'un RAID 5 (résolu)

[romano2k]

Bonsoir !

Ce soir en essayant de répartir différemment les capacités de mes volumes LVM (sans succès, car ils sont tous les deux utilisés), je découvre un problème avec ma configuration RAID 5 mdadm :

Code : Tout sélectionner

% lsblk
NAME                MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
sdd                   8:48   0 111.8G  0 disk
└─sdd1                8:49   0    30G  0 part  /
sdb                   8:16   0   1.8T  0 disk
└─sdb1                8:17   0   1.8T  0 part
  └─md0               9:0    0   3.7T  0 raid5
    ├─robot-storage 253:1    0   2.7T  0 lvm   /storage
    └─robot-home    253:0    0 931.5G  0 lvm   /home
sdc                   8:32   0   1.8T  0 disk
└─sdc1                8:33   0   1.8T  0 part
  └─md0               9:0    0   3.7T  0 raid5
    ├─robot-storage 253:1    0   2.7T  0 lvm   /storage
    └─robot-home    253:0    0 931.5G  0 lvm   /home
sda                   8:0    0   1.8T  0 disk
└─sda1                8:1    0   1.8T  0 part

L'un des 3 disques durs de 2 To supposé constituer mon volume RAID 5 semble inutilisé.

Pourtant le volume a l'air en bonne santé :

Code : Tout sélectionner

% cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[1] sdc1[3]
      3906763776 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [_UU]

unused devices: <none>

J'ai bien ~4 To d'espace de stockage, ce qui laisse penser que je n'ai pas/plus de parité.

Au début j'avais bien 3 disques durs sur mon volume, comme en atteste ce précédent thread sur le forum : viewtopic.php?f=1&t=13468&p=115174

Qu'a-t-il pu se passer ?

Comment résoudre le problème sans risquer de perdre de données ? (faute de solution satisfaisante pour pouvoir faire une sauvegarde hors site de 4 To, ces données ne sont pas sauvegardées)

Merci d'avance !

[benjarobin]

Bonjour, quel est le contenu de ton /etc/mdadm.conf et de /etc/mkinitcpio.conf ?
Quelle est la sortie de :

Code : Tout sélectionner

gdisk -l /dev/sda
gdisk -l /dev/sdb
gdisk -l /dev/sdc
gdisk -l /dev/sdd

mdadm --detail /dev/md0
mdadm --detail --scan

Sinon tu peux sans aucun souci ajouter un disque au RAID alors que tout est en fonctionnement, cela peut juste prendre quelques heures...

[romano2k]

Bonjour !

Merci pour ton retour.

Voici le résultat des 6 commandes :

Code : Tout sélectionner

____ romain@robot ~ % sudo gdisk -l /dev/sda
GPT fdisk (gdisk) version 1.0.1

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sda: 3907029168 sectors, 1.8 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 63B69BBA-7DA6-4883-B38A-FAEDF0FE5D04
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 3907029134
Partitions will be aligned on 2048-sector boundaries
Total free space is 2157 sectors (1.1 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      3907028991   1.8 TiB     FD00  

____ romain@robot ~ % sudo gdisk -l /dev/sdb
GPT fdisk (gdisk) version 1.0.1

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sdb: 3907029168 sectors, 1.8 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): A33FFD6A-F625-483B-B66D-751F26A470D6
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 3907029134
Partitions will be aligned on 2048-sector boundaries
Total free space is 2157 sectors (1.1 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      3907028991   1.8 TiB     FD00  

____ romain@robot ~ % sudo gdisk -l /dev/sdc
GPT fdisk (gdisk) version 1.0.1

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sdc: 3907029168 sectors, 1.8 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 2BE69B7E-5CAF-4EF1-A97F-F18FF69AF21A
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 3907029134
Partitions will be aligned on 2048-sector boundaries
Total free space is 2157 sectors (1.1 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      3907028991   1.8 TiB     FD00  

____ romain@robot ~ % sudo gdisk -l /dev/sdd
GPT fdisk (gdisk) version 1.0.1

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sdd: 234441648 sectors, 111.8 GiB
Logical sector size: 512 bytes
Disk identifier (GUID): 6CDD01D8-3358-4DF8-BFC3-D31212DB4561
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 234441614
Partitions will be aligned on 2048-sector boundaries
Total free space is 171527021 sectors (81.8 GiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048        62916607   30.0 GiB    8300  Linux filesystem

____ romain@robot ~ % sudo mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sat May  4 17:33:32 2013
     Raid Level : raid5
     Array Size : 3906763776 (3725.78 GiB 4000.53 GB)
  Used Dev Size : 1953381888 (1862.89 GiB 2000.26 GB)
   Raid Devices : 3
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Tue Nov 29 15:07:20 2016
          State : clean, degraded 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : robot:0  (local to host robot)
           UUID : ddfc051b:a706c5cf:5fe6998c:30ec7fdb
         Events : 2092134

    Number   Major   Minor   RaidDevice State
       -       0        0        0      removed
       1       8       17        1      active sync   /dev/sdb1
       3       8       33        2      active sync   /dev/sdc1

____ romain@robot ~ % sudo mdadm --detail --scan
ARRAY /dev/md/0 metadata=1.2 name=robot:0 UUID=ddfc051b:a706c5cf:5fe6998c:30ec7fdb

À la lecture de 'mdadm --detail /dev/md0', il apparait clairement que mon volume RAID est "dégradé", qu'il manque un disque dur. Est-ce signe d'un disque dur défectueux ? D'une mauvaise manipulation ?

Le SMART a l'air bon :

Code : Tout sélectionner

____ romain@robot ~ % sudo smartctl -t short /dev/sda
smartctl 6.5 2016-05-07 r4318 [x86_64-linux-4.8.8-2-ARCH] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF OFFLINE IMMEDIATE AND SELF-TEST SECTION ===
Sending command: "Execute SMART Short self-test routine immediately in off-line mode".
Drive command "Execute SMART Short self-test routine immediately in off-line mode" successful.
Testing has begun.
Please wait 2 minutes for test to complete.
Test will complete after Tue Nov 29 15:21:09 2016

Use smartctl -X to abort test.

____ romain@robot ~ % sudo smartctl -H /dev/sda
smartctl 6.5 2016-05-07 r4318 [x86_64-linux-4.8.8-2-ARCH] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

Il me semble que d'un redémarrage à l'autre, mes 4 supports de stockage (le SSD sur lequel se trouve / et mes 3 disques durs sur lesquels se trouvent md0 et LVM) changent de device : un coup le SSD est /dev/sdd, parfois il est /dev/sda. Ne serait-ce pas la cause du problème ?

Quoi qu'il en soit, étant fibré, j'envisage de me payer un hubiC 10 To et d'utiliser rclone pour répliquer mes deux volumes LVM à distance. N'ayant pas besoin de haute disponibilité pour ces données personnelles, je me passerais bien de RAID. Quelle est la meilleure méthode pour "sortir" du RAID ?

[romano2k]

Up !

[benjarobin]

Remet le disque dans le RAID... Je ne sais pas pourquoi il en est sorti

[romano2k]

Je me permets d'attirer ton attention sur deux questions importantes qui ont pu t'échapper :

1. /dev/sda /dev/sdd sont parfois intervertis entre le SSD système et l'un des 3 disques durs de stockage. N'est-ce pas ce qui pourrait causer ce problème ? Et si oui, puis-je figer la configuration RAID, avec des UUID par exemple ?

2. Je profiterais bien de l'occasion pour arrêter le RAID et exploiter pleinement mes 3 x 2 To. Est-ce possible et si oui quelle méthode me conseillez-vous d'employer ?

[benjarobin]

Que je sache, la dénomination des disques (/dev/sdXY) n'a aucune importance pour la construction du RAID. La grappe si je ne dis pas de bêtise possède un identifiant, et celui-ci est écrit sur chaque disque, et c'est celui-ci qui est utilisé pour savoir à quel RAID le disque appartient.

Sinon pour sortir d'un RAID ce n'est pas vraiment possible... Tu peux ajouter des disques à un RAID (cela nécessite une reconstruction), mais supprimer le RAID ce n'est juste pas possible. Tu dois sauvegarder les données puis les remettre. Sinon si tu veux avoir un seul système de fichier qui fasse 6 To, tu dois avoir un RAID... ou un LVM.

[romano2k]

Merci pour les précisions sur la manière dont une grappe RAID est montée. Je comprends mieux l'utilité de la commande 'mdadm --zero-superblock /dev/…' !

Si je trouve un moyen de repartir à zéro avec ces trois disques durs, quelle est la meilleure méthode pour obtenir un seul système de fichiers de 6 To, tout en bénéficiant de meilleures performances ?

En attendant, pour remettre le disque dur manquant dans la grappe, il me suffit de faire 'mdadm --add /dev/md0 /dev/sd[abcd]1', c'est bien ça ?

[benjarobin]

Ici tu ajoutes 4 disques, tu ne dois ajouter que le disque manquant...
Sinon tu ne peux pas tout avoir, les performances du raid 5 et tes 6To.

[romano2k]

J'ai écrit [abcd] en sous-entendant que je remplacerais par une seule des 4 lettres, en fonction de celle correspondant au disque dur manquant le moment venu (puisque, comme je l'ai signalé, ces lettres changent d'un démarrage à un autre). Mais c'est bien la bonne chose à faire ? Pardon d'insister mais je n'ai pas de sauvegarde donc je préfère m'en assurer.

Je ne souhaite pas tout avoir, mais dans la mesure du possible j'aimerais ne pas simplement concaténer les 3 disques durs. Le RAID 0 est-il une bonne solution ? Peut-être existe-t-il d'autres solutions ?

[romano2k]

Bon j'ai essayé d'avancer. Voici quelques copier-coller :

Code : Tout sélectionner

sudo mdadm --detail /dev/md0
[sudo] password for romain:
/dev/md0:
        Version : 1.2
  Creation Time : Sat May  4 17:33:32 2013
     Raid Level : raid5
     Array Size : 3906763776 (3725.78 GiB 4000.53 GB)
  Used Dev Size : 1953381888 (1862.89 GiB 2000.26 GB)
   Raid Devices : 3
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Thu Dec  1 19:16:36 2016
          State : clean, degraded
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : robot:0  (local to host robot)
           UUID : ddfc051b:a706c5cf:5fe6998c:30ec7fdb
         Events : 2104150

    Number   Major   Minor   RaidDevice State
       -       0        0        0      removed
       1       8       17        1      active sync   /dev/sdb1
       3       8       33        2      active sync   /dev/sdc1

Code : Tout sélectionner

sudo mdadm --manage /dev/md0 --re-add /dev/sda1
mdadm: --re-add for /dev/sda1 to /dev/md0 is not possible

Code : Tout sélectionner

sudo mdadm /dev/md0 -a /dev/sda1
mdadm: add new device failed for /dev/sda1 as 4: Invalid argument

Code : Tout sélectionner

sudo mdadm -I /dev/sda1
mdadm: no recognisable superblock on /dev/sda1.

J'ai alors décidé de repartir à zéro sur /dev/sda, en recopiant la table de partitions d'un des deux autres disques, etc. :

Code : Tout sélectionner

sudo sgdisk -R /dev/sda /dev/sdb
The operation has completed successfully.
sudo sgdisk -G /dev/sda
The operation has completed successfully.

Code : Tout sélectionner

 lsblk --fs
NAME                FSTYPE            LABEL   UUID                                   MOUNTPOINT
sdd
└─sdd1              ext4                      0a9fff42-c039-4ac0-8969-f4cc23cd6a5e   /
sdb
└─sdb1              linux_raid_member robot:0 ddfc051b-a706-c5cf-5fe6-998c30ec7fdb
  └─md0             LVM2_member               5XQAoY-UdeR-JyUp-g5LE-2RFO-UFyc-mUttiG
    ├─robot-storage ext4                      e6413750-ddf7-4d09-b3cc-1ab1e4ff2b88   /storage
    └─robot-home    ext4                      be537249-9253-4e6e-a108-8776ad3e776f   /home
sdc
└─sdc1              linux_raid_member robot:0 ddfc051b-a706-c5cf-5fe6-998c30ec7fdb
  └─md0             LVM2_member               5XQAoY-UdeR-JyUp-g5LE-2RFO-UFyc-mUttiG
    ├─robot-storage ext4                      e6413750-ddf7-4d09-b3cc-1ab1e4ff2b88   /storage
    └─robot-home    ext4                      be537249-9253-4e6e-a108-8776ad3e776f   /home
sda
└─sda1

Mais j'ai toujours la même erreur en faisant "mdadm /dev/md0 -a /dev/sda1" : "mdadm: add new device failed for /dev/sda1 as 4: Invalid argument"

Je suppose qu'il faudrait que je retire cette entrée "removed" de la grappe, mais :

Code : Tout sélectionner

sudo mdadm /dev/md0 -r /dev/sda1
mdadm: hot remove failed for /dev/sda1: No such device or address

Je sèche ! Quelqu'un a-t-il une idée ?

[benjarobin]

https://wiki.archlinux.org/index.php/RA ... he_Devices

Code : Tout sélectionner

mdadm --zero-superblock /dev/sda1

[romano2k]

J'ai oublié de le mettre dans mon message précédent, mais je l'ai déjà fait avant de recopier la table de partitions. Ça ne fonctionne pas :

Code : Tout sélectionner

sudo mdadm --zero-superblock /dev/sda1
mdadm: Unrecognised md component device - /dev/sda1

[benjarobin]

mdadm --force --zero-superblock /dev/sda1
mdadm --manage /dev/md0 --add /dev/sda1

[romano2k]

Pas mieux !

Code : Tout sélectionner

romain@robot ~ % sudo mdadm --force --zero-superblock /dev/sda1
mdadm: --force does not set the mode, and so cannot be the first option.

romain@robot ~ % sudo mdadm --zero-superblock /dev/sda1 --force
mdadm: Unrecognised md component device - /dev/sda1

[benjarobin]

mdadm --zero-superblock --force /dev/sda1

[romano2k]

Pas mieux, même message d'erreur !

Le problème c'est plus l'entrée "removed" de ma grappe md0 que l'état de ma partition sda1, non ?

[romano2k]

Up !

[romano2k]

J'ai pu résoudre le problème en inscrivant des zéros au début de la partition posant problème :

Code : Tout sélectionner

sudo dd of=/dev/sdb1 if=/dev/zero bs=1M count=1

1+0 enregistrements lus
1+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,0130083 s, 80,6 MB/s

Ensuite j'ai enfin pu rajouter la partition à la grappe :

Code : Tout sélectionner

sudo mdadm /dev/md0 -a /dev/sdb1

mdadm: added /dev/sdb1

Depuis, la grappe est en cours de reconstruction :

Code : Tout sélectionner

cat /proc/mdstat

Personalities : [raid6] [raid5] [raid4] 
md0 : active raid5 sdb1[4] sdd1[3] sdc1[1]
      3906763776 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [_UU]
      [>....................]  recovery =  1.1% (22553824/1953381888) finish=250.0min speed=128708K/sec
      
unused devices: <none>