Page 1 sur 1
[stockage] Rajout d'un disque dur sorti d'un RAID 5 (résolu)
Publié : mar. 29 nov. 2016, 02:55
par romano2k
Bonsoir !
Ce soir en essayant de répartir différemment les capacités de mes volumes LVM (sans succès, car ils sont tous les deux utilisés), je découvre un problème avec ma configuration RAID 5 mdadm :
Code : Tout sélectionner
% lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sdd 8:48 0 111.8G 0 disk
└─sdd1 8:49 0 30G 0 part /
sdb 8:16 0 1.8T 0 disk
└─sdb1 8:17 0 1.8T 0 part
└─md0 9:0 0 3.7T 0 raid5
├─robot-storage 253:1 0 2.7T 0 lvm /storage
└─robot-home 253:0 0 931.5G 0 lvm /home
sdc 8:32 0 1.8T 0 disk
└─sdc1 8:33 0 1.8T 0 part
└─md0 9:0 0 3.7T 0 raid5
├─robot-storage 253:1 0 2.7T 0 lvm /storage
└─robot-home 253:0 0 931.5G 0 lvm /home
sda 8:0 0 1.8T 0 disk
└─sda1 8:1 0 1.8T 0 part
L'un des 3 disques durs de 2 To supposé constituer mon volume RAID 5 semble inutilisé.
Pourtant le volume a l'air en bonne santé :
Code : Tout sélectionner
% cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[1] sdc1[3]
3906763776 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [_UU]
unused devices: <none>
J'ai bien ~4 To d'espace de stockage, ce qui laisse penser que je n'ai pas/plus de parité.
Au début j'avais bien 3 disques durs sur mon volume, comme en atteste ce précédent thread sur le forum :
viewtopic.php?f=1&t=13468&p=115174
Qu'a-t-il pu se passer ?
Comment résoudre le problème sans risquer de perdre de données ? (faute de solution satisfaisante pour pouvoir faire une sauvegarde hors site de 4 To, ces données ne sont pas sauvegardées)
Merci d'avance !
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : mar. 29 nov. 2016, 09:26
par benjarobin
Bonjour, quel est le contenu de ton
/etc/mdadm.conf et de
/etc/mkinitcpio.conf ?
Quelle est la sortie de :
Code : Tout sélectionner
gdisk -l /dev/sda
gdisk -l /dev/sdb
gdisk -l /dev/sdc
gdisk -l /dev/sdd
mdadm --detail /dev/md0
mdadm --detail --scan
Sinon tu peux sans aucun souci ajouter un disque au RAID alors que tout est en fonctionnement, cela peut juste prendre quelques heures...
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : mar. 29 nov. 2016, 15:27
par romano2k
Bonjour !
Merci pour ton retour.
Voici le résultat des 6 commandes :
Code : Tout sélectionner
____ romain@robot ~ % sudo gdisk -l /dev/sda
GPT fdisk (gdisk) version 1.0.1
Partition table scan:
MBR: protective
BSD: not present
APM: not present
GPT: present
Found valid GPT with protective MBR; using GPT.
Disk /dev/sda: 3907029168 sectors, 1.8 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 63B69BBA-7DA6-4883-B38A-FAEDF0FE5D04
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 3907029134
Partitions will be aligned on 2048-sector boundaries
Total free space is 2157 sectors (1.1 MiB)
Number Start (sector) End (sector) Size Code Name
1 2048 3907028991 1.8 TiB FD00
____ romain@robot ~ % sudo gdisk -l /dev/sdb
GPT fdisk (gdisk) version 1.0.1
Partition table scan:
MBR: protective
BSD: not present
APM: not present
GPT: present
Found valid GPT with protective MBR; using GPT.
Disk /dev/sdb: 3907029168 sectors, 1.8 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): A33FFD6A-F625-483B-B66D-751F26A470D6
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 3907029134
Partitions will be aligned on 2048-sector boundaries
Total free space is 2157 sectors (1.1 MiB)
Number Start (sector) End (sector) Size Code Name
1 2048 3907028991 1.8 TiB FD00
____ romain@robot ~ % sudo gdisk -l /dev/sdc
GPT fdisk (gdisk) version 1.0.1
Partition table scan:
MBR: protective
BSD: not present
APM: not present
GPT: present
Found valid GPT with protective MBR; using GPT.
Disk /dev/sdc: 3907029168 sectors, 1.8 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 2BE69B7E-5CAF-4EF1-A97F-F18FF69AF21A
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 3907029134
Partitions will be aligned on 2048-sector boundaries
Total free space is 2157 sectors (1.1 MiB)
Number Start (sector) End (sector) Size Code Name
1 2048 3907028991 1.8 TiB FD00
____ romain@robot ~ % sudo gdisk -l /dev/sdd
GPT fdisk (gdisk) version 1.0.1
Partition table scan:
MBR: protective
BSD: not present
APM: not present
GPT: present
Found valid GPT with protective MBR; using GPT.
Disk /dev/sdd: 234441648 sectors, 111.8 GiB
Logical sector size: 512 bytes
Disk identifier (GUID): 6CDD01D8-3358-4DF8-BFC3-D31212DB4561
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 234441614
Partitions will be aligned on 2048-sector boundaries
Total free space is 171527021 sectors (81.8 GiB)
Number Start (sector) End (sector) Size Code Name
1 2048 62916607 30.0 GiB 8300 Linux filesystem
____ romain@robot ~ % sudo mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Sat May 4 17:33:32 2013
Raid Level : raid5
Array Size : 3906763776 (3725.78 GiB 4000.53 GB)
Used Dev Size : 1953381888 (1862.89 GiB 2000.26 GB)
Raid Devices : 3
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Tue Nov 29 15:07:20 2016
State : clean, degraded
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Name : robot:0 (local to host robot)
UUID : ddfc051b:a706c5cf:5fe6998c:30ec7fdb
Events : 2092134
Number Major Minor RaidDevice State
- 0 0 0 removed
1 8 17 1 active sync /dev/sdb1
3 8 33 2 active sync /dev/sdc1
____ romain@robot ~ % sudo mdadm --detail --scan
ARRAY /dev/md/0 metadata=1.2 name=robot:0 UUID=ddfc051b:a706c5cf:5fe6998c:30ec7fdb
À la lecture de 'mdadm --detail /dev/md0', il apparait clairement que mon volume RAID est "dégradé", qu'il manque un disque dur. Est-ce signe d'un disque dur défectueux ? D'une mauvaise manipulation ?
Le SMART a l'air bon :
Code : Tout sélectionner
____ romain@robot ~ % sudo smartctl -t short /dev/sda
smartctl 6.5 2016-05-07 r4318 [x86_64-linux-4.8.8-2-ARCH] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF OFFLINE IMMEDIATE AND SELF-TEST SECTION ===
Sending command: "Execute SMART Short self-test routine immediately in off-line mode".
Drive command "Execute SMART Short self-test routine immediately in off-line mode" successful.
Testing has begun.
Please wait 2 minutes for test to complete.
Test will complete after Tue Nov 29 15:21:09 2016
Use smartctl -X to abort test.
____ romain@robot ~ % sudo smartctl -H /dev/sda
smartctl 6.5 2016-05-07 r4318 [x86_64-linux-4.8.8-2-ARCH] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
Il me semble que d'un redémarrage à l'autre, mes 4 supports de stockage (le SSD sur lequel se trouve / et mes 3 disques durs sur lesquels se trouvent md0 et LVM) changent de device : un coup le SSD est /dev/sdd, parfois il est /dev/sda. Ne serait-ce pas la cause du problème ?
Quoi qu'il en soit, étant fibré, j'envisage de me payer un hubiC 10 To et d'utiliser
rclone pour répliquer mes deux volumes LVM à distance. N'ayant pas besoin de haute disponibilité pour ces données personnelles, je me passerais bien de RAID. Quelle est la meilleure méthode pour "sortir" du RAID ?
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : mer. 30 nov. 2016, 19:10
par romano2k
Up !
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : mer. 30 nov. 2016, 22:25
par benjarobin
Remet le disque dans le RAID... Je ne sais pas pourquoi il en est sorti
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : jeu. 01 déc. 2016, 00:14
par romano2k
Je me permets d'attirer ton attention sur deux questions importantes qui ont pu t'échapper :
1. /dev/sda /dev/sdd sont parfois intervertis entre le SSD système et l'un des 3 disques durs de stockage. N'est-ce pas ce qui pourrait causer ce problème ? Et si oui, puis-je figer la configuration RAID, avec des UUID par exemple ?
2. Je profiterais bien de l'occasion pour arrêter le RAID et exploiter pleinement mes 3 x 2 To. Est-ce possible et si oui quelle méthode me conseillez-vous d'employer ?
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : jeu. 01 déc. 2016, 00:23
par benjarobin
Que je sache, la dénomination des disques (/dev/sdXY) n'a aucune importance pour la construction du RAID. La grappe si je ne dis pas de bêtise possède un identifiant, et celui-ci est écrit sur chaque disque, et c'est celui-ci qui est utilisé pour savoir à quel RAID le disque appartient.
Sinon pour sortir d'un RAID ce n'est pas vraiment possible... Tu peux ajouter des disques à un RAID (cela nécessite une reconstruction), mais supprimer le RAID ce n'est juste pas possible. Tu dois sauvegarder les données puis les remettre. Sinon si tu veux avoir un seul système de fichier qui fasse 6 To, tu dois avoir un RAID... ou un LVM.
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : jeu. 01 déc. 2016, 00:30
par romano2k
Merci pour les précisions sur la manière dont une grappe RAID est montée. Je comprends mieux l'utilité de la commande 'mdadm --zero-superblock /dev/…' !
Si je trouve un moyen de repartir à zéro avec ces trois disques durs, quelle est la meilleure méthode pour obtenir un seul système de fichiers de 6 To, tout en bénéficiant de meilleures performances ?
En attendant, pour remettre le disque dur manquant dans la grappe, il me suffit de faire 'mdadm --add /dev/md0 /dev/sd[abcd]1', c'est bien ça ?
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : jeu. 01 déc. 2016, 08:32
par benjarobin
Ici tu ajoutes 4 disques, tu ne dois ajouter que le disque manquant...
Sinon tu ne peux pas tout avoir, les performances du raid 5 et tes 6To.
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : jeu. 01 déc. 2016, 12:53
par romano2k
J'ai écrit [abcd] en sous-entendant que je remplacerais par une seule des 4 lettres, en fonction de celle correspondant au disque dur manquant le moment venu (puisque, comme je l'ai signalé, ces lettres changent d'un démarrage à un autre). Mais c'est bien la bonne chose à faire ? Pardon d'insister mais je n'ai pas de sauvegarde donc je préfère m'en assurer.
Je ne souhaite pas tout avoir, mais dans la mesure du possible j'aimerais ne pas simplement concaténer les 3 disques durs. Le RAID 0 est-il une bonne solution ? Peut-être existe-t-il d'autres solutions ?
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : jeu. 01 déc. 2016, 19:21
par romano2k
Bon j'ai essayé d'avancer. Voici quelques copier-coller :
Code : Tout sélectionner
sudo mdadm --detail /dev/md0
[sudo] password for romain:
/dev/md0:
Version : 1.2
Creation Time : Sat May 4 17:33:32 2013
Raid Level : raid5
Array Size : 3906763776 (3725.78 GiB 4000.53 GB)
Used Dev Size : 1953381888 (1862.89 GiB 2000.26 GB)
Raid Devices : 3
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Thu Dec 1 19:16:36 2016
State : clean, degraded
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Name : robot:0 (local to host robot)
UUID : ddfc051b:a706c5cf:5fe6998c:30ec7fdb
Events : 2104150
Number Major Minor RaidDevice State
- 0 0 0 removed
1 8 17 1 active sync /dev/sdb1
3 8 33 2 active sync /dev/sdc1
Code : Tout sélectionner
sudo mdadm --manage /dev/md0 --re-add /dev/sda1
mdadm: --re-add for /dev/sda1 to /dev/md0 is not possible
Code : Tout sélectionner
sudo mdadm /dev/md0 -a /dev/sda1
mdadm: add new device failed for /dev/sda1 as 4: Invalid argument
Code : Tout sélectionner
sudo mdadm -I /dev/sda1
mdadm: no recognisable superblock on /dev/sda1.
J'ai alors décidé de repartir à zéro sur /dev/sda, en recopiant la table de partitions d'un des deux autres disques, etc. :
Code : Tout sélectionner
sudo sgdisk -R /dev/sda /dev/sdb
The operation has completed successfully.
sudo sgdisk -G /dev/sda
The operation has completed successfully.
Code : Tout sélectionner
lsblk --fs
NAME FSTYPE LABEL UUID MOUNTPOINT
sdd
└─sdd1 ext4 0a9fff42-c039-4ac0-8969-f4cc23cd6a5e /
sdb
└─sdb1 linux_raid_member robot:0 ddfc051b-a706-c5cf-5fe6-998c30ec7fdb
└─md0 LVM2_member 5XQAoY-UdeR-JyUp-g5LE-2RFO-UFyc-mUttiG
├─robot-storage ext4 e6413750-ddf7-4d09-b3cc-1ab1e4ff2b88 /storage
└─robot-home ext4 be537249-9253-4e6e-a108-8776ad3e776f /home
sdc
└─sdc1 linux_raid_member robot:0 ddfc051b-a706-c5cf-5fe6-998c30ec7fdb
└─md0 LVM2_member 5XQAoY-UdeR-JyUp-g5LE-2RFO-UFyc-mUttiG
├─robot-storage ext4 e6413750-ddf7-4d09-b3cc-1ab1e4ff2b88 /storage
└─robot-home ext4 be537249-9253-4e6e-a108-8776ad3e776f /home
sda
└─sda1
Mais j'ai toujours la même erreur en faisant "mdadm /dev/md0 -a /dev/sda1" : "mdadm: add new device failed for /dev/sda1 as 4: Invalid argument"
Je suppose qu'il faudrait que je retire cette entrée "removed" de la grappe, mais :
Code : Tout sélectionner
sudo mdadm /dev/md0 -r /dev/sda1
mdadm: hot remove failed for /dev/sda1: No such device or address
Je sèche ! Quelqu'un a-t-il une idée ?
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : jeu. 01 déc. 2016, 20:51
par benjarobin
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : ven. 02 déc. 2016, 01:21
par romano2k
J'ai oublié de le mettre dans mon message précédent, mais je l'ai déjà fait avant de recopier la table de partitions. Ça ne fonctionne pas :
Code : Tout sélectionner
sudo mdadm --zero-superblock /dev/sda1
mdadm: Unrecognised md component device - /dev/sda1
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : ven. 02 déc. 2016, 08:27
par benjarobin
mdadm --force --zero-superblock /dev/sda1
mdadm --manage /dev/md0 --add /dev/sda1
Re: [stockage] Un disque dur serait sorti de mon volume RAID 5 ?
Publié : ven. 02 déc. 2016, 16:34
par romano2k
Pas mieux !
Code : Tout sélectionner
romain@robot ~ % sudo mdadm --force --zero-superblock /dev/sda1
mdadm: --force does not set the mode, and so cannot be the first option.
romain@robot ~ % sudo mdadm --zero-superblock /dev/sda1 --force
mdadm: Unrecognised md component device - /dev/sda1
Re: [stockage] Rajout d'un disque dur sorti d'un RAID 5
Publié : ven. 02 déc. 2016, 19:35
par benjarobin
mdadm --zero-superblock --force /dev/sda1
Re: [stockage] Rajout d'un disque dur sorti d'un RAID 5
Publié : ven. 02 déc. 2016, 19:46
par romano2k
Pas mieux, même message d'erreur !
Le problème c'est plus l'entrée "removed" de ma grappe md0 que l'état de ma partition sda1, non ?
Re: [stockage] Rajout d'un disque dur sorti d'un RAID 5
Publié : lun. 05 déc. 2016, 15:59
par romano2k
Up !
Re: [stockage] Rajout d'un disque dur sorti d'un RAID 5
Publié : lun. 09 janv. 2017, 22:12
par romano2k
J'ai pu résoudre le problème en inscrivant des zéros au début de la partition posant problème :
Code : Tout sélectionner
sudo dd of=/dev/sdb1 if=/dev/zero bs=1M count=1
1+0 enregistrements lus
1+0 enregistrements écrits
1048576 bytes (1,0 MB, 1,0 MiB) copied, 0,0130083 s, 80,6 MB/s
Ensuite j'ai enfin pu rajouter la partition à la grappe :
Depuis, la grappe est en cours de reconstruction :
Code : Tout sélectionner
cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[4] sdd1[3] sdc1[1]
3906763776 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [_UU]
[>....................] recovery = 1.1% (22553824/1953381888) finish=250.0min speed=128708K/sec
unused devices: <none>