[Sauvegardes] Article Borg dans le Wiki

Applications, problèmes de configuration réseau
Avatar de l’utilisateur
waitnsea
Maître du Kyudo
Messages : 2014
Inscription : jeu. 15 mars 2012, 05:08

[Sauvegardes] Article Borg dans le Wiki

Message par waitnsea » sam. 10 juin 2017, 07:55

Bonjour,
Merci à tous de corriger et compléter (en particulier pour l'utilisation-réseau) Sauvegarde des données avec BORG
Dernière modification par waitnsea le mer. 15 mai 2019, 02:36, modifié 1 fois.

jimarch
archer
Messages : 128
Inscription : mer. 26 déc. 2012, 20:38
Localisation : La Roche sur Yon - 85000

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par jimarch » dim. 11 juin 2017, 16:51

Bonjour et merci pour la page wiki sur BORG.

Pour info, pour les utilisateurs novices comme moi dans BORG, les pages
https://wiki.cyrillinux.fr/logiciels/borg
et http://hrb85-1-88-121-176-85.fbx.proxad ... 701211045/
me paraissent de bons compléments pour débuter.

J'ai cependant rencontré un problème en essayant de monter l'archive dans un répertoire avec mount,
(ce qui a pour but de pouvoir on ne peut plus facilement visualiser les fichiers d'une archive
ce qui, pour moi, est un vrai plus de BORG)

j'ai rencontré l'erreur suivante :
Loading fuse support failed [ImportError: No module named 'llfuse']
J'ai résolu le problème en installant :
community/python-llfuse 1.2-1

Peut-être faudrait-il le signaler aux utilisateurs ?!

Encore merci
| Plasma - Kde | Notebook Clevo W740SU | Plateforme Intel Haswell avec Intel Core i7-4750HQ | Intel Iris Pro graphics 5200
Sauvegardes quotidiennes de mes système et données par BORG

Avatar de l’utilisateur
waitnsea
Maître du Kyudo
Messages : 2014
Inscription : jeu. 15 mars 2012, 05:08

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par waitnsea » dim. 11 juin 2017, 18:31

jimarch a écrit :
dim. 11 juin 2017, 16:51
J'ai cependant rencontré un problème en essayant de monter l'archive dans un répertoire avec mount,
Bonjour,
Je n'ai pas voulu recopier les articles cités, il y a matière à étudier....
Pour monter l'archive c'est, pour moi :

Code : Tout sélectionner

• Utiliser un point de montage, par exemple : ~/tmp
* Lister les archives :
$  borg list /home/waitnsea/BACKUP/waitnsea_bkp/ 
waitnsea_2017-05-19                       Fri, 2017-05-19 20:12:58
waitnsea_2017-05-25                       Thu, 2017-05-25 16:10:03
waitnsea_2017-06-04                       Sun, 2017-06-04 13:59:41

• Monter l'archive :
$ borg mount /home/waitnsea/BACKUP/waitnsea_bkp/::waitnsea_2017-06-04 ~/tmp

• Démonter  :
$ fusermount -u ~/tmp
Ce que tu dois monter dans /etc/fstab ou par mount, c'est la partition que tu aurais créée pour y mettre ton archive,
pour moi qui ai 2 HDD (j'en ai même 3 :mrgreen: ), dans mon fstab :

Code : Tout sélectionner

# /dev/sdb2 LABEL=BKP
UUID=774a0bc7-****************       /media/bkp              ext4    defaults        0 2
/media/bkp/                                     /home/waitnsea/BACKUP        none    bind            0 0
Ce qui fait que ma sauvegarde "cronisée" par un .timer de systemd se fait sans que j'aie à monter la partition.
Bien sûr je dois rentrer un mot de passe, et même une 2° fois s'il y a lieu de supprimer une vieille archive (prune)

Il y a plein d'autres possibilités, je voulais juste attirer l'attention sur ce logiciel assez stupéfiant, un article plus complet dans le Wiki inter viendra bien un jour...

Edit : oui, il faut fuse, au moins le common

Re-Edit
: En sus des articles que tu cites, le man de borg est incontournable, tu y verras des exemples et la liste de ses commandes : borg create, borg list, borg check, ..rename, ..delete ....
Dernière modification par waitnsea le dim. 11 juin 2017, 21:05, modifié 1 fois.

jimarch
archer
Messages : 128
Inscription : mer. 26 déc. 2012, 20:38
Localisation : La Roche sur Yon - 85000

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par jimarch » dim. 11 juin 2017, 20:33

OK, et merci pour ces infos.

Sur Fuse :
Ce que je voulais surtout c'était voir comment on pouvait visualiser les fichiers d'une archive pour faciliter leur récupération éventuelle.
Ca marche bien de mon côté !

Sur la doc :
On a bien sûr les infos par MAN BORG, et c'est sans doute la plus complète. Il y a là des tas d'infos que je n'ai trouvées nulle part ailleurs.
Mais je pense que l'on peut aussi signaler la doc que l'on trouve sur le site BORGBACKUP, qui est une doc très facile à consulter (mais en anglais) : https://borgbackup.readthedocs.io/en/st ... .html#id44

Une question
:
Que signifie très concrètement l'option suivante que l'on trouve dans BORG INIT
-a, --append-only create an append-only mode repository

Quel usage peut-on en faire ?

Cdt
| Plasma - Kde | Notebook Clevo W740SU | Plateforme Intel Haswell avec Intel Core i7-4750HQ | Intel Iris Pro graphics 5200
Sauvegardes quotidiennes de mes système et données par BORG

Avatar de l’utilisateur
waitnsea
Maître du Kyudo
Messages : 2014
Inscription : jeu. 15 mars 2012, 05:08

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par waitnsea » dim. 11 juin 2017, 20:56

jimarch a écrit :
dim. 11 juin 2017, 20:33
signaler la doc que l'on trouve sur le site BORGBACKUP, qui est une doc très facile à consulter (mais en anglais) : https://borgbackup.readthedocs.io/en/st ... .html#id44
J''ai donné le lien du Guide de Démarrage du Site, je rajoute son parent
jimarch a écrit :
dim. 11 juin 2017, 20:33
Une question[/i] :
Que signifie très concrètement l'option suivante que l'on trouve dans BORG INIT
-a, --append-only create an append-only mode repository
Quel usage peut-on en faire ?
je n'ai pas testé, peut-être s'agit-il d'une sauvegarde sécurisée qu'on ne peut pas "pruner", juste mettre à jour ?

jimarch
archer
Messages : 128
Inscription : mer. 26 déc. 2012, 20:38
Localisation : La Roche sur Yon - 85000

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par jimarch » jeu. 22 juin 2017, 18:35

Pour info :
Sur l'option -append

l'explication est ici : https://borgbackup.readthedocs.io/en/st ... -only-mode
Append-only mode

A repository can be made “append-only”, which means that Borg will never overwrite or delete committed data. This is useful for scenarios where multiple machines back up to a central backup server using borg serve, since a hacked machine cannot delete backups permanently.
A suivre...
| Plasma - Kde | Notebook Clevo W740SU | Plateforme Intel Haswell avec Intel Core i7-4750HQ | Intel Iris Pro graphics 5200
Sauvegardes quotidiennes de mes système et données par BORG

Avatar de l’utilisateur
waitnsea
Maître du Kyudo
Messages : 2014
Inscription : jeu. 15 mars 2012, 05:08

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par waitnsea » jeu. 22 juin 2017, 19:45

Particulièrement utile donc sur un serveur

Avatar de l’utilisateur
waitnsea
Maître du Kyudo
Messages : 2014
Inscription : jeu. 15 mars 2012, 05:08

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par waitnsea » lun. 26 juin 2017, 16:34

Modification du Wiki : Borg demandant un mot de passe il faut que le Script de Sauvegarde ouvre un terminal interactif.
La politique d'Archlinux est de limiter l'accès des applications graphiques à root.
Il est donc préférable d'utiliser systemd/user pour créer et lancer les sauvegardes d'un user par un .timer dans une session de l'user.

jimarch
archer
Messages : 128
Inscription : mer. 26 déc. 2012, 20:38
Localisation : La Roche sur Yon - 85000

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par jimarch » mar. 27 juin 2017, 19:01

Bonjour !
J'ai effectivement le problème du mot de passe...
J'ai essayé plusieurs solutions pour lancer le script à partir d'un cron
- soit ne pas mettre du tout de mdp. D'où aucun problème ... sauf que l'archive n'est plus protégée, ce qui ne peut aller que pour des données banales non confidentielles....
- soit mettre le mot de passe directement dans le programme par la commande : export BORG_PASSPHRASE=mon_mot_de_passe.
Bon c'est pas très discret puisque le mdp reste visible par un simple cat sur le programme...
Ces deux solutions marchent avec un cron. J'envoie le résultat dans un log et je peux vérifier que ce que je demande est bien réalisé

Ce qui ne va pas, c'est mettre un mot de passe lors de la création de l'archive ...
Rien ne se passe et le cron ne produit rien...
La seule solution est sous user de lancer directement le fichier exécutable. Ce qui signifie être devant sa console à chaque sauvegarde. Mais du coup plus d'automatisation !

@waitnsea : Pourrais-tu donner davantage d'indications pour utiliser BORG avec systemd/user ... Cela reste un peu chinois pour moi !!!

Cdt
| Plasma - Kde | Notebook Clevo W740SU | Plateforme Intel Haswell avec Intel Core i7-4750HQ | Intel Iris Pro graphics 5200
Sauvegardes quotidiennes de mes système et données par BORG

Avatar de l’utilisateur
waitnsea
Maître du Kyudo
Messages : 2014
Inscription : jeu. 15 mars 2012, 05:08

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par waitnsea » mer. 28 juin 2017, 06:22

jimarch a écrit :
mar. 27 juin 2017, 19:01
Pourrais-tu donner davantage d'indications pour utiliser BORG avec systemd/user ... Cela reste un peu chinois pour moi !!!
Bonjour jimarch, chinois pour moi aussi... :

* j'ai réussi à créer le timer et le service en systemd/user et à le lancer manuellement, ça fonctionne mais,

** bien sûr une fenêtre de terminal s'ouvre et il faut renseigner le mot de passe. Pour automatiser totalement je ne vois pour l'instant que cron et la solution de Jocelyn Delalande de LP :

Code : Tout sélectionner

Automatisation
Nous utilisons la configuration par défaut de cron, qui s'arrange pour que les scripts placés dans /etc/cron.daily soient exécutés quotidiennement.
Puisque les sauvegardes sont poussées, l'automatisation est à configurer sur le client uniquement.
Jusqu'ici, Borg nous demandait la phrase de passe à chaque opération. À des fins d'automatisation, il nous faut désormais la stocker dans un fichier :

root@babasse # mkdir /root/.borg
root@babasse # cat > /root/.borg/passphrase
monmotdepasse
([Ctrl]+[D] pour valider)

…et la protéger des autres utilisateurs de la machine :
root@babasse # chmod 700 /root/.borg/passphrase
tu dois pouvoir le faire en user plutôt qu'en root pour tes data persos, le chmod 700 te protègera sauf si quelqu'un a un accès physique à la machine et que le démarrage sur USB n'est pas verrouillé au BIOS
J'ajoute le paragraphe au Wiki même si c'est inélégant de copier, au moins jusqu'à sortir une solution fiable par systemd...

*** J'attends une semaine pour voir si le timer va fonctionner tout seul, et j'en aurai bien besoin pour réparer les dégâts que j'ai fait en suivant ce chapitre :mrgreen:

Avatar de l’utilisateur
waitnsea
Maître du Kyudo
Messages : 2014
Inscription : jeu. 15 mars 2012, 05:08

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par waitnsea » jeu. 29 juin 2017, 09:33

waitnsea a écrit :
mer. 28 juin 2017, 06:22
root@babasse # chmod 700 /root/.borg/passphrase[/code] tu dois pouvoir le faire en user plutôt qu'en root pour tes data persos, ...
Crér un fichier ~/.borg/passphrase, ne fonctionne pas, pas plus qu'en l'ajoutant à .config/borg/
Par contre en exportant la variable d'environnement/BORG export BORG_PASSPHRASE='exemple : complicated & long' dans le .bashrc/.zshrc ça fonctionne.
Même inclus plutôt dans le script de lancement que dans .bashrc, et même protégé par chmod 700, il reste en clair, mais on peut le mettre dans un keyring

jimarch
archer
Messages : 128
Inscription : mer. 26 déc. 2012, 20:38
Localisation : La Roche sur Yon - 85000

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par jimarch » jeu. 29 juin 2017, 23:00

@waintnsea
Pour le mdp, la solution proposée par Jocelyn Delalande marche sans aucun problème pour moi.
Mais il me semble qu'il faut utiliser l'instruction suivante dans le programme de sauvegarde :
export BORG_PASSPHRASE="`cat ~root/.borg/passphrase`"
Cette ligne manque dans les messages ou la présentation faite sur le wiki !
| Plasma - Kde | Notebook Clevo W740SU | Plateforme Intel Haswell avec Intel Core i7-4750HQ | Intel Iris Pro graphics 5200
Sauvegardes quotidiennes de mes système et données par BORG

Avatar de l’utilisateur
waitnsea
Maître du Kyudo
Messages : 2014
Inscription : jeu. 15 mars 2012, 05:08

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par waitnsea » ven. 30 juin 2017, 05:13

jimarch a écrit :
jeu. 29 juin 2017, 23:00
Cette ligne manque dans les messages ou la présentation faite sur le wiki !
Un paragraphe de plus au Wiki...

jimarch
archer
Messages : 128
Inscription : mer. 26 déc. 2012, 20:38
Localisation : La Roche sur Yon - 85000

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par jimarch » ven. 30 juin 2017, 15:57

Bonjour à nouveau et autre question :
mes sauvegardes faites par un cron et avec BORG_PASSPHRASE comme indiqué dans les messages précédents fonctionnent bien.

Mais les fichiers une fois créés dans un Repository sous mon user ... deviennent propriété de ROOT !
Curieux car je n'ai pas ce résultat avec d'autres cron de sauvegarde !
(Rem : le problème ne se pose pas si je fais une sauvegarde directe à partir d'une console)

Conséquence directe (au moins deux !)

1) quant je cherche à visualiser une archive par un "borg mount" en ayant préalablement créé le point de montage par :
# mkdir /mnt/temp-home
# chown -R jimarch:users /mnt/temp-home
les fichiers sont invisibles en tant que simple user. Je dois me mettre en Root pour les voir... pas très simple


2) si je cherche à faire une sauvegarde sur le web, sur hubic par exemple, l'accès à ces fichiers proprio de root ne peut pas se faire (le serveur n'a pas les droits d'accès) et j'ai des erreurs de copie ...

Dans les deux cas précédents, je peux bien sûr changer le propriétaire de mes sauvegardes et mes les réaffecter par un chown manuel. Dans ce cas, plus de problème, ni pour visualiser les fichiers d'une archive, ni pour les sauvegardes dans le web.
Mais c'est pas le top en matière d'automatisation...

Bon, mais j'ai peut-être rien (ou 'pas encore tout') compris... :oops:
| Plasma - Kde | Notebook Clevo W740SU | Plateforme Intel Haswell avec Intel Core i7-4750HQ | Intel Iris Pro graphics 5200
Sauvegardes quotidiennes de mes système et données par BORG

jimarch
archer
Messages : 128
Inscription : mer. 26 déc. 2012, 20:38
Localisation : La Roche sur Yon - 85000

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par jimarch » mar. 14 mai 2019, 22:20

Simple curiosité de ma part : Y a-t-il des utilisateurs de BORG parmi les lecteurs du forum ?
Pour moi ça marche super bien depuis deux ans...
| Plasma - Kde | Notebook Clevo W740SU | Plateforme Intel Haswell avec Intel Core i7-4750HQ | Intel Iris Pro graphics 5200
Sauvegardes quotidiennes de mes système et données par BORG

Avatar de l’utilisateur
waitnsea
Maître du Kyudo
Messages : 2014
Inscription : jeu. 15 mars 2012, 05:08

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par waitnsea » mer. 15 mai 2019, 02:14

jimarch a écrit :
mar. 14 mai 2019, 22:20
Pour moi ça marche super bien depuis deux ans...
Bonjour jimarch,
Je m'étonne que Borg ne t'ait pas donné de soucis récemment : vois ce rapport de bug et ce post : montages et extractions impossibles des sauvegardes avec Borg 1.1.8.
En fait ce n'est pas un bug, mais une incompatibilité entre la version Python d'Archlinux et celle nécessitée pour Borg 1.1.8.. Je n'ai pas compris que le mainteneur de Borg s'obstine à garder la 1.1.8 (attend-il la 1.20 qui va de béta en béta pour l'instant ? - Edit : Il a à maintenir 165 paquets de community !).
J'ai posté sur le Wiki différents contournements jusqu'à ce qu'un volontaire mette un borg.bin dans AUR avec la version 1.1.9 standalone qui fonctionne parfaitement.
On peut essayer restic, qui fonctionne bien aussi, mais ne donne pas un montage aussi rapide des sauvegardes (ni d'une seule version à date choisie) que borg, donc j'en reste à Borg comme toi.
De toute façon je ne me contente pas d'une seule technique de sauvegarde, comme j'ai un portable en plus de ma tour je synchronise les data par rsync, et pour le système je fais aussi un rsync quand je fabrique ma clef archiso customisée le 2 de chaque mois...
Dernière modification par waitnsea le mer. 15 mai 2019, 14:11, modifié 2 fois.

Avatar de l’utilisateur
waitnsea
Maître du Kyudo
Messages : 2014
Inscription : jeu. 15 mars 2012, 05:08

Re: [Sauvegardes] Article Borg dans le Wiki

Message par waitnsea » mer. 15 mai 2019, 11:12

En complément :
Ce message vient d'être posté sur le rapport de bug :
Salut à tous, j'inclus un PKGBUILD pour borg 1.1.9 qui rétroporte la correction de ce problème (notre version est vieille de 3 mois).
Il doit aussi contourner une vérification que Thomas Waldmann a faite pour refuser de s'exécuter sur des versions " non supportées " de python-msgpack.
Évidemment, certaines choses peuvent être brisées avec le nouveau msgpack, mais je dirais que nous ferions beaucoup mieux d'expédier ce PKGBUILD que là où nous en sommes maintenant.
Après tout, les choses sont actuellement cassées parce que nous fonctionnons avec un msgpack non supporté. Avec ce correctif, au moins le point douloureux majeur de la "monture borg" étant cassé serait réparé.

Quelques nouveaux tests ont été ajoutés dans la version 1.1.9 qui semblent reposer sur un ancien msgpack.
Je dois admettre que je soupçonne ThomasWaldmann d’avoir ajouté ces éléments spécifiquement pour gêner tous les utilisateurs d’un msgpack plus récent, compte tenu de leur comportement antérieur.
J'ai répondu à cela en corrigeant entièrement les tests (bien que seulement 9 échouent lors de l'exécution - peut-être une meilleure correction pourrait être rétroportée).

Alternativement, nous pourrions continuer à expédier la version 1.1.8, mais en rétroporter le correctif. Est-ce que @lfleischer pourrait jeter un coup d'oeil là-dessus s'il vous plaît ?
Thomas Waldmann est le dev du paquet, @lfleischer le mainteneur pour Arch. le PKGBUILD en PJ ne permet pas l'installation avec

Code : Tout sélectionner

$ makepkg -si
faute du patch dont il parle.

benjarobin
Maître du Kyudo
Messages : 15560
Inscription : sam. 30 mai 2009, 15:48
Localisation : Lyon

Re: [Sauvegardes] Article Borg dans le Wiki

Message par benjarobin » mer. 15 mai 2019, 13:39

La traduction automatique anglais vers français cela pique un peu les yeux :-)
Sinon le patch est ici : https://git.archlinux.org/svntogit/comm ... kages/borg
Zsh | KDE | PC fixe : core i7, carte nvidia | Portable : Asus ul80vt
Titre d'un sujet : [Thème] Sujet (état)

Avatar de l’utilisateur
waitnsea
Maître du Kyudo
Messages : 2014
Inscription : jeu. 15 mars 2012, 05:08

Re: [Sauvegardes] Article Borg dans le Wiki

Message par waitnsea » mer. 15 mai 2019, 13:54

benjarobin a écrit :
mer. 15 mai 2019, 13:39
La traduction automatique anglais vers français cela pique un peu les yeux :-)
Sinon le patch est ici : https://git.archlinux.org/svntogit/comm ... kages/borg
Merci pour le patch benjarobin.
Pour la traduction, il m'a semblé y avoir des sous-entendus avec une querelle datant du précédent bug et sur le rapport de bug une attaque assez virulente du développeur - je n'ai pas eu envie de développer.

Edit : avec le patch la compilation se lance mais échoue:

Code : Tout sélectionner

================= 2 failed, 1125 passed, 215 skipped, 1 deselected, 2 xfailed in 372.77 seconds ==================
==> ERREUR : Une erreur s’est produite dans check().
    Abandon…
makepkg -s  280,59s user 39,06s system 77% cpu 6:53,79 total
, de toute façon la version aur/borg.bin 1.1.9 fonctionne parfaitement en attendant la 1.20

jimarch
archer
Messages : 128
Inscription : mer. 26 déc. 2012, 20:38
Localisation : La Roche sur Yon - 85000

Re: [Sauvegardes] Article Borg dans le Wiki (à compléter)

Message par jimarch » mer. 15 mai 2019, 23:35

waitnsea a écrit :
mer. 15 mai 2019, 02:14
Je m'étonne que Borg ne t'ait pas donné de soucis récemment : vois ce rapport de bug et ce post : montages et extractions impossibles des sauvegardes avec Borg 1.1.8.
Bon, pour être très direct :oops: , je n'étais jamais allé rechercher ni à visualiser une archive, ni à extraire un fichier depuis l'installation de mes sauvegardes...
Je consultais régulièrement le log des opérations de sauvegardes mais comme tout semblait normal et que je n'avais aucune utilité ou occasion d'aller rechercher un dossier archivé, je n'avais pas testé - sauf lors de l'installation, bien sûr - je n'avais pas testé régulièrement la récupération des fichiers. re :oops:
Comme par ailleurs, et comme toi, j'effectue une seconde sauvegarde (hors Borg) de tous mes fichiers importants sur serveurs distants, je continuai à fonctionner en aveugle re-re :oops:
Sur ce point, j'aurai au moins appris qu'il ne faut jamais être trop confiant !!!

Maintenant, la version installée chez moi est : borg 1.1.8-1
je viens de tester les commandes list et restore : ça marche sans problème. Je peux lister les fichiers d'une archive et récupérer le ou les fichiers qui m'intéresse(nt).
Ce qui ne marche pas (ou plus) c'est la possibilité de monter une archive dans l'arborescence des fichiers et de la consulter directement. Ce qui était et reste un plus de Borg.

Je vais tester la version aur/borg.bin 1.1.9 pour voir si tout marche comme hier.... :)
| Plasma - Kde | Notebook Clevo W740SU | Plateforme Intel Haswell avec Intel Core i7-4750HQ | Intel Iris Pro graphics 5200
Sauvegardes quotidiennes de mes système et données par BORG

Répondre