[rsync] utilisation avec un site internet
-
- newbie
- Messages : 4
- Inscription : dim. 26 juil. 2020, 08:48
[rsync] utilisation avec un site internet
Bonjour à tous !
J'utilise "rsync" régulièrement pour sauvegarder mes données du disque dur vers ma clé usb en utilisant la command suivante :
--> rsync -av --delete-after source/ destination/
Aujourd'hui, je souhaiterais faire la même chose mais avec un site internet quelconque afin de récupérer ses données tout en les mettant à jour. Comment faire avec "rsync" ? En effet lors du téléchargement des fichiers archives peuvent changer d'où la nécessité d'une synchronisation ... si je comprends bien ???)
--> rsync -av --delete-after https://www.archives/ destination/
Mais évidemment cela ne fonctionne pas !
Pour l'instant je n'utilise que les paquets de core, extra et community.
Merci d'avance pour aide
J'utilise "rsync" régulièrement pour sauvegarder mes données du disque dur vers ma clé usb en utilisant la command suivante :
--> rsync -av --delete-after source/ destination/
Aujourd'hui, je souhaiterais faire la même chose mais avec un site internet quelconque afin de récupérer ses données tout en les mettant à jour. Comment faire avec "rsync" ? En effet lors du téléchargement des fichiers archives peuvent changer d'où la nécessité d'une synchronisation ... si je comprends bien ???)
--> rsync -av --delete-after https://www.archives/ destination/
Mais évidemment cela ne fonctionne pas !
Pour l'instant je n'utilise que les paquets de core, extra et community.
Merci d'avance pour aide
Re: [rsync] utilisation avec un site internet
bonjour
il faudrait nous dire si c'est ton site web et donc acces via ftp ou ssh ?
sinon il faut se tourner vers d'autres utilitaires (wget,... softs de web scraping )
il faudrait nous dire si c'est ton site web et donc acces via ftp ou ssh ?
sinon il faut se tourner vers d'autres utilitaires (wget,... softs de web scraping )
Arch stable - Kde 5 / zsh - btrfs/mbr - Intel Core i3 - 6Go RAM - GeForce 405 video-nouveau
-
- newbie
- Messages : 4
- Inscription : dim. 26 juil. 2020, 08:48
Re: [rsync] utilisation avec un site internet
Non, il s'agit de sites quelconques qui ne m'appartiennent pas. J'ai essayé la commande suivante mais il y a des fichiers qui ne sont pas téléchargés (erreur 404 not found) :
--> wget -rc -np -N -l inf https:://www.archive/
Vous connaissez d'autres solutions ?
Merci pour votre aide.
--> wget -rc -np -N -l inf https:://www.archive/
Vous connaissez d'autres solutions ?
Merci pour votre aide.
Re: [rsync] utilisation avec un site internet
Bonjour,archlinuxnul a écrit : ↑dim. 26 juil. 2020, 11:35 Non, il s'agit de sites quelconques qui ne m'appartiennent pas. J'ai essayé la commande suivante mais il y a des fichiers qui ne sont pas téléchargés (erreur 404 not found) :
--> wget -rc -np -N -l inf https:://www.archive/
Vous connaissez d'autres solutions ?
Merci pour votre aide.
J'utilise
Code : Tout sélectionner
$ wget -e robots=off --mirror "https://...."
-
- newbie
- Messages : 4
- Inscription : dim. 26 juil. 2020, 08:48
Re: [rsync] utilisation avec un site internet
Meci. Je vais l'essayer de suite.
Re: [rsync] utilisation avec un site internet
Salut,
Je sais qu'il existe httrack qui peut t'aider, mais bon:
1) trouver la bonne combinaison d'options n'est pas toujours aisé, c'est pareil avec wget (voir le man pour se donner une idée ... )
2) et surtout les sites ne sont pas tous construis par des amateurs, limite des requêtes, plus certains fichiers inaccessibles.
Dis-nous si tu as réussi, ça peut être sympa de voir comment tu as fait.
Je sais qu'il existe httrack qui peut t'aider, mais bon:
1) trouver la bonne combinaison d'options n'est pas toujours aisé, c'est pareil avec wget (voir le man pour se donner une idée ... )
2) et surtout les sites ne sont pas tous construis par des amateurs, limite des requêtes, plus certains fichiers inaccessibles.
Dis-nous si tu as réussi, ça peut être sympa de voir comment tu as fait.
-
- newbie
- Messages : 4
- Inscription : dim. 26 juil. 2020, 08:48
Re: [rsync] utilisation avec un site internet
Bonjour à tous.
Après plusieurs bidouillages (l'informatique et moi ça fait deux), les lignes suivantes semblent fonctionner :
--> rm site.com/index.html
--> wget -o logPourVerifierApres -rc -np -N -l inf --no-remove-listing -R 'ce que l'on ne veut pas' https://site.com/
--> rm site.com/*.old;
A plus si vous avez plus simple !
Après plusieurs bidouillages (l'informatique et moi ça fait deux), les lignes suivantes semblent fonctionner :
--> rm site.com/index.html
--> wget -o logPourVerifierApres -rc -np -N -l inf --no-remove-listing -R 'ce que l'on ne veut pas' https://site.com/
--> rm site.com/*.old;
A plus si vous avez plus simple !