Archlinux.fr [Forums]

Bonjour à tous !

J'utilise "rsync" régulièrement pour sauvegarder mes données du disque dur vers ma clé usb en utilisant la command suivante :
--> rsync -av --delete-after source/ destination/
Aujourd'hui, je souhaiterais faire la même chose mais avec un site internet quelconque afin de récupérer ses données tout en les mettant à jour. Comment faire avec "rsync" ? En effet lors du téléchargement des fichiers archives peuvent changer d'où la nécessité d'une synchronisation ... si je comprends bien ???)
--> rsync -av --delete-after https://www.archives/ destination/
Mais évidemment cela ne fonctionne pas !
Pour l'instant je n'utilise que les paquets de core, extra et community.

Merci d'avance pour aide

bonjour

il faudrait nous dire si c'est ton site web et donc acces via ftp ou ssh ?
sinon il faut se tourner vers d'autres utilitaires (wget,... softs de web scraping )

Non, il s'agit de sites quelconques qui ne m'appartiennent pas. J'ai essayé la commande suivante mais il y a des fichiers qui ne sont pas téléchargés (erreur 404 not found) :
--> wget -rc -np -N -l inf https:://www.archive/
Vous connaissez d'autres solutions ?
Merci pour votre aide.

archlinuxnul a écrit : ↑dim. 26 juil. 2020, 11:35 Non, il s'agit de sites quelconques qui ne m'appartiennent pas. J'ai essayé la commande suivante mais il y a des fichiers qui ne sont pas téléchargés (erreur 404 not found) :
--> wget -rc -np -N -l inf https:://www.archive/
Vous connaissez d'autres solutions ?
Merci pour votre aide.

Bonjour,
J'utilise Mais certains sites se protègent, ce qui est leur droit...

Meci. Je vais l'essayer de suite.

Salut,

Je sais qu'il existe httrack qui peut t'aider, mais bon:
1) trouver la bonne combinaison d'options n'est pas toujours aisé, c'est pareil avec wget (voir le man pour se donner une idée ... )
2) et surtout les sites ne sont pas tous construis par des amateurs, limite des requêtes, plus certains fichiers inaccessibles.

Dis-nous si tu as réussi, ça peut être sympa de voir comment tu as fait.

Bonjour à tous.

Après plusieurs bidouillages (l'informatique et moi ça fait deux), les lignes suivantes semblent fonctionner :

--> rm site.com/index.html
--> wget -o logPourVerifierApres -rc -np -N -l inf --no-remove-listing -R 'ce que l'on ne veut pas' https://site.com/
--> rm site.com/*.old;

A plus si vous avez plus simple !