[wget] alternatives à ce paquet ou bon tutoriel ?

[rafmav]

Bonjour,

Y a t'il des alternatives à wget ou un bon tutoriel ?

[benjarobin]

Je ne comprend pas bien la question, que cherche tu, mais sinon il y a curl
Au faite de wget

[veka]

salut,

Personnellement je ne connais pas d'alternative mais il en existe surement.
Quand au tutoriel, wget étant trés polyvalent il faudrait un peu de précision quand a tes objectifs.

[rafmav]

C'est vrai que c'est pas clair.

En fait, je récupère des données en utilisant dans les options de wget le "header" suivant.

Extrait de "~/.wgetrc" :

Code : Tout sélectionner

header = Accept-Encoding: gzip,deflate

Voici l'équivalent en ligne de commande:

Code : Tout sélectionner

wget --header 'header = Accept-Encoding: gzip,deflate'

Ce 'header' accélère grandement la récupération des fichiers textes: le serveur me les envoie compressés. Mais cet idiot de 'wget' (à moins que ce soit moi l'idiot) me les sauvegarde dans le format du serveur, et n'y lit bien sûr aucune URL pour aller chercher les pages filles...

En revanche, pour les fichiers multimédia, ça ne changera probablement rien (ils sont déjà compressés).

Des pistes ?

[benjarobin]

Ce 'header' accélère grandement la récupération des fichiers textes: le serveur me les envoie compressés.

On est d'accord

Mais cet idiot de 'wget' (à moins que ce soit moi l'idiot) me les sauvegarde dans le format du serveur, et n'y lit bien sûr aucune URL pour aller chercher les pages filles...
En revanche, pour les fichiers multimédia, ça ne changera probablement rien (ils sont déjà compressés).

je n'ai rien compris
Tu cherches a faire quoi concrètement

[veka]

Pour le format en faite se sont bien des fichier compréssé mais il n'ajoute pas tout seul l'extention.
ajoute l'extention .gzip a tes fichier et tu pourra les decompresser pour les lire.

Quand a lire les page fille je vais jetter un oeil.

[benjarobin]

En tout cas je te conseil curl, il gérera lui la décompression...

[chipster]

ariane2 ?

[rafmav]

Tu veux dire aria2 ?

[chipster]

oui, pardon

[rafmav]

Ben je viens de lire le man de aria2: c'est pareil et pire que wget: va falloir du temps pour paramétrer! et curl pareil. enfin bon, en ligne de commande, au moins on a ce qu'on veut une fois que c'est fait!

[rafmav]

Ca marche avec wget, après un bon paramètrage, en fait.

Il me reste 2 problèmes:
- pouvoir demander le fichier compressé au serveur et le décompresser sur place:
la demande est facile, on met un

Code : Tout sélectionner

--header = 'Accept-Encoding: gzip,deflate'

dans la commande, et on a le fichier sauvegardé en local; mais à l'arrivée, je n'ai toujours pas trouvé comment dire à wget qu'il doit le décompresser avant sauvegarde.

- certains documents ont leur adresse encapsulée dans du code javascript, et là, il semble que ni wget, ni aria2, ni probablement curl, ne sont capables d'y récupérer les adresses. Par exemple:

Code : Tout sélectionner

function writeMovie()
{
document.write('<object id="id2" type="video/quicktime" ... data="Media/data.mov"><param name="src" value="Media/data.avi"/><param name="controller" value="true"/> ...</object>')
}

Dans une page web "normale", alias dans un navigateur, le code aurait été "exécuté" , et les composants de la page seraient disponibles pour le téléchargement.
Mais il faut au minimum un parseur de code javascript, c'est donc une autre paire de manches!

Des pistes ?