Pagina 1 di 1

Scaricare sito wget

Inviato: mer 18 giu 2008, 20:01
da Absolut
Ragazzi vorrei scaricare un sito, uso il comando

wget -mirror indirizzo

ma non mi scarica ad esempio i pdf presenti nel sito!

come mai!?

thanks!

Re: Scaricare sito wget

Inviato: mer 18 giu 2008, 20:36
da DanBadJar
Probabilmente è perchè a quei pdf ci arrivi tramite script php che bloccano l'accesso se non hai fatto un'autenticazione o simili.
Altrimenti sai che pacchia? :D

Re: Scaricare sito wget

Inviato: mer 18 giu 2008, 20:56
da mordecai
Consiglio molto caldamente l'uso di webhttrack

Re: Scaricare sito wget

Inviato: gio 19 giu 2008, 10:43
da easy77
Io di solito uso wget -rL cioè ricorsivo ma solo i link relativi alla pagina o al sito.

Re: Scaricare sito wget

Inviato: gio 19 giu 2008, 10:49
da ragnetto
Cerca il "Manualinux" lì troverai qualcosa di utile.

Re: Scaricare sito wget

Inviato: gio 19 giu 2008, 10:50
da targzeta
Absolut ha scritto:...wget -mirror indirizzo

ma non mi scarica ad esempio i pdf presenti nel sito!

come mai!?....
Un motivo potrebbe essere che nel server è presente il file robots.txt che impedisce ai crawl di raggiungere un determinato file o directory. Wget in modalità ricorsiva è un crawl e onora il file robots.txt.

Il file robots.txt è il primo che viene scaricato da wget quando è in modalità ricorsiva, vedi un pò cosa dice all'interno...sempre se ce l'hai.

Spina

Re: Scaricare sito wget

Inviato: gio 19 giu 2008, 18:27
da Absolut
no.. non c'è!




spina ha scritto:
Absolut ha scritto:...wget -mirror indirizzo

ma non mi scarica ad esempio i pdf presenti nel sito!

come mai!?....
Un motivo potrebbe essere che nel server è presente il file robots.txt che impedisce ai crawl di raggiungere un determinato file o directory. Wget in modalità ricorsiva è un crawl e onora il file robots.txt.

Il file robots.txt è il primo che viene scaricato da wget quando è in modalità ricorsiva, vedi un pò cosa dice all'interno...sempre se ce l'hai.

Spina

Re: Scaricare sito wget

Inviato: gio 19 giu 2008, 21:43
da targzeta
Se ci dai il link al sito di cui vuoi fare il mirror forse ti potremmo aiutare di più.

Spina

Re: Scaricare sito wget

Inviato: ven 20 giu 2008, 9:33
da syaochan
Tempo fa con il seguente comando ho scaricato tutte le application notes dal sito della National (che sono in pdf)

Codice: Seleziona tutto

wget -br -l1 -H -t1 -nd -N -erobots=off -A.pdf http://www.national.com/an/AN/
Spero ti sia utile, ciao.