Pagina 1 di 1
Scaricare sito wget
Inviato: mer 18 giu 2008, 20:01
da Absolut
Ragazzi vorrei scaricare un sito, uso il comando
wget -mirror indirizzo
ma non mi scarica ad esempio i pdf presenti nel sito!
come mai!?
thanks!
Re: Scaricare sito wget
Inviato: mer 18 giu 2008, 20:36
da DanBadJar
Probabilmente è perchè a quei pdf ci arrivi tramite script php che bloccano l'accesso se non hai fatto un'autenticazione o simili.
Altrimenti sai che pacchia?

Re: Scaricare sito wget
Inviato: mer 18 giu 2008, 20:56
da mordecai
Consiglio molto caldamente l'uso di webhttrack
Re: Scaricare sito wget
Inviato: gio 19 giu 2008, 10:43
da easy77
Io di solito uso wget -rL cioè ricorsivo ma solo i link relativi alla pagina o al sito.
Re: Scaricare sito wget
Inviato: gio 19 giu 2008, 10:49
da ragnetto
Cerca il "Manualinux" lì troverai qualcosa di utile.
Re: Scaricare sito wget
Inviato: gio 19 giu 2008, 10:50
da targzeta
Absolut ha scritto:...wget -mirror indirizzo
ma non mi scarica ad esempio i pdf presenti nel sito!
come mai!?....
Un motivo potrebbe essere che nel server è presente il file robots.txt che impedisce ai crawl di raggiungere un determinato file o directory. Wget in modalità ricorsiva è un crawl e onora il file robots.txt.
Il file robots.txt è il primo che viene scaricato da wget quando è in modalità ricorsiva, vedi un pò cosa dice all'interno...sempre se ce l'hai.
Spina
Re: Scaricare sito wget
Inviato: gio 19 giu 2008, 18:27
da Absolut
no.. non c'è!
spina ha scritto:Absolut ha scritto:...wget -mirror indirizzo
ma non mi scarica ad esempio i pdf presenti nel sito!
come mai!?....
Un motivo potrebbe essere che nel server è presente il file robots.txt che impedisce ai crawl di raggiungere un determinato file o directory. Wget in modalità ricorsiva è un crawl e onora il file robots.txt.
Il file robots.txt è il primo che viene scaricato da wget quando è in modalità ricorsiva, vedi un pò cosa dice all'interno...sempre se ce l'hai.
Spina
Re: Scaricare sito wget
Inviato: gio 19 giu 2008, 21:43
da targzeta
Se ci dai il link al sito di cui vuoi fare il mirror forse ti potremmo aiutare di più.
Spina
Re: Scaricare sito wget
Inviato: ven 20 giu 2008, 9:33
da syaochan
Tempo fa con il seguente comando ho scaricato tutte le application notes dal sito della National (che sono in pdf)
Codice: Seleziona tutto
wget -br -l1 -H -t1 -nd -N -erobots=off -A.pdf http://www.national.com/an/AN/
Spero ti sia utile, ciao.