Ragazzi vorrei scaricare un sito, uso il comando
wget -mirror indirizzo
ma non mi scarica ad esempio i pdf presenti nel sito!
come mai!?
thanks!
Scaricare sito wget
Moderatore: Staff
Regole del forum
1) Citare sempre la versione di Slackware usata, la versione del Kernel e magari anche la versione della libreria coinvolta. Questi dati aiutano le persone che possono rispondere.
2) Per evitare confusione prego inserire in questo forum solo topic che riguardano appunto Gnu/Linux in genere, se l'argomento è specifico alla Slackware usate uno dei forum Slackware o Slackware64.
3) Leggere attentamente le risposte ricevute
4) Scrivere i messaggi con il colore di default, evitare altri colori.
5) Scrivere in Italiano o in Inglese, se possibile grammaticalmente corretto, evitate stili di scrittura poco chiari, quindi nessuna abbreviazione tipo telegramma o scrittura stile SMS o CHAT.
6) Appena registrati è consigliato presentarsi nel forum dedicato.
La non osservanza delle regole porta a provvedimenti di vari tipo da parte dello staff, in particolare la non osservanza della regola 5 porta alla cancellazione del post e alla segnalazione dell'utente. In caso di recidività l'utente rischia il ban temporaneo.
1) Citare sempre la versione di Slackware usata, la versione del Kernel e magari anche la versione della libreria coinvolta. Questi dati aiutano le persone che possono rispondere.
2) Per evitare confusione prego inserire in questo forum solo topic che riguardano appunto Gnu/Linux in genere, se l'argomento è specifico alla Slackware usate uno dei forum Slackware o Slackware64.
3) Leggere attentamente le risposte ricevute
4) Scrivere i messaggi con il colore di default, evitare altri colori.
5) Scrivere in Italiano o in Inglese, se possibile grammaticalmente corretto, evitate stili di scrittura poco chiari, quindi nessuna abbreviazione tipo telegramma o scrittura stile SMS o CHAT.
6) Appena registrati è consigliato presentarsi nel forum dedicato.
La non osservanza delle regole porta a provvedimenti di vari tipo da parte dello staff, in particolare la non osservanza della regola 5 porta alla cancellazione del post e alla segnalazione dell'utente. In caso di recidività l'utente rischia il ban temporaneo.
-
DanBadJar
- Linux 4.x
- Messaggi: 1027
- Iscritto il: ven 28 lug 2006, 19:27
- Nome Cognome: Daniele Malavasi
- Slackware: 13.1
- Kernel: 2.6.34.1
- Desktop: XFCE - Gnome
- Località: Bologna
- Contatta:
Re: Scaricare sito wget
Probabilmente è perchè a quei pdf ci arrivi tramite script php che bloccano l'accesso se non hai fatto un'autenticazione o simili.
Altrimenti sai che pacchia?
Altrimenti sai che pacchia?
Re: Scaricare sito wget
Consiglio molto caldamente l'uso di webhttrack
Re: Scaricare sito wget
Io di solito uso wget -rL cioè ricorsivo ma solo i link relativi alla pagina o al sito.
Re: Scaricare sito wget
Cerca il "Manualinux" lì troverai qualcosa di utile.
-
targzeta
- Iper Master
- Messaggi: 6643
- Iscritto il: gio 3 nov 2005, 14:05
- Nome Cognome: Emanuele Tomasi
- Slackware: 64-current
- Kernel: latest stable
- Desktop: IceWM
- Località: Carpignano Sal. (LE) <-> Pisa
Re: Scaricare sito wget
Un motivo potrebbe essere che nel server è presente il file robots.txt che impedisce ai crawl di raggiungere un determinato file o directory. Wget in modalità ricorsiva è un crawl e onora il file robots.txt.Absolut ha scritto:...wget -mirror indirizzo
ma non mi scarica ad esempio i pdf presenti nel sito!
come mai!?....
Il file robots.txt è il primo che viene scaricato da wget quando è in modalità ricorsiva, vedi un pò cosa dice all'interno...sempre se ce l'hai.
Spina
Se pensi di essere troppo piccolo per fare la differenza, prova a dormire con una zanzara -- Dalai Lama
-
Absolut
- Linux 4.x
- Messaggi: 1465
- Iscritto il: gio 10 feb 2005, 0:00
- Slackware: current
- Località: Roma
Re: Scaricare sito wget
no.. non c'è!
spina ha scritto:Un motivo potrebbe essere che nel server è presente il file robots.txt che impedisce ai crawl di raggiungere un determinato file o directory. Wget in modalità ricorsiva è un crawl e onora il file robots.txt.Absolut ha scritto:...wget -mirror indirizzo
ma non mi scarica ad esempio i pdf presenti nel sito!
come mai!?....
Il file robots.txt è il primo che viene scaricato da wget quando è in modalità ricorsiva, vedi un pò cosa dice all'interno...sempre se ce l'hai.
Spina
-
targzeta
- Iper Master
- Messaggi: 6643
- Iscritto il: gio 3 nov 2005, 14:05
- Nome Cognome: Emanuele Tomasi
- Slackware: 64-current
- Kernel: latest stable
- Desktop: IceWM
- Località: Carpignano Sal. (LE) <-> Pisa
Re: Scaricare sito wget
Se ci dai il link al sito di cui vuoi fare il mirror forse ti potremmo aiutare di più.
Spina
Spina
Se pensi di essere troppo piccolo per fare la differenza, prova a dormire con una zanzara -- Dalai Lama
-
syaochan
- Linux 3.x
- Messaggi: 659
- Iscritto il: dom 9 mag 2004, 0:00
- Nome Cognome: Christian
- Slackware: current 64
- Kernel: 2.6.38.7
- Desktop: KDE 4.5.5
- Contatta:
Re: Scaricare sito wget
Tempo fa con il seguente comando ho scaricato tutte le application notes dal sito della National (che sono in pdf) Spero ti sia utile, ciao.
Codice: Seleziona tutto
wget -br -l1 -H -t1 -nd -N -erobots=off -A.pdf http://www.national.com/an/AN/