Espressioni regolari con la bash/shell molto ... irregolari

[freax]

salve gente , grep , egrep e fgrep supportano le espressioni regolari ? dovrebbero giusto ? almeno uno di questi 3 comandi dovrebbe ?

la mia esigenza nasce dall'avere una pagina web e dal fatto che devo tirarne fuori i link che contiene o link con contenuto specifico come domini , nomi , etc etc , ok fin qui ?

salvo la pagina per fare una prova in locale e testo la regex che non ne vuole sapere di andare ne con grep , ne con egrep , ne con fgrep , ne con una pipe ( con cat pagina.html ad esempio )

ho letto che alcune distro hanno un buon supporto alle regex altre meno , addirittura ci sarebbe differenza sull'escape dei caratteri , il bello è che tutto questo l'ho racimolato e messo insieme da post di mezza riga quindi non proprio documentati alla perfezione : qualcuno mi illumina sulle regex e sulla bash di Slackware 13 ? Documentazione sulla sintassi ?

[d4z_c0nf]

Le regexp funzionano, magari se ci fai "lavorare" su un esempio risolviamo prima.

rock

[freax]

Le regexp funzionano, magari se ci fai "lavorare" su un esempio risolviamo prima.

rock

ecco una bella mezza notizia , l'altra mezza è : come ?

ovviamente quando dalla shell esamino una pagina web il codice html non viene interpretato quindi io vedo il sorgente della pagina , ok ? ecco una regex che ad esempio mi trova tutti i link di megaupload

Codice: Seleziona tutto

http://www\.megaupload\.com/.{0,3}\?d=[a-zA-Z0-9]{8}

provata sul desktop e va , perché da console no ?

[d4z_c0nf]

Le regexp funzionano, magari se ci fai "lavorare" su un esempio risolviamo prima.

rock

ecco una bella mezza notizia , l'altra mezza è : come ?

ovviamente quando dalla shell esamino una pagina web il codice html non viene interpretato quindi io vedo il sorgente della pagina , ok ? ecco una regex che ad esempio mi trova tutti i link di megaupload

Codice: Seleziona tutto

http://www\.megaupload\.com/.{0,3}\?d=[a-zA-Z0-9]{8}

provata sul desktop e va , perché da console no ?

In pratica tu vuoi matchare tutti i link di quel tipo presenti in una o più pagine web giusto?

[freax]

Le regexp funzionano, magari se ci fai "lavorare" su un esempio risolviamo prima.

rock

ecco una bella mezza notizia , l'altra mezza è : come ?

ovviamente quando dalla shell esamino una pagina web il codice html non viene interpretato quindi io vedo il sorgente della pagina , ok ? ecco una regex che ad esempio mi trova tutti i link di megaupload

Codice: Seleziona tutto

http://www\.megaupload\.com/.{0,3}\?d=[a-zA-Z0-9]{8}

provata sul desktop e va , perché da console no ?

In pratica tu vuoi matchare tutti i link di quel tipo presenti in una o più pagine web giusto?

yes , però volevo cogliere l'occasione per rispolverare le regex , comunque si , il succo è quello anche se dopo la regex veniva la parte nella quale controllavo se ci fossero doppioni nell'output visto che a volte sia il link alla pagina sia il nome del link hanno la forma http://www.etcetc.it

[d4z_c0nf]

Non ho capito bene poi il fatto della prova sul desktop..
In ogni caso ho fatto questa prova:
Ho un file pippo.htm:

Codice: Seleziona tutto

http://www.megaupload.com/?d=R37IFLY1
dffhttp://www.megaupload.com/?d=R37IFLY2
gfdlgk http://www.megaupload.com/?d=R37IFLY3 
fdsaf
http://www.megaupload.com/?d=R37IFLY4

Scusa la rozzezza ma è per velocità.
Do il comando:

Codice: Seleziona tutto

egrep -o 'http://www\.megaupload\.com/.{0,3}\?d=[a-zA-Z0-9]{8}' ./pippo.html

e il risultato è coerentemente:

Codice: Seleziona tutto

http://www.megaupload.com/?d=R37IFLY1
http://www.megaupload.com/?d=R37IFLY2
http://www.megaupload.com/?d=R37IFLY3
http://www.megaupload.com/?d=R37IFLY4

[d4z_c0nf]

[
yes , però volevo cogliere l'occasione per rispolverare le regex , comunque si , il succo è quello anche se dopo la regex veniva la parte nella quale controllavo se ci fossero doppioni nell'output visto che a volte sia il link alla pagina sia il nome del link hanno la forma http://www.etcetc.it

Ma le regex le usi correttamente in quella stringa.
Forse usavi male i comandi. Per questo dovresti leggerti un po' i man o gl'help.

rock

[freax]

[
yes , però volevo cogliere l'occasione per rispolverare le regex , comunque si , il succo è quello anche se dopo la regex veniva la parte nella quale controllavo se ci fossero doppioni nell'output visto che a volte sia il link alla pagina sia il nome del link hanno la forma http://www.etcetc.it

Ma le regex le usi correttamente in quella stringa.
Forse usavi male i comandi. Per questo dovresti leggerti un po' i man o gl'help.

rock

ok perfetto , tra grep -E come egrep ho fatto un bel po di casino ... qualche idea su come togliere i duplicati ? l'ordine dell'elenco deve rimanere invariato .

[ulisse89]

Comunque ricordo di aver ricompilato il programma "urlview" che fa proprio al caso tuo. Estrae gli URL dai file. E' un peccato che sia scritto in C e quindi non possa darti un esempio di come potevi usare *grep.

[freax]

Comunque ricordo di aver ricompilato il programma "urlview" che fa proprio al caso tuo. Estrae gli URL dai file. E' un peccato che sia scritto in C e quindi non possa darti un esempio di come potevi usare *grep.

quella parte del lavoro è andata comunque , ah se questo urlview avesse avuto il controllo sui duplicati .

devo risolvere questa cosa dei link duplicati anche se la cosa più rapida rimane il salvataggio tramite un frontend web e da li incollo il testo o lo controllo a manina ...

[raffaele181188]

Ma tu per duplicati ora cosa intendi? Se intendi che alcune stringhe vengono matchate più volte, beh, allora devi modificare il comando e passare delle opzioni a seconda del caso. Se invece intendi eliminare tutte le istanze di un URL che si ripetono in un documento meno una, allora sei costretto a usare un linguaggio di programmazione, e io ti consiglio un linguaggio di alto livello con supporto ai contenitori senza duplicati (io conosco Java e Python per questo scopo)

Offtopic: Per ricevere un aiuto buono e rapido, l'approccio migliore è senza dubbio spiegare tutto, per bene, e nel primo post

[414N]

Per rimuovere i duplicati da un file (intendo righe uguali) si usa uniq, in combinazione con sort (le righe duplicate devono essere adiacenti):

Codice: Seleziona tutto

cat file | sort | uniq

[raffaele181188]

cat file | sort | uniq

Buono a sapersi

[ZeD]

cat file | sort | uniq

Buono a sapersi

per la cronaca,

Codice: Seleziona tutto

sort -u file

è più che sufficiente

[414N]

cat file | sort | uniq

Buono a sapersi

per la cronaca,

Codice: Seleziona tutto

sort -u file

è più che sufficiente

Maial, è vero! Grazie