txz e packages.txt

[d4z_c0nf]

Eh sì USIZE come Spina insegna, adesso succhia un sacco.
Offtopic: Ah una cosa sempre su xz, ma è possibile che non ci sia la pagina del manuale?
Poi xarchiver non lo riconosce
rock

[conraid]

xargs ls fa quello che gli vien detto di fare,
senza sort prima zzz, poi rock ed alla fine aaa

Ragione per cui copio dirs sempre con
find | sort | cpio -pdm destinazione
e le inode della destinazione sono in ordine alfabetico.

Codice: Seleziona tutto

# find . | sort | xargs ls -ngGd > /tmp/prova
# find . | xargs ls -ngGd > /tmp/prova2
# diff /tmp/prova /tmp/prova2

produce lo stesso risultato
rock ha detto di non usare sort con ls, non sempre

Alien e` una vecchia volpe UNIX!

Anche se usa /lib64?

[Mario Vanoni]

Offtopic: Ah una cosa sempre su xz, ma è possibile che non ci sia la pagina del manuale?
Poi xarchiver non lo riconosce
rock

xz -H | less

[conraid]

Eh sì USIZE come Spina insegna, adesso succhia un sacco.
Offtopic: Ah una cosa sempre su xz, ma è possibile che non ci sia la pagina del manuale?
Poi xarchiver non lo riconosce
rock

è nuovo, molti tool non lo riconosco, per alcuni hanno fatto una versione personalizzata quelli del team

il man non c'è nemmeno in git

[d4z_c0nf]

Scusa Mario ma tutto l'output (a lotto) di find viene dato in pasto ad ls o sbaglio?
rock

Si, ma
se la inode 1 si riferisce alla dir zzz
la inode 2 alla dir rock
la inode 3 alla dir aaa
create prima dei files,
i files avranno inodes metti 100...9999,
a seconda della data di creazione.

senza sort ls li sortisce nella dir,
ma non sortisce le dirs, quindi un "disordine" stile
zzz/aa
zzz/bb
rock/rock
rock/xxx
aaa/rock
aaa/zebra

xargs ls fa quello che gli vien detto di fare,
senza sort prima zzz, poi rock ed alla fine aaa

Ragione per cui copio dirs sempre con
find | sort | cpio -pdm destinazione
e le inode della destinazione sono in ordine alfabetico.

Alien e` una vecchia volpe UNIX!

Se ho capito bene Mario tu dici che find (ordinando per inode) se restituisce qualcosa tipo:

Codice: Seleziona tutto

zzz/bb
zzz/aa
rock/rock
rock/xxx
aaa/zebra
aaa/rock

allora l'ls in pipe fatto in quel modo, restituirebbe:

Codice: Seleziona tutto

zzz/aa
zzz/bb
rock/rock
rock/xxx
aaa/rock
aaa/zebra

Non capisco perchè non dovrebbe ordinare le dirs ma solo il contenuto.
Empiricamente su un mio repository ottengo lo stesso risultato.
rock

[d4z_c0nf]

Offtopic: Ah una cosa sempre su xz, ma è possibile che non ci sia la pagina del manuale?
Poi xarchiver non lo riconosce
rock

xz -H | less

Sì l'ho visto l'help esteso, ma mi riferivo proprio alla pagina del man.
Grazie.
rock

[Mario Vanoni]

xargs ls fa quello che gli vien detto di fare,
senza sort prima zzz, poi rock ed alla fine aaa

Ragione per cui copio dirs sempre con
find | sort | cpio -pdm destinazione
e le inode della destinazione sono in ordine alfabetico.

Codice: Seleziona tutto

# find . | sort | xargs ls -ngGd > /tmp/prova
# find . | xargs ls -ngGd > /tmp/prova2
# diff /tmp/prova /tmp/prova2

produce lo stesso risultato
rock ha detto di non usare sort con ls, non sempre

Scusa Corrado,
facendo su una dir di 1.3GB
# find . | sort | xargs ls -ngGd | less
dirs e files ordinati
# find . | xargs ls -ngGd | less
solo nelle dirs i files sono ordinato
l'ordine delle dirs segue le inode,
disordinate in senso alfabetico

[conraid]

Scusa Corrado,
facendo su una dir di 1.3GB
# find . | sort | xargs ls -ngGd | less
dirs e files ordinati
# find . | xargs ls -ngGd | less
solo nelle dirs i files sono ordinato
l'ordine delle dirs segue le inode,
disordinate in senso alfabetico

a me risultano ordinate anche le dir, mentre find e basta non lo fa
boh

[d4z_c0nf]

xargs ls fa quello che gli vien detto di fare,
senza sort prima zzz, poi rock ed alla fine aaa

Ragione per cui copio dirs sempre con
find | sort | cpio -pdm destinazione
e le inode della destinazione sono in ordine alfabetico.

Codice: Seleziona tutto

# find . | sort | xargs ls -ngGd > /tmp/prova
# find . | xargs ls -ngGd > /tmp/prova2
# diff /tmp/prova /tmp/prova2

produce lo stesso risultato
rock ha detto di non usare sort con ls, non sempre

Scusa Corrado,
facendo su una dir di 1.3GB
# find . | sort | xargs ls -ngGd | less
dirs e files ordinati
# find . | xargs ls -ngGd | less
solo nelle dirs i files sono ordinato
l'ordine delle dirs segue le inode,
disordinate in senso alfabetico

Perciò non capivo Mario, abbiamo due risultati diversi, è strano questo fatto.

[conraid]

Alien mi ha risposto che ha molti script da fare, ed a quelli per il repository ci penserà con calma, tanto per adesso usa i tgz
Gli ho mostrato la nostra soluzione e chiesto se sa come Pat crea il packages.txt (sempre se nel mio inglese mi sono fatto capire )

[d4z_c0nf]

Alien mi ha risposto che ha molti script da fare, ed a quelli per il repository ci penserà con calma, tanto per adesso usa i tgz
Gli ho mostrato la nostra soluzione e chiesto se sa come Pat crea il packages.txt (sempre se nel mio inglese mi sono fatto capire )

E vabbè Corrado, poi dici che non ti risponde più Pat, se ti rispondono te ne approfitti incrementalmente
rock

[Mario Vanoni]

Perciò non capivo Mario, abbiamo due risultati diversi, è strano questo fatto.

Sempre la stessa dir di 1.3GB, faccio

# find . | sort | xargs ls -i | less
dirs ordinati ed inode ordinate nei dirs
# find . | xargs ls -i | less
inode ordinate, ma dirs disordinati

test supplementare
# find . | xargs ls -i | grep '^\.\/' | less
e vedi il disordine dei dirs sul disco rigido

[conraid]

Alien mi ha risposto che ha molti script da fare, ed a quelli per il repository ci penserà con calma, tanto per adesso usa i tgz
Gli ho mostrato la nostra soluzione e chiesto se sa come Pat crea il packages.txt (sempre se nel mio inglese mi sono fatto capire )

E vabbè Corrado, poi dici che non ti risponde più Pat, se ti rispondono te ne approfitti incrementalmente
rock

hai ragione

[targzeta]

Ti propongo questo:

Codice: Seleziona tutto

#!/bin/bash

set -e

TMP=/tmp
HTMLDIR=/opt/slackers/html
ROOTDIR=/opt/slackers/repos-nosource

cd $ROOTDIR

# Creo Changelog.rss
# Qui c'è una parte presa pari pari dallo script di AlienBob


###############
#
# Creo PACKAGES.TXT and MANIFEST.bz2


cd $ROOTDIR
echo '' > PACKAGES.TXT
echo '' > CHECKSUMS.md5
echo '' > MANIFEST
for pkg in $(find . -type f -name '*cf.t?z' -print | sort)
do
    NAME=$(basename $pkg)
    LOCATION=$(dirname $pkg)
    PKGEXT=${pkg##*.}
    if [ $PKGEXT = "tgz" ]; then
        info=($(gunzip -l $pkg | tail -n1 | tr -s ' '))
        SIZE=${info[0]}
        USIZE=${info[1]}
    else
        SIZE=$(stat --format="%s" $pkg)
        USIZE=$(xz -dc $pkg | wc -c)
    fi
    let SIZE=SIZE/1024;
    let USIZE=USIZE/1024;
    REQUIRED=""
    CONFLICTS=""
    SUGGESTS=""
    echo "PACKAGE NAME:  $NAME" >> $ROOTDIR/PACKAGES.TXT
    echo "PACKAGE LOCATION:  $LOCATION" >> $ROOTDIR/PACKAGES.TXT
    echo "PACKAGE SIZE (compressed):  $SIZE K" >> $ROOTDIR/PACKAGES.TXT
    echo "PACKAGE SIZE (uncompressed):  $USIZE K" >> $ROOTDIR/PACKAGES.TXT
    #echo "PACKAGE REQUIRED:  $REQUIRED" >> $ROOTDIR/PACKAGES.TXT
    #echo "PACKAGE CONFLICTS:  $CONFLICTS" >> $ROOTDIR/PACKAGES.TXT
    #echo "PACKAGE SUGGESTS:  $SUGGESTS" >> $ROOTDIR/PACKAGES.TXT
    echo "PACKAGE DESCRIPTION:" >> $ROOTDIR/PACKAGES.TXT
    echo $NAME
    tar xOf $pkg install/slack-desc | sed -n '/#/d;/:/p' >> $ROOTDIR/PACKAGES.TXT
    echo "" >> $ROOTDIR/PACKAGES.TXT
    echo "" >> $ROOTDIR/PACKAGES.TXT
    echo "++========================================" >> $ROOTDIR/MANIFEST
    echo "||" >> $ROOTDIR/MANIFEST
    echo "||   Package:  $pkg" >> $ROOTDIR/MANIFEST
    echo "||" >> $ROOTDIR/MANIFEST
    echo "++========================================" >> $ROOTDIR/MANIFEST
    tar tvf $pkg >> $ROOTDIR/MANIFEST
    echo >> $ROOTDIR/MANIFEST
    echo >> $ROOTDIR/MANIFEST
    md5sum $pkg >> $ROOTDIR/CHECKSUMS.md5
done

cat $ROOTDIR/PACKAGES.TXT | gzip -9 -c - > $ROOTDIR/PACKAGES.TXT.gz
cat $ROOTDIR/CHECKSUMS.md5 | gzip -9 -c - > $ROOTDIR/CHECKSUMS.md5.gz
bzip2 $ROOTDIR/MANIFEST


#
# gen_filelist
#

LISTFILE=$HTMLDIR/FILELIST.TXT

( cd ${ROOTDIR}
cat <<EOT > ${LISTFILE}
$(LC_TIME=en_US date -u)

Here is the file list for http://www.slackers.it/repository,
maintained by Corrado Franco <http://conraid.net>.

EOT
#find . | sort | xargs ls -nld >> ${LISTFILE}
find . | xargs ls -ngGd >> ${LISTFILE}
cat $LISTFILE | gzip -9 -c - > ${LISTFILE}.gz
)


# Copio i file in HTML
mv CHECKSUMS* $HTMLDIR
mv PACKAGES* $HTMLDIR
mv ChangeLog* $HTMLDIR
mv MANIFEST* $HTMLDIR

Ho fatto qualche modifica ed eliminato i metafile, tanto a che ti servono scusa? Ho avuto un pò una delusione, su 11 pacchetti tra cui un txz:

Codice: Seleziona tutto

time sh mio_script.sh
real    0m10.440s
user    0m8.740s
sys     0m0.970s

time sh tuo_script.sh
real    0m11.222s
user    0m9.210s
sys     0m1.050s

Ma sono convinto che tu sei fortunato solo perchè c'è la cache in memoria, e quindi fare 3 o 5 find alla fino non porta sostanziale differenza di tempo. Se per ogni find dovessi andare a riesaminare la directory, secondo me ci metteresti molto di più.

Emanuele

[d4z_c0nf]

Perciò non capivo Mario, abbiamo due risultati diversi, è strano questo fatto.

Sempre la stessa dir di 1.3GB, faccio

# find . | sort | xargs ls -i | less
dirs ordinati ed inode ordinate nei dirs

Io ho tutto in ordine alfabetico quindi inode disordinati
ti do un estratto:

Codice: Seleziona tutto

5537861 ./mpd/doinst.sh
5537865 ./mpd/mpd-0.14.2.tar.bz2
5537862 ./mpd/mpd.SlackBuild
5537863 ./mpd/rc.mpd.new
5537864 ./mpd/slack-desc
5554225 ./oo/builder.tar.gz
5554229 ./oo/doinst.sh.gz
5554224 ./oo/openoffice-autobuilder-multilang.SlackBuild
5554226 ./oo/slack-desc
5554227 ./oo/slack-required
3670017 ./pippo
3670018 ./pippo1

# find . | xargs ls -i | less
inode ordinate, ma dirs disordinati

Stesso risultato della prova precedente,dirs ordinate, inode no, infatti:

Codice: Seleziona tutto

root@localhost:/Repository/src$ find . | sort | xargs ls -i > find_w_sort
root@localhost:/Repository/src$ find . | xargs ls -i > find_wo_sort
root@localhost:/Repository/src$ diff find_wo_sort find_w_sort       
root@localhost:/Repository/src$ 

test supplementare
# find . | xargs ls -i | grep '^\.\/' | less
e vedi il disordine dei dirs sul disco rigido

Sempre nella stessa dir

Codice: Seleziona tutto

root@localhost:/Repository/src$ find . | sort | xargs ls -i | grep '^\.\/' > find_sort_grep
root@localhost:/Repository/src$ find . | xargs ls -i | grep '^\.\/' > find_wo_sort_grep
root@localhost:/Repository/src$ diff find_sort_grep find_wo_sort_grep 
root@localhost:/Repository/src$ 

Non so che dirti.
rock