txz e packages.txt

Messaggio da **d4z_c0nf** » mer 27 mag 2009, 15:35

conraid ha scritto:
d4z_c0nf ha scritto:Ma scusate, tutto quel casino e poi
xz -dc pacchetto | wc -c

era la soluzione?!

rock
oh allora rock, io posto sempre qui per conoscenza di tutti, ma spero sempre che Spina legga

Aahahah, ho capito in pratica sfrutti il forum per ottenere il supporto di Spina... Fai bene

Comunque io c'avevo pensato a wc, solo che l'avevo pensato male, lo volevo usare invece del for per fare la somma.
Spina è di un altro livello proprio.
rock

Messaggio da **targzeta** » mer 27 mag 2009, 15:39

conraid ha scritto:...
oh allora rock, io posto sempre qui per conoscenza di tutti, ma spero sempre che Spina legga

Ribadisco, MALEDETTO!!!

Emanuele

YouTube · Messaggio da **conraid** » mer 27 mag 2009, 15:42

spina ha scritto:
conraid ha scritto:...
oh allora rock, io posto sempre qui per conoscenza di tutti, ma spero sempre che Spina legga
Ribadisco, MALEDETTO!!!

Ovvia Emanuale, invece di ringraziarmi che ti porto sulla via dello slack

YouTube · Messaggio da **conraid** » mer 27 mag 2009, 15:48

Questo è lo script, naturalmente le dir sono quelle del mio pc

Codice: Seleziona tutto

#!/bin/bash                          

set -e

TMP=/tmp
HTMLDIR=/opt/slackers/html
ROOTDIR=/opt/slackers/repos-nosource

cd $ROOTDIR

# Creo Changelog.rss
# Qui c'è una parte presa pari pari dallo script di AlienBob


###############
#              
# Creo PACKAGES.TXT and MANIFEST.bz2


cd $ROOTDIR

for pkg in $(find . -type f -name '*cf.t?z' -print | sort)
do                                                        
            NAME=$(echo $pkg|sed -re "s/(.*\/)(.*.t?z)$/\2/")
            LOCATION=$(echo $pkg|sed -re "s/(.*)\/(.*.t?z)$/\1/")
            PKGEXT=$(echo $pkg | rev | cut -f 1 -d . | rev)      
            if [ $PKGEXT = "tgz" ]; then                         
            SIZE=$( expr $(gunzip -l $pkg |tail -1|awk '{print $1}') / 1024 )
            USIZE=$( expr $(gunzip -l $pkg |tail -1|awk '{print $2}') / 1024 )
            METAFILE=${NAME%tgz}meta                                          
            else                                                              
            SIZE=$(expr $(ls -lL $pkg | tr -s ' ' | cut -f 5 -d ' ') / 1024 ) 
            USIZE=$( expr $(xz -dc $pkg | wc -c) / 1024 )                     
            METAFILE=${NAME%txz}meta                                          
            fi                                                                
            REQUIRED=""                                                       
            CONFLICTS=""                                                      
            SUGGESTS=""                                                       
            echo "PACKAGE NAME:  $NAME" > $LOCATION/$METAFILE                 
            echo "PACKAGE LOCATION:  $LOCATION" >> $LOCATION/$METAFILE        
            echo "PACKAGE SIZE (compressed):  $SIZE K" >> $LOCATION/$METAFILE 
            echo "PACKAGE SIZE (uncompressed):  $USIZE K" >> $LOCATION/$METAFILE
            #echo "PACKAGE REQUIRED:  $REQUIRED" >> $LOCATION/$METAFILE         
            #echo "PACKAGE CONFLICTS:  $CONFLICTS" >> $LOCATION/$METAFILE       
            #echo "PACKAGE SUGGESTS:  $SUGGESTS" >> $LOCATION/$METAFILE         
            echo "PACKAGE DESCRIPTION:" >> $LOCATION/$METAFILE                  
            echo $NAME                                                          
            tar xfO $pkg install/slack-desc |grep -E '\w+\:'|grep -v '^#' >> $LOCATION/$METAFILE
            echo "" >> $LOCATION/$METAFILE                                                      
            echo "" >> $LOCATION/$METAFILE                                                      
            echo "++========================================" >> $ROOTDIR/MANIFEST              
            echo "||" >> $ROOTDIR/MANIFEST                                                      
            echo "||   Package:  $pkg" >> $ROOTDIR/MANIFEST                                     
            echo "||" >> $ROOTDIR/MANIFEST                                                      
            echo "++========================================" >> $ROOTDIR/MANIFEST              
            tar tvf $pkg >> $ROOTDIR/MANIFEST                                                   
            echo >> $ROOTDIR/MANIFEST                                                           
            echo >> $ROOTDIR/MANIFEST                                                           
done                                                                                            

echo '' > $ROOTDIR/PACKAGES.TXT
find . -type f -name '*.meta' | sort | xargs cat >> $ROOTDIR/PACKAGES.TXT
cat $ROOTDIR/PACKAGES.TXT | gzip -9 -c - > $ROOTDIR/PACKAGES.TXT.gz      
find . -type f -name '*.meta' -exec rm -f {} \;                          

echo '' > $ROOTDIR/CHECKSUMS.md5
find . -type f -name '*cf*.t?z' | sort | xargs md5sum >> $ROOTDIR/CHECKSUMS.md5
cat $ROOTDIR/CHECKSUMS.md5 | gzip -9 -c - > $ROOTDIR/CHECKSUMS.md5.gz          

bzip2 $ROOTDIR/MANIFEST


#
# gen_filelist
#             
DIR=$REPOSROOT
LISTFILE=$HTMLDIR/FILELIST.TXT

( cd ${DIR}
cat <<EOT > ${LISTFILE}
$(LC_TIME=en_US date -u)

Here is the file list for http://www.slackers.it/repository,
maintained by Corrado Franco <http://conraid.net>.

EOT
#find . | sort | xargs ls -nld >> ${LISTFILE}
find . | sort | xargs ls -ngGd >> ${LISTFILE}
cat $LISTFILE | gzip -9 -c - > ${LISTFILE}.gz
)


# Copio i file in HTML
mv CHECKSUMS* $HTMLDIR
mv PACKAGES* $HTMLDIR
mv ChangeLog* $HTMLDIR
mv MANIFEST* $HTMLDIR

Come vedete cancello i file .meta (alcuni non lo fanno) e tolgo voci da packages.txt, ma ho lasciato così perché possono sempre essermi utili

Se notate errori o avete suggerimenti, ben vengano

Messaggio da **d4z_c0nf** » mer 27 mag 2009, 16:05

due cose ad occhio:

Codice: Seleziona tutto

find . -type f -name '*cf.t?z' -print | sort

da lo stesso risultato di

Codice: Seleziona tutto

find . -type f -name '*cf.t?z' | sort

e sfruttando Spina:

Codice: Seleziona tutto

SIZE=$( expr $(ls -lL $pkg | tr -s ' ' | cut -f 5 -d ' ') / 1024 )

per entrambi i tipi
puoi ottenerlo come

Codice: Seleziona tutto

SIZE= $((  $(cat $pkg | wc -c) / 1024 ))

L'unica cosa è che non so se a livello di risorse è lo stesso (con time l'opzione che ti suggerisco è + lenta di qualche millesimo di secondo su un pacchetto da 4mega..)
Però è indipendente dal tipo di pacchetto

P.S.
La soluzinoe con ls invece è veloce circa quanto quella che usi per i pacchetti tgz (sfruttando i metadati), quindi se vuoi puoi usare quella per tutti e due i tipi.
rock

Messaggio da **d4z_c0nf** » mer 27 mag 2009, 16:05

Sorry doppio post

algol · Messaggio da **algol** » mer 27 mag 2009, 16:12

Offtopic: Thread di alto livello...
Noi umani leggiamo basiti e tacciamo in religioso silenzio...

Messaggio da **d4z_c0nf** » mer 27 mag 2009, 16:21

Ah na cosa Corrado, non capisco perchè qui:

Codice: Seleziona tutto

find . | sort | xargs ls -ngGd >> ${LISTFILE}

prima fai un sort, ls non lo fa di per se?
vabè quisquilie.
rock

YouTube · Messaggio da **conraid** » mer 27 mag 2009, 16:32

d4z_c0nf ha scritto:Ah na cosa Corrado, non capisco perchè qui:
Codice: Seleziona tutto
find . | sort | xargs ls -ngGd >> ${LISTFILE}
prima fai un sort, ls non lo fa di per se?
vabè quisquilie.
rock

visto, ma anche questo era di alien

ora guardo le altre cose che hai scritto

Mario Vanoni · Messaggio da **Mario Vanoni** » mer 27 mag 2009, 16:39

d4z_c0nf ha scritto:Ah na cosa Corrado, non capisco perchè qui:
Codice: Seleziona tutto
find . | sort | xargs ls -ngGd >> ${LISTFILE}
prima fai un sort, ls non lo fa di per se?
vabè quisquilie.
rock

Scusa, ma find riporta in ordine inode,
non alfabetico, quindi il sort ha senso.

Messaggio da **d4z_c0nf** » mer 27 mag 2009, 16:41

Mario Vanoni ha scritto:
d4z_c0nf ha scritto:Ah na cosa Corrado, non capisco perchè qui:
Codice: Seleziona tutto
find . | sort | xargs ls -ngGd >> ${LISTFILE}
prima fai un sort, ls non lo fa di per se?
vabè quisquilie.
rock
Scusa, ma find riporta in ordine inode,
non alfabetico, quindi il sort ha senso.

Scusa Mario ma tutto l'output (a lotto) di find viene dato in pasto ad ls o sbaglio?

Quindi il lotto viene ordinato da ls, perciò non serve sort.
Differente è il caso

Codice: Seleziona tutto

$(find . -type f -name '*cf.t?z' | sort)

Lì ha senso.
rock

Messaggio da **targzeta** » mer 27 mag 2009, 16:44

La variabile REPOSROOT cosa vale?

Emanuele

Messaggio da **d4z_c0nf** » mer 27 mag 2009, 16:54

spina ha scritto:La variabile REPOSROOT cosa vale?

Emanuele

Eheh, sarà un refuso, adesso mi sa che è ROOTDIR

rock

YouTube · Messaggio da **conraid** » mer 27 mag 2009, 16:58

con ls per entrambi i formati

Codice: Seleziona tutto

real    2m28.968s
user    1m55.278s
sys     0m16.030s

con cat

Codice: Seleziona tutto

real    2m29.362s
user    1m55.238s
sys     0m16.779s

mi sembrano simili, ma il grosso è USIZE, con soli tgz i tempi sono notevolmente diversi

spina ha scritto:La variabile REPOSROOT cosa vale?

Codice: Seleziona tutto

  REPOSROOT=${REPOSROOT:-"/opt/slackers/repos-nosource"}

fa parte della sezione del changelod, se volete posto anche quella
è ROOTDIR in pratica, solo che prima usavo due script diversi, che ho unito adesso, ora la rendo omogenea

c'era anche un errore sui file meta

ora è così

Codice: Seleziona tutto


set -e

TMP=/tmp
HTMLDIR=/opt/slackers/html
ROOTDIR=/opt/slackers/repos-nosource

###############
#              
# Creo PACKAGES.TXT and MANIFEST.bz2


cd $ROOTDIR

for pkg in $(find . -type f -name '*cf.t?z' | sort)
do                                                 
            NAME=$(echo $pkg|sed -re "s/(.*\/)(.*.t?z)$/\2/")
            LOCATION=$(echo $pkg|sed -re "s/(.*)\/(.*.t?z)$/\1/")
            PKGEXT=$(echo $pkg | rev | cut -f 1 -d . | rev)      
            SIZE=$(expr $(ls -lL $pkg | tr -s ' ' | cut -f 5 -d ' ') / 1024 )
            if [ $PKGEXT = "tgz" ]; then                                      
                USIZE=$( expr $(gunzip -l $pkg |tail -1|awk '{print $2}') / 1024 )
                METAFILE=${NAME%tgz}.meta                                         
            else                                                                  
                USIZE=$( expr $(xz -dc $pkg | wc -c) / 1024 )                     
                METAFILE=${NAME%txz}.meta                                         
            fi                                                                    
            REQUIRED=""                                                           
            CONFLICTS=""                                                          
            SUGGESTS=""                                                           
            echo "PACKAGE NAME:  $NAME" > $LOCATION/$METAFILE                     
            echo "PACKAGE LOCATION:  $LOCATION" >> $LOCATION/$METAFILE            
            echo "PACKAGE SIZE (compressed):  $SIZE K" >> $LOCATION/$METAFILE     
            echo "PACKAGE SIZE (uncompressed):  $USIZE K" >> $LOCATION/$METAFILE  
            #echo "PACKAGE REQUIRED:  $REQUIRED" >> $LOCATION/$METAFILE           
            #echo "PACKAGE CONFLICTS:  $CONFLICTS" >> $LOCATION/$METAFILE         
            #echo "PACKAGE SUGGESTS:  $SUGGESTS" >> $LOCATION/$METAFILE           
            echo "PACKAGE DESCRIPTION:" >> $LOCATION/$METAFILE                    
            echo $NAME                                                            
            tar xfO $pkg install/slack-desc |grep -E '\w+\:'|grep -v '^#' >> $LOCATION/$METAFILE
            echo "" >> $LOCATION/$METAFILE                                                      
            echo "" >> $LOCATION/$METAFILE                                                      
            echo "++========================================" >> $ROOTDIR/MANIFEST              
            echo "||" >> $ROOTDIR/MANIFEST                                                      
            echo "||   Package:  $pkg" >> $ROOTDIR/MANIFEST                                     
            echo "||" >> $ROOTDIR/MANIFEST                                                      
            echo "++========================================" >> $ROOTDIR/MANIFEST              
            tar tvf $pkg >> $ROOTDIR/MANIFEST                                                   
            echo >> $ROOTDIR/MANIFEST                                                           
            echo >> $ROOTDIR/MANIFEST                                                           
done                                                                                            

echo '' > $ROOTDIR/PACKAGES.TXT
find . -type f -name '*.meta' | sort | xargs cat >> $ROOTDIR/PACKAGES.TXT
cat $ROOTDIR/PACKAGES.TXT | gzip -9 -c - > $ROOTDIR/PACKAGES.TXT.gz      
find . -type f -name '*.meta' -exec rm -f {} \;                          

echo '' > $ROOTDIR/CHECKSUMS.md5
find . -type f -name '*cf*.t?z' | sort | xargs md5sum >> $ROOTDIR/CHECKSUMS.md5
cat $ROOTDIR/CHECKSUMS.md5 | gzip -9 -c - > $ROOTDIR/CHECKSUMS.md5.gz          

bzip2 $ROOTDIR/MANIFEST


#
# gen_filelist
#             

LISTFILE=$HTMLDIR/FILELIST.TXT

( cd ${ROOTDIR}
cat <<EOT > ${LISTFILE}
$(LC_TIME=en_US date -u)

Here is the file list for http://www.slackers.it/repository,
maintained by Corrado Franco <http://conraid.net>.

EOT
#find . | sort | xargs ls -nld >> ${LISTFILE}
find . | xargs ls -ngGd >> ${LISTFILE}
cat $LISTFILE | gzip -9 -c - > ${LISTFILE}.gz
)


# Copio i file in HTML
mv CHECKSUMS* $HTMLDIR
mv PACKAGES* $HTMLDIR
mv ChangeLog* $HTMLDIR
mv MANIFEST* $HTMLDIR

Mario Vanoni · Messaggio da **Mario Vanoni** » mer 27 mag 2009, 17:01

d4z_c0nf ha scritto: Scusa Mario ma tutto l'output (a lotto) di find viene dato in pasto ad ls o sbaglio?
rock

Si, ma
se la inode 1 si riferisce alla dir zzz
la inode 2 alla dir rock
la inode 3 alla dir aaa
create prima dei files,
i files avranno inodes metti 100...9999,
a seconda della data di creazione.

senza sort ls li sortisce nella dir,
ma non sortisce le dirs, quindi un "disordine" stile
zzz/aa
zzz/bb
rock/rock
rock/xxx
aaa/rock
aaa/zebra

xargs ls fa quello che gli vien detto di fare,
senza sort prima zzz, poi rock ed alla fine aaa

Ragione per cui copio dirs sempre con
find | sort | cpio -pdm destinazione
e le inode della destinazione sono in ordine alfabetico.

Alien e` una vecchia volpe UNIX!

slacky.eu

txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt

Re: txz e packages.txt