Allarme: removepkg lento !!! .. quasi [Risolto]

Messaggio da **Luci0** » mar 19 giu 2007, 18:04

Probabilmente Pat non si é mai posto il problema visto che lui crea la Slackware e noi la installiamo, e facciamo gli upgrade ...
Ma a parte questa battuta ... questa esigenza é venuta fuori con Gnome-Slacky, perché finora io non mi ero mai accorto che removepkg fosse così lento !!!

Se vogliamo é tutto merito di gohanz se questa cosa é venuta fuori ...

mauro · Messaggio da **mauro** » mer 20 giu 2007, 19:24

ho fixato un problema e aggiornato il multi_removepkg sul sito:

Codice: Seleziona tutto

( cd "$CAT_PATH" && cat $(ls * | $SED_COMMAND ) )

in questa parte dello script se l'output di $(ls * | $SED_COMMAND) era nullo, cat se ne restava in attesa di qualcosa da cattare e bloccava lo script.

Non era un problema grave perche' la situazione descritta si puo' verificare solo con una rimozione di pacchetti tale da svuotare /var/log/packages o /var/log/scripts ( e a quel punto i problemi sono altri... ) comunque ora e' a posto.

giberg · Messaggio da **giberg** » gio 21 giu 2007, 0:12

mauro ha scritto:
mauro se non ci sfugge qualcosa di grosso
e' proprio questo che mi preoccupa
Nel senso che in teoria funziona tutto ma ho un paio di dubbi:
- avro' fatto tutto giusto (naaaa...) o mi sara' sfuggito qualche viscido e dannosissimo dettaglio?
- e soprattutto: la modifica in se' e' abbastanza banale e migliora molto l'efficienza dello script, come mai non ci ha mai pensato pat? Magari c'e' qualche cosa che non sto considerando...

Meglio sarebbe chiederlo a Pat per togliersi ogni dubbio...

Messaggio da **submax82** » gio 21 giu 2007, 1:20

mauro ha scritto:
mauro se non ci sfugge qualcosa di grosso
e' proprio questo che mi preoccupa
Nel senso che in teoria funziona tutto ma ho un paio di dubbi:
- avro' fatto tutto giusto (naaaa...) o mi sara' sfuggito qualche viscido e dannosissimo dettaglio?
- e soprattutto: la modifica in se' e' abbastanza banale e migliora molto l'efficienza dello script, come mai non ci ha mai pensato pat? Magari c'e' qualche cosa che non sto considerando...

ps: per avere tempi piu' veritieri quando fai le prove credo sia meglio reindirizzare l'output in un log o in /dev/null, il risparmio di tempo e' notevole, specie coi pacchetti pieni di roba.
Codice: Seleziona tutto
root@boxolino:~# time ./multi_removepkg -multi -warn /var/log/packages/g*

real    0m30.536s
user    0m10.679s
sys     0m2.920s
root@boxolino:~# time ./multi_removepkg -multi -warn /var/log/packages/g* > log

real    0m10.954s
user    0m8.716s
sys     0m2.063s
root@boxolino:~# 

ho paura anche io che sfugga qualcosa... appena ho tempo.. cioè tra un bel pò... dò un'occhiata... se è corretto mando una mail a Pat e vediamo

Messaggio da **Luci0** » gio 21 giu 2007, 9:29

Ciao ...
In questo periodo ho poco tempo da dedicare al testing del pacchetto modificato ... sono saltati un pò di PC nei dintorni e devo darmi da fare con le riparazioni ... e devo anche spostare il laboratorio e rifare i cablaggi mi aspettano una settimana o due di superlavoro ... altro che ferie !!

Volevo installare su una 11.0 Gnome-Slacky e poi disinstallarla con removepkg ... reinstallarla e rimuverla con multi_removepkg e per fare questo ci vuole tempo ...
A proposito come faccio a generare la lista completa dei pacchetti di Gnome-Slacky ???

Messaggio da **submax82** » gio 21 giu 2007, 9:53

Volevo installare su una 11.0 Gnome-Slacky e poi disinstallarla con removepkg ... reinstallarla e rimuverla con multi_removepkg e per fare questo ci vuole tempo ...
A proposito come faccio a generare la lista completa dei pacchetti di Gnome-Slacky ???

fai prima a sostituire removepkg sul sistema e poi modifichi l'install.sh per ogni prova

Messaggio da **gohanz** » gio 21 giu 2007, 9:59

Pe la lista dei pacchetti si potrebbe usare uno script di Stabellini che serve a generare il file PACKAGES.TXT di un server SlaptGet

http://www.stabellini.net/filesystem/in ... pos.slapt/

mauro · Messaggio da **mauro** » gio 21 giu 2007, 10:02

al posto di fare installa-disinstalla-riinstalla-ridisintalla si potrebbe dopo l'installazione 11+ gnome-slacky fare un bel tar.gz di tutto il filesystem, cosi' poi basta scompattarlo e le successive reinstallazioni diventano molto piu' rapide.

Messaggio da **Luci0** » gio 21 giu 2007, 10:16

Lo scopo di tutto questo lavoro dovrebbe essere quello di avere alla fine un removepkg più efficente ...

mauro · Messaggio da **mauro** » gio 21 giu 2007, 10:37

Luci0 ha scritto:Lo scopo di tutto questo lavoro dovrebbe essere quello di avere alla fine un removepkg più efficente ...

si, intendevo dire che ti risparmi i tempi della reinstallazioni, non delle disinstallazioni di prova

Messaggio da **Luci0** » gio 21 giu 2007, 10:50

Ok .. sono un pò sotto pressione ... vedo nel pomeriggio se riesco a fare qualcosa

mauro · Messaggio da **mauro** » gio 21 giu 2007, 18:39

Ho iniziato a scaricare l'iso di gnome-slacky cosi' provo anch'io. Ma mi sa che entro stasera non finisco quindi dato che da domani e fino a lunedi' sono fuori casa per un po' non combinero' niente.

Messaggio da **Luci0** » gio 21 giu 2007, 22:02

Sto installando Gnome-Slacky in maniera non standard ... ovvero ho preso tutti i pacchetti li ho messi in una directory e ho dato un bell'

Codice: Seleziona tutto

time installpkg  *.tgz

appena ho i benckmark aggiorno il post

Questi risultati li ho ottenuti su un PC con un AMD Athlon XP 2400+ ma prendeteli con beneficio d' inventario perché ho scoperto che il comando sort é strano sembra bacato .. o meglio ... is not a bug .. is feature come direbbe il nostro amico Bill ...

Installazione Gnome-Slacky
real 15m36.136s
user 6m50.018s
sys 3m25.985s
Disinstallazione con multi_removepkg by mauro
real 7m55.244s
user 2m14.476s
sys 4m18.964s
ReInstallazione Gnome-Slacky
real 14m25.506s
user 6m35.817s
sys 3m24.621s
root@ltsp1:~/gslacky#
Disinstallazione Gnome-Slacky con removepkg
real 23m24.753s
user 15m5.793s
sys 6m56.834s

Quello che non mi convice di questi ottimi risultati é che una CPU a 2000Mhz impiega così poco rispetto ad un PIII ad 800Mhz e inoltre durante la disinstallazione, utilizzando top, il comando sort impiegava pochissimi secondi sull'AMD contro le quasi centinaia dell' Intel...

Ho quindi fatto misurando il tempo con time, facendo il sorting di alcuni file e ho controllato con tail l' output del sort ... il risultato era diversissimo sia come tempi che output ... e ho pensato
Cavolacci sort é bacato !!! Tradimento !!!
poi ho fatto una cosa che bisogna ricordarsi di fare sempre...

Codice: Seleziona tutto

man sort

ecco quello che é venuto fuori ....

Codice: Seleziona tutto

*** WARNING *** The locale specified by the  environment  affec
ts  sort  order.  Set LC_ALL=C to get the traditional sort order that uses native   byte values.

Ovvero per fare gli in tempi decorosi basta dare il comando
export LC_ALL=C

... scusa mauro per averti fatto sudare ... multi_removepkg fa il suo lavoro e incrementa le prestazioni di un fattore 3 e credo che non sia stato tempo perso ...

mauro · Messaggio da **mauro** » ven 22 giu 2007, 15:54

Grazie allo sciopero delle fs il weekend fuori casa e' saltato, quindi riesco a rispondere:

... scusa mauro per averti fatto sudare ...

manno'... ho avuto modo di imparare qualcosa sul funzionamento degli script di gestione dei tgz e mi sono anche divertito a scrivere le funzioni nuove, meglio di cosi'

PS. ma sul tuo pc di quanto migliorano i tempi dopo l'export LC_ALL=C rispetto alle 4 ore di prima?

Messaggio da **Luci0** » ven 22 giu 2007, 20:50

Utilizzando l' installer di GSlacky ... ha impigato circa 1 ora.. (68 min)
Quindi un incremento delle performance di circa 4 volte ... con il tuo multi_removepkg dovremmo arrivare a circa 1/2 ora sulla stessa macchina ... e credo che a quel punto sia difficile andare ancora meglio ... Ciao e peccato per il weekend rovinato dallo sciopero