pkgtool: problemi con remove!!

Messaggio da **albatros** » sab 28 lug 2007, 16:24

Uhm, dunque il problema è proprio che per dialog è troppo lunga la lista degli argomenti...
Quanto alla formattazione sembrerebbe giusta per dialog e senza errori introdotti da sed...
Ma la lista ti compare regolarmente, no?
Il problema ce l'hai nel momento in cui selezioni i pacchetti da rimuovere, vero?
Sembrerebbe, e dico sembrerebbe ben sapendo che potrei sbagliarmi, che dialog non ce la faccia a gestire un elenco così lungo di pacchetti...
Mi sembra che tu e Gohanz abbiate un numero di pacchetti installati più alto della media, per cui magari siete stati i primi a riscontrare questo eventuale baco...
Mi dici, giusto per avere un'idea, l'output di wc rmscript e di wc /var/log/packages?

Se avrò tempo, forse domani (forse), vorrei provare a vedere se questo errore vien fuori passando una lista molto lunga a dialog e, se sì, quanto.
Se il problema fosse questo si potrebbe provare l'ultima versione di dialog, dare un'occhiata ai sorgenti se il problema persistesse e mandare una email all'autore...

slucky · Messaggio da **slucky** » sab 28 lug 2007, 16:55

sì la lista compare regolarmente ed il problema si presenta ogni qualvolta selezionio remove in pkgtool, che dovrebbe darmi la lista dei pacchetti installati dai quali sceglere quelli da disinstallare, sì e così, te lo dicevo che era qualche bug

, beh di pacchetti ne ho installati molti compreso anche gnome.
Okay ho dato quel comando che mi hai chiesto:

root@darkstar:/var/log/setup/tmp# wc rmscript
1138 12261 141781 rmscript

root@darkstar:~# wc /var/log/packages
wc: /var/log/packages: Is a directory
0 0 0 /var/log/packages
Ecco spero tu abbia un quadro sella situazione

Ciao stammi bene

Messaggio da **albatros** » sab 28 lug 2007, 18:12

Da man wc:
wc - print newline, word, and byte counts for each file

Conta le righe, le parole e i byte di ciascun file.
Penso che wc sia l'acronimo di word count ...

L'idea era semplicemente di provare dialog con una lista lunga quanto la tua e vedere se riscontro anch'io questo errore...
La prova la farei con il pezzo di pkgtool preso in esame, con un elenco generato ad hoc da un ciclo for al posto dell'elenco dei pacchetti, ma di dimensioni simili.
Il baco, che è probabile ci sia, penso però sia in dialog, non nello script di pkgtool; prima di segnalarlo all'autore sarebbe bene, però, essere in grado di riprodurre l'errore.
Il baco potrebbe alla fine essere anche più a monte, magari nelle ncurses, ma già riuscire a definirlo un po' meglio potrebbe contribuire ad una più agevole correzione da parte dell'autore del programma.

Ciao

EDIT:
Hai modificato il messaggio mentre ti stavo rispondendo...
Ok, dovresti avere all'incirca 1138 pacchetti (qualcuno in meno, ma il numero è grossomodo quello).
Ho sbagliato a chiederti il secondo wc (scusa), in realtà volevo
ls /var/log/packages | wc -l , ma non importa, basta il risultato applicato a rmscript .
Grazie, appena avrò un po' di tempo (domani o lunedì) farò qualche prova, ora e per buona parte di domani avrò da fare alcuni lavoretti in casa...
Comunque ti farò sapere, sperando che magari nel frattempo qualcun altro sia già venuto a capo del problema.

EDIT II:
se (e solo se) te la senti, potresti provare a fare una copia di backup con cp -Rp di /var/log/packages e /var/log/scripts, quindi cancellare un buon numero di file (diciamo 400) in queste directory, quindi installare un pacchetino piccolo e con pochi file che non ti serve a nulla e provare a rimuoverlo con pkgtool: se la procedura funziona abbiamo conferma di quale sia il problema di pkgtool e dialog, se la procedura non funziona bisognerà porsi delle domande più specifiche sulle vostre versioni di programmi e librerie. Naturalmente se la procedura non funziona dovresti rimuovere a mano il pacchetto cancallando uno a uno i suoi file (per questo ci vorrebbe molto piccolo e con pochi file). In ogni caso, alla fine dovresti cancellare le due directory e rimettere quelle buone di cui hai fatto il backup.
Non mi assumo responsabilità, prova solo se te la senti, altrimenti aspetta che provi io nell'altro modo, più tranquillo...

slucky · Messaggio da **slucky** » sab 28 lug 2007, 18:31

Okay no problem............per quanto riguarda il fatto che qualcuno ne venga a capo nel frattempo( ma ci credo poco) ...........direi...............speriamo bene [-o<

Ciao

Messaggio da **albatros** » dom 29 lug 2007, 0:01

Allora, visto che ho avuto una mezz'ora libera ho fatto un po' di prove.
Ho buttato giù il seguente scriptino, modificando quello di pkgtool:

Codice: Seleziona tutto

echo "quante voci nella lista?"
read FINE
   (
     cat << EOF
dialog --title "ESPERIMENTO SU DIALOG" --item-help --checklist \
"Esperimento per vedere \
quanto puo essere lunga la lista degli \
argomenti. Usa come di consueto lo spazio per selezionare e le frecce \
su-giu per scorrere la lista." 20 75 11 \\
EOF
{
for i in $(seq 1 $FINE)
do
echo "numero-$i" "numero-$i-prova" off "Seleziona\/deseleziona\ il\ numero\ $i" 
\\
done
}
  echo "2> return"
   ) > rmscript
   chmod 700 rmscript
   ./rmscript

Eseguendolo (chiamandolo ad esempio prova, dandogli i permessi di esecuzione e lanciandolo con ./prova) ho visto che fino a 1855 voci funziona e in return, che stavolta viene creato dopo l'ok nella directory corrente, ci sono le voci selezionate (con le virgolette, che poi nel pkgtool originale vengono rimosse dal cat | tr -d "\042"), mentre da 1856 in return c'è l'errore della lista troppo lunga.
Prova anche tu, all'inizio lo scriptino ti chiede quante voci vuoi.
dialog fallisce (almeno nell'esperimento) non per il numero di voci, almeno apparentemente e comunque non direttamente: ho provato cambiando una voce di menu e se è più lunga fallisce prima, se più breve dopo, probabilmente conta la dimensione complessiva degli argomenti.
Ad esempio con 1855 voci se do wc -c rmscript ho 139762 e funziona, con 1856 ho 139839 e non funziona più.
Il numero è un po' strano e varia anch'esso con il testo, mi sarei aspettato un esponente del due, che non è così vicino, ma può darsi che in realtà entrino in gioco solo una parte degli argomenti o che ci sia una loro gestione magari facile, ma non banale, inoltre in rmscript c'è anche una sezione che non fa parte degli argomenti.
Bisognerebbe a questo punto provare con l'ultima versione di dialog per vedere se l'errore persiste; successivamente, se uno ne ha voglia e, soprattutto, tempo (merce rara), si potrebbero guardare i sorgenti per chiarirsi le idee oppure, più semplicemente, scrivere all'autore di dialog e a Patrick per avvertirlo della faccenda.
Nel tuo caso, essendo rmscript 141781 bytes, sospetto che con gli ultimi pacchetti tu sia andato oltre il limite e che pkgtool non funzioni più per questo motivo (o meglio, dialog fallisca).
Se non ti scoccia e se non ti va di fare (comprensibilmente) come proposto nell'edit II del mio post precedente, potresti provare a rimuovere manualmente un certo numero di pacchetti con removepkg (senza pkgtool), magari pacchetti che si reinstallano facilmente e che non ti sono indispensabili proprio ora: tolto un certo numero, pkgtool, in teoria, se la congettura è corretta, ad un certo punto dovrebbe riprendere a funzionare normalmente.

Ciao!

Messaggio da **albatros** » dom 29 lug 2007, 0:37

Evoluzione della situazione (avrei anche altre cose da fare, ma non nego che il problema mi abbia coinvolto):
ho dato una rapida occhiata all'header dialog.h, fra i sorgenti di dialog e, per quanto abbia ricostruito solo pochissimi elementi della struttura del programma (anche perché domino il C come con una canoa potrei dominare l'atlantico), non ho trovato nulla di visibilmente rilevante (al che ho pensato di gettare la spugna e passar la palla all'autore).
Prima però ho fatto una ricerca con grep su tutti i file .c e .h per individuare eventuali stampe dell'errore, ma nulla,
A questo punto ho iniziato ad avere dei sospetti sull'entrata in gioco della dimensione massima degli argomenti legata all'OS, di cui avevo letto qualcosa anni fa.
Ho fatto una rapida ricerca in rete e ho trovato molto interessante:
http://www.gnu.org/software/coreutils/f ... t-too-long
Riporto per comodità di lettura il paragrafo:

19 Argument list too long

I tried to move about 5000 files with mv, but it said:

bash: /bin/mv: Argument list too long

The UNIX operating system traditionally has a fixed limit for the amount of memory that can be used for a program environment and argument list combined. You can use getconf to return that limit. On my Linux system (2.2.12) that amount is 128k. On my HP-UX system (11.0) that amount is 2M. It can vary per operating system. POSIX only requires 20k which was the traditional value used for probably 20 years. Newer operating systems releases usually increase that somewhat.

getconf ARG_MAX
131072

Note that your message came from "bash" your shell command line interpreter. Its job is to expand command line wildcard characters that match filenames. It expands them before any program can see them. This is therefore common to all programs on most UNIX-like operating systems. It cannot exceed the OS limit of ARG_MAX and if it tries to do so the error "Argument list too long" is returned to the shell and the shell returns it to you.

This is not a bug in 'mv' or other utilities nor is it a bug in 'bash' or any other shell. It is an architecture limitation of UNIX-like operating systems. The 'mv' program was prevented by the OS from running and the shell is just the one in the middle reporting the problem. The shell tried to load the program but the OS ran out of space. However, this problem is one that is easily worked around using the supplied utilities. Please review the documentation on 'find' and 'xargs' for one possible combination of programs that work well.

You might think about increasing the value of ARG_MAX but I advise against it. Any limit, even if large, is still a limit. As long as it exists then it should be worked around for robust script operation. On the command line most of us ignore it unless we exceed it at which time we fall back to more robust methods.

Molto interessante anche la lettura dell'articolo del linux-journal:
http://www.linuxjournal.com/article/6060
che indica dei possibili workaround.
E anche questo articolo è istruttivo:
http://www.in-ulm.de/~mascheck/various/argmax/

Insomma, secondo me si tratta a questo punto di un problema che converrebbe risolvere suggerendo a Patrick di riscrivere quella parte di pkgtool: non è un vero e proprio baco, è una caratteristica del sistema operativo che pone dei limiti all'uso di pkgtool e a cui si può ovviare scrivendo in maniera diversa il programmino.

Che ne pensate? Siete d'accordo con le mie conclusioni che il problema sia legato ad ARG_MAX pari a 131072 bytes (che è 2^17, numero che mi piace e compatibile con i test fatti, tenuto conto che rmscript contiene altro oltre alla lista degli argomenti)?
Se ritenete anche voi che il difetto sia quello, scriviamo a Patrick esponendogli il problema?
Magari potrebbe scrivergli gohanz, citando che il problema è sorto con il grande numero di pacchetti installati con Gnome Slacky, così ricordiamo a Patrick l'esistenza, l'efficienza e la prosperità di questo lodevolissimo e utilissimo progetto...

Ciao a tutti! Buonanotte!

slucky · Messaggio da **slucky** » dom 29 lug 2007, 10:00

Albatros sei un mago ed un maestro del pinguino.............110 e lode!!!

............sono certo che con le tue analisi hai centrato il problema, ora mi metto a studiare le tue conclusioni, però più che togliere pacchetti, non si potrebbe provare a implementare quello script che hai fatto in pkgtool e vedere se funziona? se è possibile in quale parte del file lo aggiungo? si tratta di provare, intanto mi salvo il file originale per poi ripristinarlo in caso di problemi

comunque, non sarà un baco vero e proprio ma una lacuna di pkgtool o di unix sicuro..........perchè un programma deve porre un limite all'elenco dei pacchetti installati? quindi secondo me, sarebbe utile scrivere a Pat e al suo staff per portarlo a conoscenza del problema, io e gohanz per ora siamo gli unici ad aver avuto questo problemino, ma presumo che in futuro molti constateranno questo cattivo funzionamento del programma, purtroppo io non ho le competenze tecniche per spiegare a Pat bene il problema, quindi tu e gohanz potete invece farlo molto meglio di me

Ciao e ancora complimenti sei davvero bravissimo

Messaggio da **Paoletta** » dom 29 lug 2007, 10:11

slucky ha scritto: Ciao e ancora complimenti sei davvero bravissimo

davvero!

Messaggio da **submax82** » dom 29 lug 2007, 11:41

veramente mooolto interessante....

è una caratteristica del sistema operativo che pone dei limiti all'uso di pkgtool e a cui si può ovviare scrivendo in maniera diversa il programmino.

ma come lo riscrivi? devi sempre passare tutti gli argomenti a dialog... quindi come?!

forse c'è un modo ... e passarli a dialog tramite un file temporaneo? ... dal man di dialog

The "--file" option tells dialog to read parameters from the file named as its value.
dialog --file parameterfile

premetto che non ho letto bene tutta la questione...

Messaggio da **albatros** » dom 29 lug 2007, 12:34

Grazie per i complimenti, ma non ho fatto nulla di speciale, ho solo avuto un po' di pazienza... Non sono uno bravo, non lo dico per modestia, ma perché conosco gente brava davvero e la differenza è enorme... Anche qui sul forum ci sono tantissime persone di gran lunga più preparate di me... a cominciare da Paoletta, che stimo molto.

sono certo che con le tue analisi hai centrato il problema

Lo spero, aspettavo conferme o smentite anche da qualcun altro...

però più che togliere pacchetti,

Togliere pacchetti non è una soluzione, è solo un test per confermare la teoria con un esperimento in grado di falsificarla ( se, ridotto adeguatamente il numero di pacchetti, il problema persistesse, la spiegazione data sarebbe falsa): non mi azzardo a tirare in ballo a sproposito Karl Popper perché Samiel potrebbe fustigarmi, ma...

non si potrebbe provare a implementare quello script che hai fatto in pkgtool e vedere se funziona?

Lo script serviva a riprodurre in maniera grossolanamente controllata l'errore, non a risolverlo...

comunque, non sarà un baco vero e proprio ma una lacuna di pkgtool o di unix sicuro.....

Qualsiasi sistema operativo ha dei limiti, in ogni caso li avresti con l'hardware...
Il limite lo potresti alzare modificando un header del kernel e ricompilando, ma è un'operazione sconsigliabile, non so quali effetti collaterali potrebbe eventualmente avere...
Semmai è l'implementazione di pkgtool che inizia a non essere più adeguata, così come è successo in passato per altre applicazioni e che dovrebbe essere rivista...

ma come lo riscrivi? devi sempre passare tutti gli argomenti a dialog... quindi come?!

Una modifica relativamente semplice e veloce da fare potrebbe essere dividere in più schermate la rimozione dei pacchetti, elencandone solo un certo numero per volta...
Ma a questo punto sarebbe meglio che se ne occupasse Patrick direttamente, visto che le possibili soluzioni sono diverse e non so quale preferisca... Eppoi penso che Patrick abbia una grande dimestichezza ed esperienza con gli script, tale da scegliere la via migliore.

forse c'è un modo ... e passarli a dialog tramite un file temporaneo? ... premetto che non ho letto bene tutta la questione...

Bisogna vedere se funziona...
Ho letto l'opzione --file che hai segnalato (e che ad una prima lettura mi era sfuggita), ma il discorso va approfondito...

Scusate, ora devo andar via...
Buona domenica a tutti!

Akito · Messaggio da **Akito** » dom 29 lug 2007, 13:19

Anche io mi aggiungo ai complimenti: ho seguito tutta la discussione e la ricostruzione di albatros ed è davvero interessante!!! Complimenti!!

Non resta che segnalare il problema che ormai sembra "isolato".

Akito

Messaggio da **Luci0** » dom 29 lug 2007, 15:41

Ho letto in thread e lo trovo veramente interessante ... complimenti a tutti

Credo che però ne vada aperto un altro thread dal titolo più significativo ... dove si capisca bene che ancora una volta nel paccketto pkgtools si sono verificati problemi ... inoltre credo che vada avvisato Pat ...
chi ha contatti é bene che si faccia avanti ... anche con removepkg ci sono problemi, di rallentamenti considerevoli introdotti dalla localizzazione di sort (...LC_AL=it_IT) e in definitiva dalle coreutils ... ...

slucky · Messaggio da **slucky** » dom 29 lug 2007, 17:17

Sarà caro Albatros, ma tu con le tue analisi hai subito centrato il problema e proposto una possibile soluzione, quindi per me con il pinguino sei davvero bravo

Ho modificato il titolo del thread, in effetti ora è più confacente al problema reale come suggerito da Lucio.
Ora tornando al problema, in effetti vovlevo vedere se disinstallando un bel po di programmi pkgtool e la funzione remove riprendevano a funzionare regolarmente, avevo quindi pensato di disinstallare gnome-slacky momentaneamente..................però perchè gli sviluppatori non hanno inserito nell'immagine del cd un file uninstall.sh??? sarebbe stato molto facile disinstallare gnome dal cd, in alternativa come posso disinstallare gnome-slacky?
Giusto per avere la prova provata che il problema è quello, ma io ormai ne sono certo

Ciao e grazie a tutti per l'aiuto

Messaggio da **albatros** » lun 30 lug 2007, 0:15

in alternativa come posso disinstallare gnome-slacky?

Se una serie di pacchetti che hai installato sono in una directory, es. pacchetti-gnome, e li vuoi disinstallare tutti, dovrebbe bastare dare come root da quella directory:

Codice: Seleziona tutto

for i in *.tgz; do removepkg ${i%.tgz}; done

In pratica per ogni file che finisce in .tgz chiedi di rimuvore quel file che però in /var/log/packages ha perso il tgz, per cui usi una pattern substitution della bash ${i%.tgz} che rimuove di volta in volta il .tgz finale (almeno dovrebbe, ho avuto più volte dei problemi misteriosi di cui, in parte per pigrizia, non ho ancora capito l'origine: l'ho provato per precauzione poco fa e funzionava, ma non si sa mai...).
Il sistema è grezzo da far paura, si può migliorare chiedendo conferma prima di rimuovere ciascun pacchetto con un read e un if...

Per quanto riguarda pkgtool, concordo anch'io in pieno sulla necessità di segnalare la faccenda a Patrick, magari sarebbe carino aver provato prima se con l'opzione --file suggerita da submax82 (grazie) si riesce a risolvere...
Bisogna vedere come è stato scritto dialog, come processa le righe del file: ieri mi ero messo a guardare i sorgenti, ma ci va piuttosto tempo e una familiarità con il C che non ho (io e il C siamo cugini, non fratelli: lo conosco discretamente, ma sono un dilettante...). Il motto: "Use the force, read the source!" è suggestivo, ma fra il dire e il fare c'è di mezzo il mare!...
Però un approccio sperimentale per vedere se usando un file temporaneo da far leggere a dialog si risolve è fattibile, se nessun altro l'avrà fatto prima (ben venga: tante grazie!

) proverò a buttar giù qualcosa domani o martedì (più probabile). Se funzionasse si potrebbe proporre a Patrick una patch funzionante che poi lui potrebbe rifinire e migliorare (SE - vediamo un po').
Naturalmente, se Gohanz, Luci0 o altri pensano sia meglio contattarlo subito, ovviamente sono liberissimi di farlo, e tutto sommato andrebbe benissimo anche a me...

Si può anche decidere insieme cosa fare, tenendo magari conto di chi Patrick lo ha già contattato altre volte e lo conosce meglio...

Un grandissimo saluto a tutti!

Messaggio da **submax82** » lun 30 lug 2007, 2:17

chi ha contatti é bene che si faccia avanti ... anche con removepkg ci sono problemi, di rallentamenti considerevoli introdotti dalla localizzazione di sort (...LC_AL=it_IT) e in definitiva dalle coreutils ...

lo avevo fatto e gli avevo allegato le soluzioni ma non mi ha risposto ancora...

Ora tornando al problema, in effetti vovlevo vedere se disinstallando un bel po di programmi pkgtool e la funzione remove riprendevano a funzionare regolarmente, avevo quindi pensato di disinstallare gnome-slacky momentaneamente..................però perchè gli sviluppatori non hanno inserito nell'immagine del cd un file uninstall.sh??? sarebbe stato molto facile disinstallare gnome dal cd, in alternativa come posso disinstallare gnome-slacky?

leggi il menu che compare con install.sh ... c'è una voce "remove all" mi pare chiara...

come vedi l'operazione è facile

Per quanto riguarda pkgtool, concordo anch'io in pieno sulla necessità di segnalare la faccenda a Patrick, magari sarebbe carino aver provato prima se con l'opzione --file suggerita da submax82 (grazie) si riesce a risolvere..

concordo per la segnalazione ... e concordo con la proposta di provare l'opzione "--file" se riesco posso provare a fare la modifica in questione e ha postare la versione modificata