fsck e (de)frammentazione

[Mario Vanoni]

Risposte solo con cognizione di causa,
nessun credo/forse/penso che ... ecc.

HD SATA 1TB 32MB di memoria _ext2_

umount /dev/sdb1
time e2fsck -y -f /dev/sdb1
483588 files (1.1% non-contiguous)
33m56s

cancello tutto, eccetto le dir
lost+found
dati
umount /dev/sdb1
time e2fsck -y -f /dev/sdb1
12 files (8.3% non-contiguous)
10m24s

ripeto
umount /dev/sdb1
time e2fsck -y -f /dev/sdb1
12 files (16.7% non-contiguous)
10m25s

copio da un'altra macchina con
time find | sort | cpio -pdmv
1582m35s ~ 26.36 ore
sort per avere i files ordinati

umount /dev/sdb1
time e2fsck -y -f /dev/sdb1
22856 files (38.0% non-contiguous)
35m58s

i files hanno dimensione 2...500MB
df
/dev/sdb1 946168328 944224992 1943336 100%
secondo dfspace 0.205% free

confrontate le due directories con
mount macchina2
time dircmp /dir/dati /macchina2/dir/dati > dircmp.res
1480m33s ~ 24.55 ore

secondo dircmp.res tutti i files sono identici

Domanda a chi sa rispondere:

cosa valgono i valori n% non-contiguous di fsck?

[zoros]

Risposte solo con cognizione di causa,
...
Domanda a chi sa rispondere:

cosa valgono i valori n% non-contiguous di fsck?

Io non so rispondere, però la domanda mi incuriosiva ... quindi ho fatto dei pseudotest:
ho copiato la mia /usr (4,6G - 236307 files - 14738 dir) da sda a sdb (0.5T) con il comando
time find | sort | cpio -pdmv /path/dest come suggerivi ... il tempo:
real 8m15.721s

fatte le proporzioni e approssimazioni (se non ho sbagliato i calcoli, con la riserva che la cosa
potrebbe non essere lineare) per copiare i tuoi 946T netti, starei più di 28 ore (il risultato si
avvicina alle tue 26.36 ore) ... questo per curiosità

curioso il fatto che riporti: dopo aver copiato un filesystem in modo ordinato questo sembrerebbe
più "disperso" di quello disordinato (38.0% non-contiguous) ... sarà perché comunque il sort copia
prima in modo ordinato la radice "/" e poi, sempre in modo ordinato, le varie subdirectory ... mah
sarà forse che il sort non si "sposa" bene con l'algoritmo di gestione dei files di ext2/ext3 ... trovo
ext2 (uso ext3) meravigliosamente performante perché non sembra soffrire della frammentazione
dei files anche dopo lungo uso

[Mario Vanoni]

curioso il fatto che riporti: dopo aver copiato un filesystem in modo ordinato questo sembrerebbe
più "disperso" di quello disordinato (38.0% non-contiguous) ... sarà perché comunque il sort copia
prima in modo ordinato la radice "/" e poi, sempre in modo ordinato, le varie subdirectory ... mah
sarà forse che il sort non si "sposa" bene con l'algoritmo di gestione dei files di ext2/ext3 ... trovo
ext2 (uso ext3) meravigliosamente performante perché non sembra soffrire della frammentazione
dei files anche dopo lungo uso

- cpio(1) copia quanto riceve da stdin
- find(1) riporta i files nell'ordine del numero inode, non ordinato alpha
- sort(1) li ordina in modo alfanumerico

La directory sorgente ha solo files, nessuna subdirectory
- sono files di 1.2MB ... 566MB (du -hs * | sort -nr | less)
- cancellati/aggiunti a GB in due anni (du -hs 981G)
- e2fsck sul disco sorgente dice 60% non-contiguous

Mi viene il dubbio che siano gli HD troppo intelligenti,
ed allo stesso tempo piu` idioti di 10-20 anni fa.
La loro logica di minimizzare i movimenti delle testine,
poi con 32MB di memoria on-board ...

Ricordo un amico sysadm che disabilitava la memoria
sui suoi HD, SCSI allora, per avere un sync(1) in tempo reale.

[Mario Vanoni]

Altro test:

due macchine con / (root) da 1TB,
in ambedue usati solo 35GB,
dopo aver sbarazzata l'immondizia.

Nei due /etc/fstab commento
#/dev/sdb1
i dischi con 966GB di dati,

touch /etc/forcefsck
per provocare fsck al boot
reboot

macchina 1:
1.3% non-contiguous

macchina 2:
1.1% non-contiguous

un secondo reboot per sport:

macchina 1:
1.1% non-contiguous

macchina 2:
1.1% non-contiguous

Montato sulla macchina 1
il secondo disco con 966GB di dati
touch /etc/forcefsck
reboot
1.1% non-contiguous disco / (root)
57.7% non contiguous disco dati

fsck o idiozia dei dischi moderni?

Quando ho tempo,
cancello il disco dati della macchina 1,
ovviamente poi un e2fsck non montata,
poi copio i dati dalla macchina 2 con
find | sort | cpio
sara` interessante fsck dopo.

[zoros]

Altro test:

due macchine con / (root) da 1TB,
in ambedue usati solo 35GB,
dopo aver sbarazzata l'immondizia.

...

Montato sulla macchina 1
il secondo disco con 966GB di dati
touch /etc/forcefsck
reboot
1.1% non-contiguous disco / (root)
57.7% non contiguous disco dati

"il secondo disco con 966GB di dati" ... il secondo della macchina 1, vuole dire il terzo da 1T ?
... ma quanti Tera hai ? ... non ho capito molto vista l'ora ... beh, sentiremo gli ulteriori test ...

[Mario Vanoni]

"il secondo disco con 966GB di dati" ... il secondo della macchina 1, vuole dire il terzo da 1T ?
... ma quanti Tera hai ? ... non ho capito molto vista l'ora ... beh, sentiremo gli ulteriori test ...

Due macchine gemelle per HW,
ognuna con due HD da 1TB.

La seconda e` il backup della prima,
soluzione piu` buon mercato con tanti dati.