Backup smartphone

[joe]

Sì sì, la morale è che se "gnu is not unix", a maggior ragione Android is Not Linux.
No ma vi siete spiegati più che bene, e anzi avete aggiunto spunti utilissimi come "pm list packages", anche accennato al comando "adb backup" e alla variabile che in parecchie app, e penso anche in whatsapp, ne impedisce l'utilizzo.

Per whatsapp avevo trovato anche questa discussione in cui in prima risposta sembra che abbiano risolto, anche se lì non specifica di copiare anche la dir WhatsApp presente in "/sdcard".
https://android.stackexchange.com/quest ... ce-the-har

Per essere più completi, con tar si potrebbe fare un backup di tutto quello che comprende whatsapp sull'installazione corrente (ovviamente quella che funziona come dovrebbe con tutti i contatti e le chat ripristinate ecc ecc):
- /sdcard/WhatsApp
- /data/data/com.whatsapp

Creando un pacchetto unico da estrarre poi in fase di restore direttamente nella root dir "/" del telefono, subito dopo l'installazione di WA (rigorosamente prima del primo avvio dell'app), in modo che vada a sovrascrivere le corrispondenti "nuove dir vergini" di WA. Magari in serata faccio qualche prova...

[rik70]

- /data/data/com.whatsapp

Sarebbe interessante conoscere la dimensione di quella directory, visti i MB mancanti su /sdcard/Whatsapp dopo il ripristino via GDrive di cui hai parlato.

[ilmich]

quindi non capisco i tuoi rilievi: quello che sto dicendo non è in contraddizione con quanto stai affermando tu.

hai ragione... ho frainteso

un telefono sbloccato non è Linux, ma solo una sua "caricatura"

opinione strettamente personale, ma sicuramente Android non è Slackware, ma io la considero comunque una distribuzione linux a tutti gli effetti. Ovviamente con le sue peculiarità (non ha un server grafico, non è multiutente in senso stretto) ma con molte piu' affinità (kernel linux, init, wpa_supplicant per la wifi, tinyalsa per l'audio, gpsd per il gps etc etc etc)
Il fatto che su un device acquistabile ti inibiscano l'utenza coi 'poteri' non lo rende diverso da una qualunque macchina con linux dove hai deliberatamente ricreato la stessa situazione (ad esempio rimuovendo le console di login, bloccato il login dell'utente root e rimosso l'eseguibile su/sudo).

In ogni caso penso che ci si debba focalizzare sul buon esito del ripristino del telefono in questione, anche se è raro riuscire a fare scambi di opinioni tipo queste perciò ringrazio slackware e questa comunità

[ilmich]

comunque ho ritrovato un paper ufficiale dove si parla di come avvengono i backup su android. Le app tipicamente non devono fare nulla.

https://developer.android.com/guide/topics/data/backup

ho trovato anche dei comandi da lanciare per fare il backup locale delle app (dice l'articolo.. sarebbe da verificare) deduco senza avere permessi di root

https://developer.android.com/guide/top ... ackup.html

Evidentemente adb backup/restore sono in qualche modo obsoleti

[rik70]

Se ho capito bene, si tratta di comandi per forzare il backup via google.

Ma correggetemi se sbaglio.

Edit

Cioè... non del tutto. Il Local transport dovrebbe fare il backup dei dati all'interno del dispositivo - dove di preciso? forse in '/cache/backup/'?
Ma...

This transport is typically used for development/debugging purposes and is not useful in the real world.

Edit2
Si è come dicevo:

Codice: Seleziona tutto

adb shell 'su -c ls /cache/backup/'
android
com.android.chrome
com.android.dialer
com.android.providers.settings
com.android.providers.userdictionary
com.android.vending
com.google.android.apps.docs
com.google.android.apps.docs.editors.docs
com.google.android.apps.docs.editors.sheets
com.google.android.apps.maps
com.google.android.deskclock
com.google.android.gm
com.google.android.talk[...]

ma dentro non c'è nulla di rilevante.

L'altro tipo - 'com.google.android.backup/.BackupTransportService' - dovrebbe essere quello che fa il backup tramite l'account google.

[joe]

- /data/data/com.whatsapp

Sarebbe interessante conoscere la dimensione di quella directory, visti i MB mancanti su /sdcard/Whatsapp dopo il ripristino via GDrive di cui hai parlato.

Premesso che per conoscere questa informazione occorre avere dei permessi in più per accedere anche alla dir /data... Permessi che si ottengono con:
- attivando l'accesso di root ad ADB in settings - developer options - accesso root
- e avviando adb con

Codice: Seleziona tutto

adb root

Ecco cosa risulta dal controllo della dimensione:

Codice: Seleziona tutto

# adb shell du -sh /data/data/com.whatsapp
53M     /data/data/com.whatsapp

#adb shell du -sh /sdcard/WhatsApp       
129M    /sdcard/WhatsApp

Invece se dal telefono apro whatsapp e vado in impostazioni - chat - backup delle chat, ecco che nella sezione "ultimo backup" leggo:

Codice: Seleziona tutto

Locale 02:00
Google Drive 12 aprile, 17:22
Dimensione: 227 MB

In poche parole il backup (attualmente ripristinato) peserebbe 227 MB.
Mentre le due directory sommate danno 182 MB.
Mancherebbero all'appello 45 MB di dati...

[joe]

Forse potrei azzardare una spiegazione... c'è un link simbolico:

Codice: Seleziona tutto

lrwxrwxrwx root/root             0 2019-04-16 14:00 data/data/com.whatsapp/lib -> /data/app/com.whatsapp-1/lib/arm

Al di là del link si nota la presenza di un'altra directory inerente a whatsapp: /data/app/com.whatsapp-1
Che roba è? Non ne ho idea...
Però ho provato a creo l'archivio tar includendo le tre dir:
- /sdcard/WhatsApp
- /data/data/com.whatsapp
- /data/app/com.whatsapp-1

Codice: Seleziona tutto

adb exec-out 'tar -C / -cf - sdcard/WhatsApp data/data/com.whatsapp data/app/com.whatsapp-1' > pippo.tar

E la dimensione dell'archivio "assomiglia" a quella del backup dell'altro giorno (227 MB):

Codice: Seleziona tutto

-rw-r--r-- 1 pippo users 231M apr 17 01:45 pippo.tar

Cosa ne pensate?
Un backup completo dell'installazione whatsapp a fini di ripristino, potrebbe essere fatto con un archivi tar creato come sopra, includendo quelle 3 dir?

[rik70]

Premesso che per conoscere questa informazione occorre avere dei permessi in più per accedere anche alla dir /data...

E certo
Tieni presente che tu hai una LineageOS, ma gran parte dei telefoni rootati no. Di qui la necessità, come dicevamo prima, d'invocare 'su -c' per vedere il contenuto di quelle directory, visto che non è possibile direttamente un 'adb root' su telefoni con rom "normali".

lrwxrwxrwx root/root 0 2019-04-16 14:00 data/data/com.whatsapp/lib -> /data/app/com.whatsapp-1/lib/arm

Guarda cosa c'è dentro '/data/app/com.whatsapp-1/lib/arm'.
Dovrebbero essere le librerie dell'app - nelle vecchie versioni di android il link probabilmente avrebbe puntato a '/data/app-lib/com.whatsapp*' - e penso venga creata quando viene installata l'app e/o avviata la prima volta. Pertanto, non credo sia necessario il backup.

Ma ora questo puoi dircelo tu direttamente.

[rik70]

P.s.
Tieni comunque in considerazione l'eventualità che, anche se siamo in grado di portarci a casa i dati delle app con tar e tutto quello che solitamente usiamo su Linux, il loro ripristino non esclude che l'app possa non funzionare, con conseguenti crash e compagnia cantante.

Le variabili in gioco su Android sono molteplici - ribadisco: non è Linux.

Ad esempio: i dati di un app che tu hai disinstallato, quando vai a reinstallarla, non conservano gli stessi uid e gid della precedente installazione.

Perciò, ora che hai un telefono diciamo così... ...più sotto controllo, per i backup affidati a programmi appositi, come l'ottimo oneandbackup suggerito da miklos(ma butta sempre un occhio ai log), o alla stessa recovery TWRP - dalla quale però puoi fare solo un backup completo di tutta la partizione 'usrdata'.

Queste sono ulteriori ragioni che rafforzano la mia opinione sul sistema Android, che a un utente Linux non può che andare troppo stretto.
O forse siamo noi troppo nerd... ...ma lascio la questione ai posteri.

[joe]

Adesso è cambiato qualcosa: quel link punta ad un altra dir "com.whatsapp-2" prima era "-1" (che adesso è sparita, boo).

Codice: Seleziona tutto

# adb shell ls -l  /data/data/com.whatsapp/lib      
lrwxrwxrwx 1 root root 32 2019-04-17 22:18 /data/data/com.whatsapp/lib -> /data/app/com.whatsapp-2/lib/arm


# adb shell ls -l  /data/app/com.whatsapp-2/lib/arm 
total 6372
-rwxr-xr-x 1 system system  223696 2019-04-08 11:53 libcodec2.so
-rwxr-xr-x 1 system system  127628 2019-04-08 11:53 libcurve25519.so
-rwxr-xr-x 1 system system    5588 2019-04-08 11:53 libfb.so
-rwxr-xr-x 1 system system   88044 2019-04-08 11:53 libfbjni.so
-rwxr-xr-x 1 system system  718696 2019-04-08 11:53 libgnustl_shared.so
-rwxr-xr-x 1 system system   84888 2019-04-08 11:53 liblib_fb_fbjni.so
-rwxr-xr-x 1 system system   34336 2019-04-08 11:53 libpl_droidsonroids_gif.so
-rwxr-xr-x 1 system system   96552 2019-04-08 11:53 libprofilo.so
-rwxr-xr-x 1 system system   26456 2019-04-08 11:53 libprofilo_atrace.so
-rwxr-xr-x 1 system system   34740 2019-04-08 11:53 libprofilo_linker.so
-rwxr-xr-x 1 system system   63476 2019-04-08 11:53 libprofilo_stacktrace.so
-rwxr-xr-x 1 system system   67584 2019-04-08 11:53 libprofilo_systemcounters.so
-rwxr-xr-x 1 system system   42944 2019-04-08 11:53 libprofilo_threadmetadata.so
-rwxr-xr-x 1 system system    5468 2019-04-08 11:53 libprofiloextapi.so
-rwxr-xr-x 1 system system   10228 2019-04-08 11:53 libsigmux.so
-rwxr-xr-x 1 system system  403400 2019-04-08 11:53 libstatic-webp.so
-rwxr-xr-x 1 system system   13992 2019-04-08 11:53 libvlc.so
-rwxr-xr-x 1 system system 4137876 2019-04-08 11:53 libwhatsapp.so
-rwxr-xr-x 1 system system  122328 2019-04-08 11:53 libyoga.so
-rwxr-xr-x 1 system system   88652 2019-04-08 11:53 libyogacore.so

Per quanto riguarda invece l'app oandbackup non sono così convinto che riesca a fare il backup di WhatsApp. L'ho installata con FDroid, ma eseguendo il backup dei dati (ma anche scegliendo entrambi) dice "si sono verificati degli errori ecc ecc..."

Quanto riportava Miklos dopo tutto potrebbe essere la via più breve.
Facciamo un bel tar della sola direcory /sdcard/WhatsApp e tanti saluti. O addirittura un pull liscio con adb.
Il mio timore è come dice anche "rik" che magari dopo in fase di ripristino, per qualche santo, non si riesca più ad ottenere una situazione pulita e funzionante di whatsapp, vuoi per via di user/group id differenti, differenti proprietari e permessi e via dicendo, come abbiamo già snocciolato.

La soluzione "sporca", da adottare a naso turato, alla fine potrebbe banalmente essere quella che ho messo in pratica io (anche se speravo fosse una pezza di fortuna).
Ovvero:
- braso il telefono e installo lienage
- aggiungo le opengapps (magari nella versione "pico" ultraminimale come ho fatto io (non c'è neanche gmail ecc).
- installo whatsapp e ripristino il backup fatto su drive prima di brasare il telefono
- disinstallo le gapps (non ho ancora provato)
- vivo felice senza gapps e continuo ad usare whatsapp
- quando voglio fare un backup dei dati whatsapp faccio un tar con adb della sola dir "sdcard/WhatsApp"; in più reinstallo le pico-gapps, eseguo il backup su drive e le disinstallo
- continuo a vivere felice senza gapps "persistenti"
- se mai avessi bisogno di un restore avrò due possibilità: untar da pc oppure restore da drive previa installazione gapps.

Decisamente scomodo e non centra appieno l'obiettivo "telefono libero", però l'avevo premesso che era la via sporca.

Mi piacerebbe avere il vostro parere e anche una conferma in più da miklos:
i dati delle chat whatsapp hanno una certa importanza, i messaggi possono contenere informazioni utili/importanti che spesso capita di andare a ripescare al volo.
Siamo ragionevolmente sicuri che backuppando solo la dir "sdcard/WhatsApp" si sia poi in grado di ottenere un restore completo e non problematico (tipo che causi crash all'app o similari)???

[ilmich]

Per quanto riguarda invece l'app oandbackup non sono così convinto che riesca a fare il backup di WhatsApp. L'ho installata con FDroid, ma eseguendo il backup dei dati (ma anche scegliendo entrambi) dice "si sono verificati degli errori ecc ecc..."

puoi indicare che tipo di errori!??! Eventualmente se ci sta un bug proviamo a farlo sistemare
Di solito non ho mai avuto grossi problemi (ma comunque è un app opensource fatta da una sola persona quindi non è esente da bug)

Android ha un suo sistema di log accessibile tramite adb (comando adb logcat) oppure sul telefono sia da terminale (permessi di root -> logcat) o tramite app (io ne utilizzo una che si chiama matloglibre)
Se siamo fortunati al 99% l'errore di oandbackup è loggato anche li

Siamo ragionevolmente sicuri che backuppando solo la dir "sdcard/WhatsApp" si sia poi in grado di ottenere un restore completo e non problematico (tipo che causi crash all'app o similari)???

Relativamente a whatsapp si.... sono sicuro al 100% che qualora la procedura venisse eseguita correttamente, il ripristino è altrettanto garantito. E' tra le faq di whatsapp

https://faq.whatsapp.com/it/android/20887921/

se leggi attentamente ti dice che gdrive è chiaramente il modo piu' veloce, ma anche che il backup della directory locale è previsto.

[rik70]

@joe
Dovresti avere il file di log in:

Codice: Seleziona tutto

sdcard/oandbackups/oandbackup.log

[joe]

Se desideri utilizzare un backup locale, dovrai trasferire i file sul nuovo telefono utilizzando un computer, file explorer o scheda SD. Se i dati non sono memorizzati nella directory /sdcard/WhatsApp/

Sì sì, pertanto un adb pull per il backup e adb push per ripristino dovrebbe essere sufficiente. Siccome il telefono mi serve funzionante e acceso almeno fino a sta sera, vedrò di fare una prova domani.

Il log invece penso di riuscire a mandarlo:

Codice: Seleziona tutto

# adb shell cat  /sdcard/oandbackups/oandbackup.log 
2019/04/17 - 23:00:47: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:00:47: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:01:53: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:03:06: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:04:31: CANNOT LINK EXECUTABLE "su": cannot locate symbol "_ZN7android13AppOpsManager14startOpNoThrowEiiRKNS_8String16Eb" referenced by "/system/xbin/su"... []
2019/04/17 - 23:04:31: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:04:31: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:04:31: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:04:32: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:05:09: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:05:28: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:06:14: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:06:58: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:07:09: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:07:09: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:07:09: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:07:10: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:07:10: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:07:49: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:40:16: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:40:17: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:40:17: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:40:17: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:40:53: CANNOT LINK EXECUTABLE "su": cannot locate symbol "_ZN7android13AppOpsManager14startOpNoThrowEiiRKNS_8String16Eb" referenced by "/system/xbin/su"... []
2019/04/17 - 23:40:54: unable to stat "/proc/self/exe": No such file or directory []
2019/04/17 - 23:40:54: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:40:54: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/17 - 23:42:15: unable to stat "/proc/self/exe": No such file or directory []
2019/04/18 - 00:34:23: unable to stat "/proc/self/exe": No such file or directory []

riprovando adesso all'avvio dell'app dice:

couldn't find oab-utils - running in legacy mode, please report this to the developer

impossibile ottenere i permessi da superuser

Ho controllato e avevo selezionato "accesso root: ADB + apps".
Riprovando adesso comunque dà gli stessi errori/warnings:

Codice: Seleziona tutto

2019/04/18 - 00:34:23: unable to stat "/proc/self/exe": No such file or directory []
2019/04/18 - 17:13:31: unable to stat "/proc/self/exe": No such file or directory []
2019/04/18 - 17:13:31: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/18 - 17:13:31: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/18 - 17:13:32: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/18 - 17:13:32: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/18 - 17:15:27: unable to stat "/proc/self/exe": No such file or directory []
2019/04/18 - 17:15:51: unable to stat "/proc/self/exe": No such file or directory []
2019/04/18 - 17:15:52: unable to stat "/proc/self/exe": No such file or directory []
2019/04/18 - 17:15:52: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/18 - 17:15:52: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/18 - 17:16:07: unable to stat "/proc/self/exe": No such file or directory []
2019/04/18 - 17:16:07: unable to stat "/proc/self/exe": No such file or directory []
2019/04/18 - 17:16:07: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/18 - 17:16:08: unable to stat "/proc/self/exe": No such file or directory [oab-utils]
2019/04/18 - 17:16:14: unable to stat "/proc/self/exe": No such file or directory []

[ilmich]

il tuo problema è spiegato qui

https://github.com/jensstein/oandbackup/issues/222

praticamente sembra che la versione 'universale' così universale nn è in quanto dovrebbe contenere i binari per tutti i tipi di CPU(arm 32 e 64 bit etc etc) ma a runtime android sceglie l'architettura errata e il file risulta nn trovato (esattamente come quando si prova ad eseguire su linux un binario a 32bit senza multilib). prova a utilizzare le build dedicate che nell'issue l'autore indica (se nn erro tu dovresti avere un arm a 32bit)

[rik70]

Ok, ci sono.
Fermo restando quanto detto, il sistema "Linux style" di backup e ripristino funziona.
Provate questi passaggi - se possibile su un emulatore android se ne avete la possibilità in modo da non stressare troppo la flash del telefono.

*** Backup ****
Prendiamo come esempio l'app Amaze.
Installiamola:

Codice: Seleziona tutto

adb install com.amaze.filemanager_76.apk

Avviatela e applicate qualche modifica: ad esempio impostate la home su un percorso della vostra sdcard diverso da quello di default.

Poi procedete al backup dei dati:

Codice: Seleziona tutto

tar -cpvf /sdcard/amaze.tar -C /data/data/com.amaze.filemanager/ .

Notare l'argomento -p: è importante, perché preserva anche le"caps", comprese quelle selinux.

Bene, ora disinstalliamola cancellando anche i dati utente:

Codice: Seleziona tutto

adb uninstall com.amaze.filemanager

*** Ripristino Backup ***
Reinstallate l'app ma non avviatela ancora:

Codice: Seleziona tutto

adb install com.amaze.filemanager_76.apk

Ora, passaggio fondamentale: verificate uid e gid della nuova installazione:

Codice: Seleziona tutto

ls -Rl /data/data/com.amaze.filemanager

e prendete nota.
Ripristinate il backup:

Codice: Seleziona tutto

tar -xpvf /sdcard/amaze.tar -C /data/data/com.amaze.filemanager/

Spostatevi in

Codice: Seleziona tutto

/data/data/com.amaze.filemanager/

e usate chown(non chmod, scusate ) per cambiare utente e gruppo alla directory e al suo contenuto.
Avviate l'app.

Edit2
Se va in crash, vuol dire che abbiamo una versione di android in cui occorre ripristinare i "contesti di sicurezza" dei file:

Codice: Seleziona tutto

restorecon -vR /data/data/com.amaze.filemanager/

*** Conclusione ***
Ovviamente adattate tutto questo alla situazione specifica e fate attenzione a non far seguire gli eventuali link simbolici quando cambiate il proprietario dei file.

P.s.
Testato su emulatore Nexus 4 - API 28 Android 9.0 - x86_64

Edit
I dovuti "crediti":
https://github.com/jensstein/oandbackup ... /README.md