Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte

2021-08-09 Diskussionsfäden John Doe
Hallo Andreas,

 

in der Doku zum obigen Tool heißt es u.A.:

 


But the main advantage of rdiff-backup is that it keeps version history. This command restores host.net::/remote-dir/file as it was 10 days ago into a new location /tmp/file.

rdiff-backup -r 10D host.net::/remote-dir/file /tmp/file

Other acceptable time strings include 5m4s (5 minutes and 4 seconds) and 2002-03-05 (March 5th, 2002). For more information, see the TIME FORMATS section of the manual page.

 

Daher dachte ich, daß ich im worst case eben die letzte intakte DB wiederherstelle.

Grüße

 

JD.


 
 

Sent: Monday, August 09, 2021 at 11:47 AM
From: "Andreas Goetz" 
To: "volkszaehler.org - users" 
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte



…und auch dieses Backup wird zerstört wenn Du von einer defekten SD eine korrupte DB kopierst. Backups *NIEMALS* einfach drüber bügeln sondern rotieren!

 

Viele Grüße, Andreas 

 
Am 09.08.2021 um 10:51 schrieb John Doe :
 





Hallo Andreas,

 

hierzu habe ich ein nettes Tool gefunden:

 

https://github.com/rdiff-backup/rdiff-backup

 

Dieses verwende ich nun, um mein komplettes lokales home-Verzeichnis auf einen cifs-share zu sichern.

Und da hier eben nur die diffs zum letzten Mal gesichert werden, kann ich nun auch etwas höherfrequent ein Backup erstellen, also bspw. alle 12 oder 6 Stunden.

Grüße

 

JD.

 
 

Sent: Sunday, August 08, 2021 at 2:12 AM
From: "Andreas Goetz" 
To: "volkszaehler.org - users" 
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte



…und vor allen Dingen: echtes Backup an einem sicheren Ort!

 

Viele Grüße, Andreas 

 
Am 08.08.2021 um 02:03 schrieb John Doe :
 





Hallo zusammen,

 

nach dem Durchlauf der aggregation ist meine Datenbank bis zum Kartencrash wieder intakt.

Nochmal für alle, deren Karte auch hin und wieder mal abschmiert, mein Vorgehen:

 

1. Der Karte eine intakte partition table mittels gpart spendiert

(https://help.ubuntu.com/community/DataRecovery#Gpart)

 

2. ddrescue wirklich über die komplette Karte mehrfach laufen lassen

(https://www.linux-magazin.de/ausgaben/2015/11/einfuehrung2/)

 

3.  Per testdisk (aus den aktuellen Quellen https://github.com/cgsecurity/testdisk kompiliert) die sqlite.db3 auf den "neuen" Raspi kopieren

 

4. vzlogger und alle cron-Jobs auf dem Zielsystem abschalten

 

5. Einen Restore der Datenbank durchführen (https://wiki.volkszaehler.org/software/tools/dbcopy): Zunächst mit einer sicher intakten sqlite.db, danach mit der aus (3) extrahierten (dbcopy.yaml entsprechend anpassen).

 

6. Gemäß wiki eine aggregation durchführen.

 


7. cronjobs wieder aktivieren, anschliessend reboot.

 

Grüße

 

JD.

 

Sent: Saturday, August 07, 2021 at 2:54 PM
From: "John Doe" 
To: volkszaehler-users@demo.volkszaehler.org
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte



Hallo zusammen,

 

ich war in der Zwischenzeit mutig und habe durch ein

 


/var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy.yaml

mit entsprechendem source und target zunächst die sicher intakte sqlite.db3 und im Anschluss diejenige aus meiner Datenrettung wieder eingespielt, Ergebnis: Fast alle meine Daten scheinen per Sichtkontrolle wieder da zu sein. Lediglich ein Peak am Ende, welcher möglicherweise aus dem beginnenden Crash stammt, ist noch übrig, aber den werde ich noch manuell begradigen. Sobald das aggregate durchgelaugen ist, melde ich mich nochmal mit dem endgültigen Ergebnis.

Grüße

 

JD.


 
 

Sent: Saturday, August 07, 2021 at 10:20 AM
From: "John Doe" 
To: volkszaehler-users@demo.volkszaehler.org
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte



Hallo zusammen,

 

ich habe noch mal ein wenig herumprobiert. Zunächst habe ich der Karte mit gpart einen neuen Header spendiert. Danach habe ich ddrescue einige Zeit über die Karte laufen lassen, Ergebnis: 99.99 pct rescued. In der Folge habe ich mit testdisk (kompiliert aus den aktuellen Github-Sourcen) die sqlite.db3 kopiert.

Ein

 

sqlite3 ~/Downloads/home/pi/sqlite-dumped.db3 "PRAGMA integrity_check"

 

liefert leider

 


Page 718135: btreeInitPage() returns error code 11
Page 699295: btreeInitPage() returns error code 11
Page 412064: btreeInitPage() returns error code 11
On tree page 370249 cell 18: Rowid 0 out of order
On tree page 370249 cell 17: Rowid 0 out of order
On tree page 370249 cell 16: Rowid 0 out of order
On tree page 370249 cell 15: Rowid 0 out of order
On tree page 370249 cell 14: Rowid 0 out of order
On tree page 370249 cell 13: Rowid 0 out of order
On tree page 370249 cell 12: Rowid 0 out of order
On tree page 370249 cell 11: Rowid 0 out of order
On tree page 370249 cell 10: Rowid 0 out of order
On tree page 370249 cell 9: Rowid 0 out of order
On tree page 370249 cell 8: Rowid 0 out of order
On tree page 370249 cell 7: Rowid 0 out of order
On tree page 370249 cell 6: Rowid 0 out of order
On tree page 370249 cell 5: Rowid 0 out of order
On tree page 370249 cell 4: Rowid 0 out 

Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte

2021-08-09 Diskussionsfäden Thomas Höpfner
Hallo JD,
vergiss /etc nicht. Eventuell hast du noch andere Verzeichnisse/Dateien 
geändert.

Thomas 

Am 09.08.2021 um 10:53 schrieb John Doe :


Hallo Andreas,
 hierzu habe ich ein nettes Tool gefunden:
 https://github.com/rdiff-backup/rdiff-backup
 Dieses verwende ich nun, um mein komplettes lokales home-Verzeichnis auf einen 
cifs-share zu sichern.
Und da hier eben nur die diffs zum letzten Mal gesichert werden, kann ich nun 
auch etwas höherfrequent ein Backup erstellen, also bspw. alle 12 oder 6 
Stunden.
Grüße
 JD.
  Sent: Sunday, August 08, 2021 at 2:12 AM
From: "Andreas Goetz" 
To: "volkszaehler.org - users" 
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte
…und vor allen Dingen: echtes Backup an einem sicheren Ort!
 Viele Grüße, Andreas 
  Am 08.08.2021 um 02:03 schrieb John Doe :
 
Hallo zusammen,
 nach dem Durchlauf der aggregation ist meine Datenbank bis zum Kartencrash 
wieder intakt.
Nochmal für alle, deren Karte auch hin und wieder mal abschmiert, mein Vorgehen:
 1. Der Karte eine intakte partition table mittels gpart spendiert
(https://help.ubuntu.com/community/DataRecovery#Gpart)
 2. ddrescue wirklich über die komplette Karte mehrfach laufen lassen
(https://www.linux-magazin.de/ausgaben/2015/11/einfuehrung2/)
 3.  Per testdisk (aus den aktuellen Quellen 
https://github.com/cgsecurity/testdisk kompiliert) die sqlite.db3 auf den 
"neuen" Raspi kopieren
 4. vzlogger und alle cron-Jobs auf dem Zielsystem abschalten
 5. Einen Restore der Datenbank durchführen 
(https://wiki.volkszaehler.org/software/tools/dbcopy): Zunächst mit einer 
sicher intakten sqlite.db, danach mit der aus (3) extrahierten (dbcopy.yaml 
entsprechend anpassen).
 6. Gemäß wiki eine aggregation durchführen.
 7. cronjobs wieder aktivieren, anschliessend reboot.
 Grüße
 JD.
 Sent: Saturday, August 07, 2021 at 2:54 PM
From: "John Doe" 
To: volkszaehler-users@demo.volkszaehler.org
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte
Hallo zusammen,
 ich war in der Zwischenzeit mutig und habe durch ein
 

/var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy.yaml

mit entsprechendem source und target zunächst die sicher intakte sqlite.db3 und 
im Anschluss diejenige aus meiner Datenrettung wieder eingespielt, Ergebnis: 
Fast alle meine Daten scheinen per Sichtkontrolle wieder da zu sein. Lediglich 
ein Peak am Ende, welcher möglicherweise aus dem beginnenden Crash stammt, ist 
noch übrig, aber den werde ich noch manuell begradigen. Sobald das aggregate 
durchgelaugen ist, melde ich mich nochmal mit dem endgültigen Ergebnis.

Grüße

 
JD.

  Sent: Saturday, August 07, 2021 at 10:20 AM
From: "John Doe" 
To: volkszaehler-users@demo.volkszaehler.org
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte
Hallo zusammen,
 ich habe noch mal ein wenig herumprobiert. Zunächst habe ich der Karte mit 
gpart einen neuen Header spendiert. Danach habe ich ddrescue einige Zeit über 
die Karte laufen lassen, Ergebnis: 99.99 pct rescued. In der Folge habe ich mit 
testdisk (kompiliert aus den aktuellen Github-Sourcen) die sqlite.db3 kopiert.
Ein
 sqlite3 ~/Downloads/home/pi/sqlite-dumped.db3 "PRAGMA integrity_check"
 liefert leider
 Page 718135: btreeInitPage() returns error code 11
Page 699295: btreeInitPage() returns error code 11
Page 412064: btreeInitPage() returns error code 11
On tree page 370249 cell 18: Rowid 0 out of order
On tree page 370249 cell 17: Rowid 0 out of order
On tree page 370249 cell 16: Rowid 0 out of order
On tree page 370249 cell 15: Rowid 0 out of order
On tree page 370249 cell 14: Rowid 0 out of order
On tree page 370249 cell 13: Rowid 0 out of order
On tree page 370249 cell 12: Rowid 0 out of order
On tree page 370249 cell 11: Rowid 0 out of order
On tree page 370249 cell 10: Rowid 0 out of order
On tree page 370249 cell 9: Rowid 0 out of order
On tree page 370249 cell 8: Rowid 0 out of order
On tree page 370249 cell 7: Rowid 0 out of order
On tree page 370249 cell 6: Rowid 0 out of order
On tree page 370249 cell 5: Rowid 0 out of order
On tree page 370249 cell 4: Rowid 0 out of order
On tree page 370249 cell 3: Rowid 0 out of order
On tree page 370249 cell 2: Rowid 0 out of order
On tree page 370249 cell 1: Rowid 0 out of order
On tree page 370249 cell 0: Rowid 0 out of order
Fragmentation of 412 bytes reported as 0 on page 370249
On tree page 369985 cell 275: Rowid 26718170 out of order
Page 335622: btreeInitPage() returns error code 11
Page 335601: btreeInitPage() returns error code 11
Page 326664: btreeInitPage() returns error code 11
Page 326660: btreeInitPage() returns error code 11
Page 326642: btreeInitPage() returns error code 11
Page 326640: btreeInitPage() returns error code 11
Page 183558: btreeInitPage() returns error code 11
Page 145754: btreeInitPage() returns error code 11
Page 133296: btreeInitPage() returns error code 11
Page 131242: btreeInitPage() returns error code 11
Page 130006: btreeInitPage() returns error code 11
Page 21264: btreeInitPage() 

Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte

2021-08-09 Diskussionsfäden Thomas Höpfner
Hallo zusammen,

in den Zusammenhang habe ich eine Frage, wie erkennt DB-copy was noch nicht 
gesichert ist? Kann man mehrere Sicherungen anlegen, zb pro Wochentag, und jede 
enthält die Daten seid der letzten Sicherung an diesen Wochentag. 

Thomas 



Am 09.08.2021 um 11:49 schrieb Andreas Goetz :


…und auch dieses Backup wird zerstört wenn Du von einer defekten SD eine 
korrupte DB kopierst. Backups *NIEMALS* einfach drüber bügeln sondern rotieren!

Viele Grüße, Andreas 

Am 09.08.2021 um 10:51 schrieb John Doe :


Hallo Andreas,
 hierzu habe ich ein nettes Tool gefunden:
 https://github.com/rdiff-backup/rdiff-backup
 Dieses verwende ich nun, um mein komplettes lokales home-Verzeichnis auf einen 
cifs-share zu sichern.
Und da hier eben nur die diffs zum letzten Mal gesichert werden, kann ich nun 
auch etwas höherfrequent ein Backup erstellen, also bspw. alle 12 oder 6 
Stunden.
Grüße
 JD.
  Sent: Sunday, August 08, 2021 at 2:12 AM
From: "Andreas Goetz" 
To: "volkszaehler.org - users" 
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte
…und vor allen Dingen: echtes Backup an einem sicheren Ort!
 Viele Grüße, Andreas 
  Am 08.08.2021 um 02:03 schrieb John Doe :
 
Hallo zusammen,
 nach dem Durchlauf der aggregation ist meine Datenbank bis zum Kartencrash 
wieder intakt.
Nochmal für alle, deren Karte auch hin und wieder mal abschmiert, mein Vorgehen:
 1. Der Karte eine intakte partition table mittels gpart spendiert
(https://help.ubuntu.com/community/DataRecovery#Gpart)
 2. ddrescue wirklich über die komplette Karte mehrfach laufen lassen
(https://www.linux-magazin.de/ausgaben/2015/11/einfuehrung2/)
 3.  Per testdisk (aus den aktuellen Quellen 
https://github.com/cgsecurity/testdisk kompiliert) die sqlite.db3 auf den 
"neuen" Raspi kopieren
 4. vzlogger und alle cron-Jobs auf dem Zielsystem abschalten
 5. Einen Restore der Datenbank durchführen 
(https://wiki.volkszaehler.org/software/tools/dbcopy): Zunächst mit einer 
sicher intakten sqlite.db, danach mit der aus (3) extrahierten (dbcopy.yaml 
entsprechend anpassen).
 6. Gemäß wiki eine aggregation durchführen.
 7. cronjobs wieder aktivieren, anschliessend reboot.
 Grüße
 JD.
 Sent: Saturday, August 07, 2021 at 2:54 PM
From: "John Doe" 
To: volkszaehler-users@demo.volkszaehler.org
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte
Hallo zusammen,
 ich war in der Zwischenzeit mutig und habe durch ein
 

/var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy.yaml

mit entsprechendem source und target zunächst die sicher intakte sqlite.db3 und 
im Anschluss diejenige aus meiner Datenrettung wieder eingespielt, Ergebnis: 
Fast alle meine Daten scheinen per Sichtkontrolle wieder da zu sein. Lediglich 
ein Peak am Ende, welcher möglicherweise aus dem beginnenden Crash stammt, ist 
noch übrig, aber den werde ich noch manuell begradigen. Sobald das aggregate 
durchgelaugen ist, melde ich mich nochmal mit dem endgültigen Ergebnis.

Grüße

 
JD.

  Sent: Saturday, August 07, 2021 at 10:20 AM
From: "John Doe" 
To: volkszaehler-users@demo.volkszaehler.org
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte
Hallo zusammen,
 ich habe noch mal ein wenig herumprobiert. Zunächst habe ich der Karte mit 
gpart einen neuen Header spendiert. Danach habe ich ddrescue einige Zeit über 
die Karte laufen lassen, Ergebnis: 99.99 pct rescued. In der Folge habe ich mit 
testdisk (kompiliert aus den aktuellen Github-Sourcen) die sqlite.db3 kopiert.
Ein
 sqlite3 ~/Downloads/home/pi/sqlite-dumped.db3 "PRAGMA integrity_check"
 liefert leider
 Page 718135: btreeInitPage() returns error code 11
Page 699295: btreeInitPage() returns error code 11
Page 412064: btreeInitPage() returns error code 11
On tree page 370249 cell 18: Rowid 0 out of order
On tree page 370249 cell 17: Rowid 0 out of order
On tree page 370249 cell 16: Rowid 0 out of order
On tree page 370249 cell 15: Rowid 0 out of order
On tree page 370249 cell 14: Rowid 0 out of order
On tree page 370249 cell 13: Rowid 0 out of order
On tree page 370249 cell 12: Rowid 0 out of order
On tree page 370249 cell 11: Rowid 0 out of order
On tree page 370249 cell 10: Rowid 0 out of order
On tree page 370249 cell 9: Rowid 0 out of order
On tree page 370249 cell 8: Rowid 0 out of order
On tree page 370249 cell 7: Rowid 0 out of order
On tree page 370249 cell 6: Rowid 0 out of order
On tree page 370249 cell 5: Rowid 0 out of order
On tree page 370249 cell 4: Rowid 0 out of order
On tree page 370249 cell 3: Rowid 0 out of order
On tree page 370249 cell 2: Rowid 0 out of order
On tree page 370249 cell 1: Rowid 0 out of order
On tree page 370249 cell 0: Rowid 0 out of order
Fragmentation of 412 bytes reported as 0 on page 370249
On tree page 369985 cell 275: Rowid 26718170 out of order
Page 335622: btreeInitPage() returns error code 11
Page 335601: btreeInitPage() returns error code 11
Page 326664: btreeInitPage() returns error code 11
Page 326660: btreeInitPage() returns error code 11
Page 

Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte

2021-08-09 Diskussionsfäden Andreas Goetz
…und auch dieses Backup wird zerstört wenn Du von einer defekten SD eine 
korrupte DB kopierst. Backups *NIEMALS* einfach drüber bügeln sondern rotieren!

Viele Grüße, Andreas 

> Am 09.08.2021 um 10:51 schrieb John Doe :
> 
> 
> Hallo Andreas,
>  
> hierzu habe ich ein nettes Tool gefunden:
>  
> https://github.com/rdiff-backup/rdiff-backup
>  
> Dieses verwende ich nun, um mein komplettes lokales home-Verzeichnis auf 
> einen cifs-share zu sichern.
> Und da hier eben nur die diffs zum letzten Mal gesichert werden, kann ich nun 
> auch etwas höherfrequent ein Backup erstellen, also bspw. alle 12 oder 6 
> Stunden.
> Grüße
>  
> JD.
>  
>  
> Sent: Sunday, August 08, 2021 at 2:12 AM
> From: "Andreas Goetz" 
> To: "volkszaehler.org - users" 
> Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte
> …und vor allen Dingen: echtes Backup an einem sicheren Ort!
>  
> Viele Grüße, Andreas 
>  
> Am 08.08.2021 um 02:03 schrieb John Doe :
>  
> 
> Hallo zusammen,
>  
> nach dem Durchlauf der aggregation ist meine Datenbank bis zum Kartencrash 
> wieder intakt.
> Nochmal für alle, deren Karte auch hin und wieder mal abschmiert, mein 
> Vorgehen:
>  
> 1. Der Karte eine intakte partition table mittels gpart spendiert
> (https://help.ubuntu.com/community/DataRecovery#Gpart)
>  
> 2. ddrescue wirklich über die komplette Karte mehrfach laufen lassen
> (https://www.linux-magazin.de/ausgaben/2015/11/einfuehrung2/)
>  
> 3.  Per testdisk (aus den aktuellen Quellen 
> https://github.com/cgsecurity/testdisk kompiliert) die sqlite.db3 auf den 
> "neuen" Raspi kopieren
>  
> 4. vzlogger und alle cron-Jobs auf dem Zielsystem abschalten
>  
> 5. Einen Restore der Datenbank durchführen 
> (https://wiki.volkszaehler.org/software/tools/dbcopy): Zunächst mit einer 
> sicher intakten sqlite.db, danach mit der aus (3) extrahierten (dbcopy.yaml 
> entsprechend anpassen).
>  
> 6. Gemäß wiki eine aggregation durchführen.
>  
> 7. cronjobs wieder aktivieren, anschliessend reboot.
>  
> Grüße
>  
> JD.
>  
> Sent: Saturday, August 07, 2021 at 2:54 PM
> From: "John Doe" 
> To: volkszaehler-users@demo.volkszaehler.org
> Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte
> Hallo zusammen,
>  
> ich war in der Zwischenzeit mutig und habe durch ein
>  
> /var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy.yaml
> mit entsprechendem source und target zunächst die sicher intakte sqlite.db3 
> und im Anschluss diejenige aus meiner Datenrettung wieder eingespielt, 
> Ergebnis: Fast alle meine Daten scheinen per Sichtkontrolle wieder da zu 
> sein. Lediglich ein Peak am Ende, welcher möglicherweise aus dem beginnenden 
> Crash stammt, ist noch übrig, aber den werde ich noch manuell begradigen. 
> Sobald das aggregate durchgelaugen ist, melde ich mich nochmal mit dem 
> endgültigen Ergebnis.
> 
> Grüße
> 
>  
> 
> JD.
> 
>  
>  
> Sent: Saturday, August 07, 2021 at 10:20 AM
> From: "John Doe" 
> To: volkszaehler-users@demo.volkszaehler.org
> Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte
> Hallo zusammen,
>  
> ich habe noch mal ein wenig herumprobiert. Zunächst habe ich der Karte mit 
> gpart einen neuen Header spendiert. Danach habe ich ddrescue einige Zeit über 
> die Karte laufen lassen, Ergebnis: 99.99 pct rescued. In der Folge habe ich 
> mit testdisk (kompiliert aus den aktuellen Github-Sourcen) die sqlite.db3 
> kopiert.
> Ein
>  
> sqlite3 ~/Downloads/home/pi/sqlite-dumped.db3 "PRAGMA integrity_check"
>  
> liefert leider
>  
> Page 718135: btreeInitPage() returns error code 11
> Page 699295: btreeInitPage() returns error code 11
> Page 412064: btreeInitPage() returns error code 11
> On tree page 370249 cell 18: Rowid 0 out of order
> On tree page 370249 cell 17: Rowid 0 out of order
> On tree page 370249 cell 16: Rowid 0 out of order
> On tree page 370249 cell 15: Rowid 0 out of order
> On tree page 370249 cell 14: Rowid 0 out of order
> On tree page 370249 cell 13: Rowid 0 out of order
> On tree page 370249 cell 12: Rowid 0 out of order
> On tree page 370249 cell 11: Rowid 0 out of order
> On tree page 370249 cell 10: Rowid 0 out of order
> On tree page 370249 cell 9: Rowid 0 out of order
> On tree page 370249 cell 8: Rowid 0 out of order
> On tree page 370249 cell 7: Rowid 0 out of order
> On tree page 370249 cell 6: Rowid 0 out of order
> On tree page 370249 cell 5: Rowid 0 out of order
> On tree page 370249 cell 4: Rowid 0 out of order
> On tree page 370249 cell 3: Rowid 0 out of order
> On tree page 370249 cell 2: Rowid 0 out of order
> On tree page 370249 cell 1: Rowid 0 out of order
> On tree page 370249 cell 0: Rowid 0 out of order
> Fragmentation of 412 bytes reported as 0 on page 370249
> On tree page 369985 cell 275: Rowid 26718170 out of order
> Page 335622: btreeInitPage() returns error code 11
> Page 335601: btreeInitPage() returns error code 11
> Page 326664: btreeInitPage() returns error code 11
> Page 326660: btreeInitPage() returns error code 11
> Page 326642: 

Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte

2021-08-09 Diskussionsfäden John Doe
Hallo Andreas,

 

hierzu habe ich ein nettes Tool gefunden:

 

https://github.com/rdiff-backup/rdiff-backup

 

Dieses verwende ich nun, um mein komplettes lokales home-Verzeichnis auf einen cifs-share zu sichern.

Und da hier eben nur die diffs zum letzten Mal gesichert werden, kann ich nun auch etwas höherfrequent ein Backup erstellen, also bspw. alle 12 oder 6 Stunden.

Grüße

 

JD.

 
 

Sent: Sunday, August 08, 2021 at 2:12 AM
From: "Andreas Goetz" 
To: "volkszaehler.org - users" 
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte



…und vor allen Dingen: echtes Backup an einem sicheren Ort!

 

Viele Grüße, Andreas 

 
Am 08.08.2021 um 02:03 schrieb John Doe :
 





Hallo zusammen,

 

nach dem Durchlauf der aggregation ist meine Datenbank bis zum Kartencrash wieder intakt.

Nochmal für alle, deren Karte auch hin und wieder mal abschmiert, mein Vorgehen:

 

1. Der Karte eine intakte partition table mittels gpart spendiert

(https://help.ubuntu.com/community/DataRecovery#Gpart)

 

2. ddrescue wirklich über die komplette Karte mehrfach laufen lassen

(https://www.linux-magazin.de/ausgaben/2015/11/einfuehrung2/)

 

3.  Per testdisk (aus den aktuellen Quellen https://github.com/cgsecurity/testdisk kompiliert) die sqlite.db3 auf den "neuen" Raspi kopieren

 

4. vzlogger und alle cron-Jobs auf dem Zielsystem abschalten

 

5. Einen Restore der Datenbank durchführen (https://wiki.volkszaehler.org/software/tools/dbcopy): Zunächst mit einer sicher intakten sqlite.db, danach mit der aus (3) extrahierten (dbcopy.yaml entsprechend anpassen).

 

6. Gemäß wiki eine aggregation durchführen.

 


7. cronjobs wieder aktivieren, anschliessend reboot.

 

Grüße

 

JD.

 

Sent: Saturday, August 07, 2021 at 2:54 PM
From: "John Doe" 
To: volkszaehler-users@demo.volkszaehler.org
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte



Hallo zusammen,

 

ich war in der Zwischenzeit mutig und habe durch ein

 


/var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy.yaml

mit entsprechendem source und target zunächst die sicher intakte sqlite.db3 und im Anschluss diejenige aus meiner Datenrettung wieder eingespielt, Ergebnis: Fast alle meine Daten scheinen per Sichtkontrolle wieder da zu sein. Lediglich ein Peak am Ende, welcher möglicherweise aus dem beginnenden Crash stammt, ist noch übrig, aber den werde ich noch manuell begradigen. Sobald das aggregate durchgelaugen ist, melde ich mich nochmal mit dem endgültigen Ergebnis.

Grüße

 

JD.


 
 

Sent: Saturday, August 07, 2021 at 10:20 AM
From: "John Doe" 
To: volkszaehler-users@demo.volkszaehler.org
Subject: Re: [vz-users] (Daten-)Rettung sqlite.db3 von SD-Karte



Hallo zusammen,

 

ich habe noch mal ein wenig herumprobiert. Zunächst habe ich der Karte mit gpart einen neuen Header spendiert. Danach habe ich ddrescue einige Zeit über die Karte laufen lassen, Ergebnis: 99.99 pct rescued. In der Folge habe ich mit testdisk (kompiliert aus den aktuellen Github-Sourcen) die sqlite.db3 kopiert.

Ein

 

sqlite3 ~/Downloads/home/pi/sqlite-dumped.db3 "PRAGMA integrity_check"

 

liefert leider

 


Page 718135: btreeInitPage() returns error code 11
Page 699295: btreeInitPage() returns error code 11
Page 412064: btreeInitPage() returns error code 11
On tree page 370249 cell 18: Rowid 0 out of order
On tree page 370249 cell 17: Rowid 0 out of order
On tree page 370249 cell 16: Rowid 0 out of order
On tree page 370249 cell 15: Rowid 0 out of order
On tree page 370249 cell 14: Rowid 0 out of order
On tree page 370249 cell 13: Rowid 0 out of order
On tree page 370249 cell 12: Rowid 0 out of order
On tree page 370249 cell 11: Rowid 0 out of order
On tree page 370249 cell 10: Rowid 0 out of order
On tree page 370249 cell 9: Rowid 0 out of order
On tree page 370249 cell 8: Rowid 0 out of order
On tree page 370249 cell 7: Rowid 0 out of order
On tree page 370249 cell 6: Rowid 0 out of order
On tree page 370249 cell 5: Rowid 0 out of order
On tree page 370249 cell 4: Rowid 0 out of order
On tree page 370249 cell 3: Rowid 0 out of order
On tree page 370249 cell 2: Rowid 0 out of order
On tree page 370249 cell 1: Rowid 0 out of order
On tree page 370249 cell 0: Rowid 0 out of order
Fragmentation of 412 bytes reported as 0 on page 370249
On tree page 369985 cell 275: Rowid 26718170 out of order
Page 335622: btreeInitPage() returns error code 11
Page 335601: btreeInitPage() returns error code 11
Page 326664: btreeInitPage() returns error code 11
Page 326660: btreeInitPage() returns error code 11
Page 326642: btreeInitPage() returns error code 11
Page 326640: btreeInitPage() returns error code 11
Page 183558: btreeInitPage() returns error code 11
Page 145754: btreeInitPage() returns error code 11
Page 133296: btreeInitPage() returns error code 11
Page 131242: btreeInitPage() returns error code 11
Page 130006: btreeInitPage() returns error code 11
Page 21264: btreeInitPage() returns error code 11
Page 775024: btreeInitPage() returns error code 11