Re: [vz-users] Image mit dd erstellen / Datenbackup
Hallo Daniel, Ich habe eine Frage, wie kann ich von der Mail-Lise gelöscht werden? Da ich das System leider nicht mehr habe benötige ich auch die Mail´s nicht mehr. Danke für das tolle Projekt und die Unterstützung im Forum! Sg. Gerald Gerald KlinglmairProject Manager Automation Greiner Packaging GmbH Greinerstraße 70, 4550 Kremsmünster, Österreichphone +43 50541 82433 mobile +43 664 5039921 e-mail: g.klinglm...@greiner-gpi.com web: www.greiner-gpi.com Firmensitz / Registered Office: Greinerstrasse 70, 4550 Kremsmuenster, ÖsterreichFB-Nummer / Trade Reg. No.: 176892kFB-Gericht / Court of Registration: Landesgericht SteyrUID-Nummer / VAT Reg. No.: ATU 45835805DVR: 1022059 DATENSCHUTZ: Der Schutz und die Sicherheit Ihrer personenbezogenen Daten ist uns schon immer ein wichtiges Anliegen. Wir verarbeiten Ihre personenbezogenen Daten im Einklang mit den gesetzlichen Bestimmungen. Nähere Informationen über die Verarbeitung Ihrer personenbezogenen Daten in unserem Unternehmen und die Ihnen zustehenden Rechte gemäß DSGVO (EU Datenschutzgrundverordnung) finden Sie hier. DATA PROTECTION: The protection and security of your personal data has always been an important concern of ours. We process your personal data in accordance with the data protection regulations. More information about the processing of your personal data in our company and your rights in connection with the GDPR (EU General Data Protection Regulation) can be found here. -Ursprüngliche Nachricht- Von: volkszaehler-users Im Auftrag von Daniel Lauckner Gesendet: Montag, 16. November 2020 22:17 An: volkszaehler.org - users Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup Hallo, am Montag, 16. November 2020 um 16:45 hat John Doe geschrieben: > Entweder Du > spielst das Karten-Image zurück und hast für die Dauer > Crash-Beginn+Rücksicherung keine Daten (zeitliche Größenordnung > alles zusammen bis zum Wiederlaufen ca. eine Stunde) oder Du > installierst ein neues VZ-Image und spielst darin die DB und die vzlogger.conf zurück. Oder man macht sich ein Image nachdem man mit der Konfiguration fertig ist und spielt da die DB-Sicherung wieder ein. Man hat 1x die 10 Minuten Ausfall, bekommt das System aber schneller wieder ans laufen weil die persönliche Konfiguration schon vorhanden ist. mfg Daniel
Re: [vz-users] Image mit dd erstellen / Datenbackup
Hallo, am Montag, 16. November 2020 um 16:45 hat John Doe geschrieben: > Entweder Du > spielst das Karten-Image zurück und hast für die Dauer > Crash-Beginn+Rücksicherung keine Daten (zeitliche Größenordnung > alles zusammen bis zum Wiederlaufen ca. eine Stunde) oder Du > installierst ein neues VZ-Image und spielst darin die DB und die > vzlogger.conf zurück. Oder man macht sich ein Image nachdem man mit der Konfiguration fertig ist und spielt da die DB-Sicherung wieder ein. Man hat 1x die 10 Minuten Ausfall, bekommt das System aber schneller wieder ans laufen weil die persönliche Konfiguration schon vorhanden ist. mfg Daniel
Re: [vz-users] Image mit dd erstellen / Datenbackup
Hallo MIchael, das Backup einer 32GB-SD-Karte dauerte bei mir gestern an einem USB3-Leser ca. 10 Minuten. Und das im Wiki beschriebene Vorgehen der Datenbanksicherung per dbcopy, bspw. über eine CIFS-Freigabe auf Dein NAS, läuft problemlos im laufenden Betrieb. Du hast im Fall des Kartencrashs zwei Möglichkeiten: Entweder Du spielst das Karten-Image zurück und hast für die Dauer Crash-Beginn+Rücksicherung keine Daten (zeitliche Größenordnung alles zusammen bis zum Wiederlaufen ca. eine Stunde) oder Du installierst ein neues VZ-Image und spielst darin die DB und die vzlogger.conf zurück. Eine komplett lückenlose Ausfallsicherung dürfte zumindest auf oder mit dem Raspi schwer zu realisieren sein und ist m.E.n. auch nicht unbedingt notwendig, da die relativen Schwankungen im Verbrauch zumindest über ein paar Stunden nicht so groß ausfallen fürften. Grüße JD. Sent: Monday, November 16, 2020 at 3:03 PM From: "Michael Hartmann" To: volkszaehler-users@demo.volkszaehler.org Subject: Re: [vz-users] Image mit dd erstellen / Datenbackup Die HW lässt sich leider nicht eben umziehen. Der IR-Lesekopf hängt mit weiteren S0-Gebern an der Erweiterungsplatine der laufenden Systems. Aktuell habe ich auch wenig Zweifel, dass ein Umzug der HW Daten liefern würde. Ein solcher Test bedeutet auch, dass das laufende System offline ginge. Das Ganze ist eine Trockenübung um die Nutzbarkeit eines DD-Images zu prüfen. Denn dazu wurden hier Bedenken bzgl. Datenintegrität geäußert. Der beobachtete "Fehler" beim Ergänzen der Daten aus dem DB-Backup deutet in der Tat auf einen möglichen Fehler in der DB auf dem Image hin. Mein Ziel ist eigentlich Images und Backups der DB im laufenden Betrieb zu fahren. Da ich an der Installation nicht permanent Änderungen vornehme, könnte ich das laufende System einmalig herunterfahren um ein Image von der SD-Karte anzufertigen. Das dürfte bei 32GB aber auch schon bei 2h dauern und somit eine entsprechende Datenlücke nach sich ziehen. Da wäre ich gerne sicher, dass ich die DB auf dem Image bei Wiederherstellung zügig mit den fehlenden Daten aus dem DB-Backup ergänzen kann. Grüße Micha Gesendet: Montag, 16. November 2020 um 13:00 Uhr Von: "John Doe" An: volkszaehler-users@demo.volkszaehler.org Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup Hallo MIchael, dann hab' ich das falsch verstanden, sorry. Wenn Du einfach das "gleiche" Image (also das aus dem Produktivsystem) weiter verwendest, sollte eigentlich alles normal weiterlaufen. Was passiert denn, wenn Du den IR-Kopf mal an den Pi steckst und das Zurückspielen der gesicherten DB erst mal weglässt? Kommen denn dann im Frontend Daten an, unabhängig von der Lücke in den Daten seit der Image-Erstellung ? Grüsse JD. Sent: Monday, November 16, 2020 at 12:20 PM From: "Michael Hartmann" To: volkszaehler-users@demo.volkszaehler.org Subject: Re: [vz-users] Image mit dd erstellen / Datenbackup Hallo John, auf dem Image existiert ja bereits die DB, welche die Daten bis zum Zeitpunkt der Imageerstellung enthält. Ich müsste diese also löschen um dann in eine neu erstellte leere Datenbank alle Daten aus dem DB-Backup zu kopieren? Ein Ergänzen der fehlenden Daten funktioniert generell nicht? Grüße Michael Gesendet: Montag, 16. November 2020 um 12:13 Uhr Von: "John Doe" An: volkszaehler-users@demo.volkszaehler.org Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup Hallo Michael, da ich das Prozedere der Rücksicherung gerade erst wieder mal durchgearbeitet habe, hier ein Tip: Ich glaube, dass Du zuerst auf dem zweiten Raspi eine leere volkszaehler-DB mit "create" (wie im wiki) erzeugen musst. In dieser spielst Du dann die gesicherte (sqlite.db3) DB zurück; ggfs. musst Du die aggregation danach noch einmal "von Hand" laufen lassen. Grüsse JD. Sent: Friday, November 13, 2020 at 8:47 PM From: "Michael Hartmann" To: "'volkszaehler-users'" Subject: [vz-users] Image mit dd erstellen / Datenbackup Hallo, da kürzlich Bedenken bzgl. Integrität eines zur Laufzeit mit dd erstellten Images aufkamen habe ich folgendes getestet: 1. Erstellen eines Image zur Laufzeit mit dd direkt auf mein NAS 2. Reduzieren und abschießendes Packen des Images in GZIP-Format mit pishrink 3. Resultat 32GB > 5,2GB > 1,6GB 4. Enpacken mit 7ZIP unter Win10 5. Brennen des Image mit Win32DiskImager auf eine 32GB- SD-Karte 6. Inbetriebnahme der SD-Karte auf einem zweiten Raspi 3B+ Resultat: Das Image läuft. D.h. ich kann via Frontend auf alle Daten bis zum Zeitpunkt an dem das Image erstellt wurde zugreifen und beliebig darin navigieren. Da keine HW angeschlossen ist kann ich nicht sagen ob vzlogger ordnungsgemäß laufen würde. Da ich ein tägliches, inkrementelles Backup in eine DB auf meinem NAS mache, habe ich nun versucht die Daten vom Zeitpunkt der Imageerstellung bis zum Zeitpunkt des letzten Backups zu ergänzen u
Re: [vz-users] Image mit dd erstellen / Datenbackup
Die HW lässt sich leider nicht eben umziehen. Der IR-Lesekopf hängt mit weiteren S0-Gebern an der Erweiterungsplatine der laufenden Systems. Aktuell habe ich auch wenig Zweifel, dass ein Umzug der HW Daten liefern würde. Ein solcher Test bedeutet auch, dass das laufende System offline ginge. Das Ganze ist eine Trockenübung um die Nutzbarkeit eines DD-Images zu prüfen. Denn dazu wurden hier Bedenken bzgl. Datenintegrität geäußert. Der beobachtete "Fehler" beim Ergänzen der Daten aus dem DB-Backup deutet in der Tat auf einen möglichen Fehler in der DB auf dem Image hin. Mein Ziel ist eigentlich Images und Backups der DB im laufenden Betrieb zu fahren. Da ich an der Installation nicht permanent Änderungen vornehme, könnte ich das laufende System einmalig herunterfahren um ein Image von der SD-Karte anzufertigen. Das dürfte bei 32GB aber auch schon bei 2h dauern und somit eine entsprechende Datenlücke nach sich ziehen. Da wäre ich gerne sicher, dass ich die DB auf dem Image bei Wiederherstellung zügig mit den fehlenden Daten aus dem DB-Backup ergänzen kann. Grüße Micha Gesendet: Montag, 16. November 2020 um 13:00 Uhr Von: "John Doe" An: volkszaehler-users@demo.volkszaehler.org Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup Hallo MIchael, dann hab' ich das falsch verstanden, sorry. Wenn Du einfach das "gleiche" Image (also das aus dem Produktivsystem) weiter verwendest, sollte eigentlich alles normal weiterlaufen. Was passiert denn, wenn Du den IR-Kopf mal an den Pi steckst und das Zurückspielen der gesicherten DB erst mal weglässt? Kommen denn dann im Frontend Daten an, unabhängig von der Lücke in den Daten seit der Image-Erstellung ? Grüsse JD. Sent: Monday, November 16, 2020 at 12:20 PM From: "Michael Hartmann" To: volkszaehler-users@demo.volkszaehler.org Subject: Re: [vz-users] Image mit dd erstellen / Datenbackup Hallo John, auf dem Image existiert ja bereits die DB, welche die Daten bis zum Zeitpunkt der Imageerstellung enthält. Ich müsste diese also löschen um dann in eine neu erstellte leere Datenbank alle Daten aus dem DB-Backup zu kopieren? Ein Ergänzen der fehlenden Daten funktioniert generell nicht? Grüße Michael Gesendet: Montag, 16. November 2020 um 12:13 Uhr Von: "John Doe" An: volkszaehler-users@demo.volkszaehler.org Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup Hallo Michael, da ich das Prozedere der Rücksicherung gerade erst wieder mal durchgearbeitet habe, hier ein Tip: Ich glaube, dass Du zuerst auf dem zweiten Raspi eine leere volkszaehler-DB mit "create" (wie im wiki) erzeugen musst. In dieser spielst Du dann die gesicherte (sqlite.db3) DB zurück; ggfs. musst Du die aggregation danach noch einmal "von Hand" laufen lassen. Grüsse JD. Sent: Friday, November 13, 2020 at 8:47 PM From: "Michael Hartmann" To: "'volkszaehler-users'" Subject: [vz-users] Image mit dd erstellen / Datenbackup Hallo, da kürzlich Bedenken bzgl. Integrität eines zur Laufzeit mit dd erstellten Images aufkamen habe ich folgendes getestet: 1. Erstellen eines Image zur Laufzeit mit dd direkt auf mein NAS 2. Reduzieren und abschießendes Packen des Images in GZIP-Format mit pishrink 3. Resultat 32GB > 5,2GB > 1,6GB 4. Enpacken mit 7ZIP unter Win10 5. Brennen des Image mit Win32DiskImager auf eine 32GB- SD-Karte 6. Inbetriebnahme der SD-Karte auf einem zweiten Raspi 3B+ Resultat: Das Image läuft. D.h. ich kann via Frontend auf alle Daten bis zum Zeitpunkt an dem das Image erstellt wurde zugreifen und beliebig darin navigieren. Da keine HW angeschlossen ist kann ich nicht sagen ob vzlogger ordnungsgemäß laufen würde. Da ich ein tägliches, inkrementelles Backup in eine DB auf meinem NAS mache, habe ich nun versucht die Daten vom Zeitpunkt der Imageerstellung bis zum Zeitpunkt des letzten Backups zu ergänzen und bin dabei wie im Wiki beschrieben vorgegangen. D.h. ich habe in /etc/dbcopy.yaml die die Angaben für Ziel und Quelle vertauscht. Der mySQ-Standarduser „vz“ wurde abgewiesen. Mit dem umfassenden Nutzer „vz-admin“ bekomme ich folgendes Ergebnis: pi@SmartMeter2:~ $ /var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy_alt_user.yam l Dropping FK FK_87C331C781257D5D on properties Dropping FK FK_2BD88468727ACA70 on entities_in_aggregator Dropping FK FK_2BD88468DD62C21B on entities_in_aggregator Dropping FK FK_ADF3F36372F5A1AA on data Dropping FK FK_B77949FF72F5A1AA on aggregate entities: copying 7 rows (overwrite) [] 100% < 1 sec/< 1 sec 7 rows properties: copying 63 rows (overwrite) [] 100% < 1 sec/< 1 sec 63 rows entities_in_aggregator: copying 0 rows (overwrite) 0 [->--] < 1 sec 6.0 MiB data: copying 5864950 rows (partial copy) [>---] 0% < 1 sec/< 1 sec
Re: [vz-users] Image mit dd erstellen / Datenbackup
Hallo MIchael, dann hab' ich das falsch verstanden, sorry. Wenn Du einfach das "gleiche" Image (also das aus dem Produktivsystem) weiter verwendest, sollte eigentlich alles normal weiterlaufen. Was passiert denn, wenn Du den IR-Kopf mal an den Pi steckst und das Zurückspielen der gesicherten DB erst mal weglässt? Kommen denn dann im Frontend Daten an, unabhängig von der Lücke in den Daten seit der Image-Erstellung ? Grüsse JD. Sent: Monday, November 16, 2020 at 12:20 PM From: "Michael Hartmann" To: volkszaehler-users@demo.volkszaehler.org Subject: Re: [vz-users] Image mit dd erstellen / Datenbackup Hallo John, auf dem Image existiert ja bereits die DB, welche die Daten bis zum Zeitpunkt der Imageerstellung enthält. Ich müsste diese also löschen um dann in eine neu erstellte leere Datenbank alle Daten aus dem DB-Backup zu kopieren? Ein Ergänzen der fehlenden Daten funktioniert generell nicht? Grüße Michael Gesendet: Montag, 16. November 2020 um 12:13 Uhr Von: "John Doe" An: volkszaehler-users@demo.volkszaehler.org Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup Hallo Michael, da ich das Prozedere der Rücksicherung gerade erst wieder mal durchgearbeitet habe, hier ein Tip: Ich glaube, dass Du zuerst auf dem zweiten Raspi eine leere volkszaehler-DB mit "create" (wie im wiki) erzeugen musst. In dieser spielst Du dann die gesicherte (sqlite.db3) DB zurück; ggfs. musst Du die aggregation danach noch einmal "von Hand" laufen lassen. Grüsse JD. Sent: Friday, November 13, 2020 at 8:47 PM From: "Michael Hartmann" To: "'volkszaehler-users'" Subject: [vz-users] Image mit dd erstellen / Datenbackup Hallo, da kürzlich Bedenken bzgl. Integrität eines zur Laufzeit mit dd erstellten Images aufkamen habe ich folgendes getestet: 1. Erstellen eines Image zur Laufzeit mit dd direkt auf mein NAS 2. Reduzieren und abschießendes Packen des Images in GZIP-Format mit pishrink 3. Resultat 32GB > 5,2GB > 1,6GB 4. Enpacken mit 7ZIP unter Win10 5. Brennen des Image mit Win32DiskImager auf eine 32GB- SD-Karte 6. Inbetriebnahme der SD-Karte auf einem zweiten Raspi 3B+ Resultat: Das Image läuft. D.h. ich kann via Frontend auf alle Daten bis zum Zeitpunkt an dem das Image erstellt wurde zugreifen und beliebig darin navigieren. Da keine HW angeschlossen ist kann ich nicht sagen ob vzlogger ordnungsgemäß laufen würde. Da ich ein tägliches, inkrementelles Backup in eine DB auf meinem NAS mache, habe ich nun versucht die Daten vom Zeitpunkt der Imageerstellung bis zum Zeitpunkt des letzten Backups zu ergänzen und bin dabei wie im Wiki beschrieben vorgegangen. D.h. ich habe in /etc/dbcopy.yaml die die Angaben für Ziel und Quelle vertauscht. Der mySQ-Standarduser „vz“ wurde abgewiesen. Mit dem umfassenden Nutzer „vz-admin“ bekomme ich folgendes Ergebnis: pi@SmartMeter2:~ $ /var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy_alt_user.yam l Dropping FK FK_87C331C781257D5D on properties Dropping FK FK_2BD88468727ACA70 on entities_in_aggregator Dropping FK FK_2BD88468DD62C21B on entities_in_aggregator Dropping FK FK_ADF3F36372F5A1AA on data Dropping FK FK_B77949FF72F5A1AA on aggregate entities: copying 7 rows (overwrite) [] 100% < 1 sec/< 1 sec 7 rows properties: copying 63 rows (overwrite) [] 100% < 1 sec/< 1 sec 63 rows entities_in_aggregator: copying 0 rows (overwrite) 0 [->--] < 1 sec 6.0 MiB data: copying 5864950 rows (partial copy) [>---] 0% < 1 sec/< 1 sec 0 rows In AbstractMySQLDriver.php line 74: An exception occurred while executing 'INSERT INTO `data` (`id`,`channel_id`,`timestamp`,` value`) VALUES (?,?,?,?)' with params ["1672482", "2", "1592585825000", "1010037"]: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1672482' for key 'P RIMARY' In Exception.php line 18: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1672482' for key 'P RIMARY' In PDOStatement.php line 115: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1672482' for key 'P RIMARY' copy [-c|--config CONFIG] [-b|--batch BATCH] [-k|--keep-constraints] [--] [...] Evtl. korrupte DB auf dem Image? Oder eine andere Ursache? Wie wäre der Fehler zu beheben? Grüße Micha
Re: [vz-users] Image mit dd erstellen / Datenbackup
Hallo John, auf dem Image existiert ja bereits die DB, welche die Daten bis zum Zeitpunkt der Imageerstellung enthält. Ich müsste diese also löschen um dann in eine neu erstellte leere Datenbank alle Daten aus dem DB-Backup zu kopieren? Ein Ergänzen der fehlenden Daten funktioniert generell nicht? Grüße Michael Gesendet: Montag, 16. November 2020 um 12:13 Uhr Von: "John Doe" An: volkszaehler-users@demo.volkszaehler.org Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup Hallo Michael, da ich das Prozedere der Rücksicherung gerade erst wieder mal durchgearbeitet habe, hier ein Tip: Ich glaube, dass Du zuerst auf dem zweiten Raspi eine leere volkszaehler-DB mit "create" (wie im wiki) erzeugen musst. In dieser spielst Du dann die gesicherte (sqlite.db3) DB zurück; ggfs. musst Du die aggregation danach noch einmal "von Hand" laufen lassen. Grüsse JD. Sent: Friday, November 13, 2020 at 8:47 PM From: "Michael Hartmann" To: "'volkszaehler-users'" Subject: [vz-users] Image mit dd erstellen / Datenbackup Hallo, da kürzlich Bedenken bzgl. Integrität eines zur Laufzeit mit dd erstellten Images aufkamen habe ich folgendes getestet: 1. Erstellen eines Image zur Laufzeit mit dd direkt auf mein NAS 2. Reduzieren und abschießendes Packen des Images in GZIP-Format mit pishrink 3. Resultat 32GB > 5,2GB > 1,6GB 4. Enpacken mit 7ZIP unter Win10 5. Brennen des Image mit Win32DiskImager auf eine 32GB- SD-Karte 6. Inbetriebnahme der SD-Karte auf einem zweiten Raspi 3B+ Resultat: Das Image läuft. D.h. ich kann via Frontend auf alle Daten bis zum Zeitpunkt an dem das Image erstellt wurde zugreifen und beliebig darin navigieren. Da keine HW angeschlossen ist kann ich nicht sagen ob vzlogger ordnungsgemäß laufen würde. Da ich ein tägliches, inkrementelles Backup in eine DB auf meinem NAS mache, habe ich nun versucht die Daten vom Zeitpunkt der Imageerstellung bis zum Zeitpunkt des letzten Backups zu ergänzen und bin dabei wie im Wiki beschrieben vorgegangen. D.h. ich habe in /etc/dbcopy.yaml die die Angaben für Ziel und Quelle vertauscht. Der mySQ-Standarduser „vz“ wurde abgewiesen. Mit dem umfassenden Nutzer „vz-admin“ bekomme ich folgendes Ergebnis: pi@SmartMeter2:~ $ /var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy_alt_user.yam l Dropping FK FK_87C331C781257D5D on properties Dropping FK FK_2BD88468727ACA70 on entities_in_aggregator Dropping FK FK_2BD88468DD62C21B on entities_in_aggregator Dropping FK FK_ADF3F36372F5A1AA on data Dropping FK FK_B77949FF72F5A1AA on aggregate entities: copying 7 rows (overwrite) [] 100% < 1 sec/< 1 sec 7 rows properties: copying 63 rows (overwrite) [] 100% < 1 sec/< 1 sec 63 rows entities_in_aggregator: copying 0 rows (overwrite) 0 [->--] < 1 sec 6.0 MiB data: copying 5864950 rows (partial copy) [>---] 0% < 1 sec/< 1 sec 0 rows In AbstractMySQLDriver.php line 74: An exception occurred while executing 'INSERT INTO `data` (`id`,`channel_id`,`timestamp`,` value`) VALUES (?,?,?,?)' with params ["1672482", "2", "1592585825000", "1010037"]: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1672482' for key 'P RIMARY' In Exception.php line 18: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1672482' for key 'P RIMARY' In PDOStatement.php line 115: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1672482' for key 'P RIMARY' copy [-c|--config CONFIG] [-b|--batch BATCH] [-k|--keep-constraints] [--] [...] Evtl. korrupte DB auf dem Image? Oder eine andere Ursache? Wie wäre der Fehler zu beheben? Grüße Micha
Re: [vz-users] Image mit dd erstellen / Datenbackup
Hallo Michael, da ich das Prozedere der Rücksicherung gerade erst wieder mal durchgearbeitet habe, hier ein Tip: Ich glaube, dass Du zuerst auf dem zweiten Raspi eine leere volkszaehler-DB mit "create" (wie im wiki) erzeugen musst. In dieser spielst Du dann die gesicherte (sqlite.db3) DB zurück; ggfs. musst Du die aggregation danach noch einmal "von Hand" laufen lassen. Grüsse JD. Sent: Friday, November 13, 2020 at 8:47 PM From: "Michael Hartmann" To: "'volkszaehler-users'" Subject: [vz-users] Image mit dd erstellen / Datenbackup Hallo, da kürzlich Bedenken bzgl. Integrität eines zur Laufzeit mit dd erstellten Images aufkamen habe ich folgendes getestet: 1. Erstellen eines Image zur Laufzeit mit dd direkt auf mein NAS 2. Reduzieren und abschießendes Packen des Images in GZIP-Format mit pishrink 3. Resultat 32GB > 5,2GB > 1,6GB 4. Enpacken mit 7ZIP unter Win10 5. Brennen des Image mit Win32DiskImager auf eine 32GB- SD-Karte 6. Inbetriebnahme der SD-Karte auf einem zweiten Raspi 3B+ Resultat: Das Image läuft. D.h. ich kann via Frontend auf alle Daten bis zum Zeitpunkt an dem das Image erstellt wurde zugreifen und beliebig darin navigieren. Da keine HW angeschlossen ist kann ich nicht sagen ob vzlogger ordnungsgemäß laufen würde. Da ich ein tägliches, inkrementelles Backup in eine DB auf meinem NAS mache, habe ich nun versucht die Daten vom Zeitpunkt der Imageerstellung bis zum Zeitpunkt des letzten Backups zu ergänzen und bin dabei wie im Wiki beschrieben vorgegangen. D.h. ich habe in /etc/dbcopy.yaml die die Angaben für Ziel und Quelle vertauscht. Der mySQ-Standarduser „vz“ wurde abgewiesen. Mit dem umfassenden Nutzer „vz-admin“ bekomme ich folgendes Ergebnis: pi@SmartMeter2:~ $ /var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy_alt_user.yam l Dropping FK FK_87C331C781257D5D on properties Dropping FK FK_2BD88468727ACA70 on entities_in_aggregator Dropping FK FK_2BD88468DD62C21B on entities_in_aggregator Dropping FK FK_ADF3F36372F5A1AA on data Dropping FK FK_B77949FF72F5A1AA on aggregate entities: copying 7 rows (overwrite) [] 100% < 1 sec/< 1 sec 7 rows properties: copying 63 rows (overwrite) [] 100% < 1 sec/< 1 sec 63 rows entities_in_aggregator: copying 0 rows (overwrite) 0 [->--] < 1 sec 6.0 MiB data: copying 5864950 rows (partial copy) [>---] 0% < 1 sec/< 1 sec 0 rows In AbstractMySQLDriver.php line 74: An exception occurred while executing 'INSERT INTO `data` (`id`,`channel_id`,`timestamp`,` value`) VALUES (?,?,?,?)' with params ["1672482", "2", "1592585825000", "1010037"]: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1672482' for key 'P RIMARY' In Exception.php line 18: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1672482' for key 'P RIMARY' In PDOStatement.php line 115: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1672482' for key 'P RIMARY' copy [-c|--config CONFIG] [-b|--batch BATCH] [-k|--keep-constraints] [--] [...] Evtl. korrupte DB auf dem Image? Oder eine andere Ursache? Wie wäre der Fehler zu beheben? Grüße Micha
