Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Hallo Micha, finden musst du ihn gar nicht zwingend, nur löschen. Wenn du dir sicher bist, dass du vor Mai nix sinnvolles in der DB hast, kannst du folgendes machen: sudo mysql use volkszaehler; delete from data where timestamp < 158829120; exit Der Timestamp ist der 01. Mai 20 00:00 UTC. Wenn du vorher sehen willst, welche Datensätze betroffen sind, ersetze delete durch select * Viele Grüße Frank Michael Hartmann schrieb am Do., 1. Okt. 2020, 18:54: > Hallo Frank, > > wie finde ich den? Ich bitte die Anfängerfragen zu entschuldigen. > > Grüße > > Micha > > Am 1. Oktober 2020 17:56:34 MESZ schrieb Frank Richter < > frank.richte...@gmail.com>: >> >> Hallo Micha, >> >> wahrscheinlich hast du einen Wert mit Timestamp 0 oder nahe 0 in der DB, >> also ca. 1970. Der muss raus. >> >> Grüße >> Frank >> >> >> Michael Hartmann schrieb am Do., 1. Okt. 2020, >> 14:36: >> >>> Ich habe nur die Situation, dass für alle Zeiträume vor der >>> Inbetriebnahme -2,1W im Frontend angezeigt werden. Egal, wie weit ich >>> zurückgehe. >>> >>> Am 1. Oktober 2020 10:43:21 MESZ schrieb "Thomas Höpfner" < >>> tho...@thhoe.de>: Hallo, man kann die Daten auch über das Frondent löschen. - Zeitbereich eingrenzen auf die zu löschten Daten - in der Auswertung auf deas blaue "I" klicken - in den sich öffnenten Fenster auf "Daten" klicken jetz öffnet sich eine Seite mit den in der Graphik angezeigten Daten .json formatiert - an die URL dieser Seite hängst du folgendes an: &operation=delete Bei den Syntax bin ich mir nicht sicher, habe es schon länger nicht mehr gemacht. Deshalb das Ganze ohne Gewähr. Mit freundlichen Grüßen, Thomas -Ursprüngliche Nachricht- *Von:* Ralf Wismann *Gesendet:* Donnerstag 1 Oktober 2020 10:09 *An:* 'volkszaehler.org - users' < volkszaehler-users@demo.volkszaehler.org> *Betreff:* Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren Hallo >Wie kann ich die Daten des Kanals vom Monat Mai aus der DB >löschen/korrigieren? Lösche bei mir fehlerhafte Daten über ein Skript raus. Dazu nutze ich den „harten“ delete Befehle wie er hier beschrieben ist: https://wiki.volkszaehler.org/howto/datenmengen Ich würde die Befehle aber dringend raten im phpmyAdmin zu simulieren und zu testen bevor nachher was falsches gelöscht wird. VG Ralf >>> -- >>> Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet. >>> >> > -- > Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet. >
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Hallo Frank, wie finde ich den? Ich bitte die Anfängerfragen zu entschuldigen. Grüße Micha Am 1. Oktober 2020 17:56:34 MESZ schrieb Frank Richter : >Hallo Micha, > >wahrscheinlich hast du einen Wert mit Timestamp 0 oder nahe 0 in der >DB, >also ca. 1970. Der muss raus. > >Grüße >Frank > > >Michael Hartmann schrieb am Do., 1. Okt. 2020, >14:36: > >> Ich habe nur die Situation, dass für alle Zeiträume vor der >Inbetriebnahme >> -2,1W im Frontend angezeigt werden. Egal, wie weit ich zurückgehe. >> >> Am 1. Oktober 2020 10:43:21 MESZ schrieb "Thomas Höpfner" >> >: >>> >>> Hallo, >>> >>> >>> man kann die Daten auch über das Frondent löschen. >>> >>> - Zeitbereich eingrenzen auf die zu löschten Daten >>> >>> - in der Auswertung auf deas blaue "I" klicken >>> >>> - in den sich öffnenten Fenster auf "Daten" klicken >>> >>> >>> jetz öffnet sich eine Seite mit den in der Graphik angezeigten Daten >>> .json formatiert >>> >>> - an die URL dieser Seite hängst du folgendes an: &operation=delete >>> >>> >>> Bei den Syntax bin ich mir nicht sicher, habe es schon länger nicht >mehr >>> gemacht. >>> >>> Deshalb das Ganze ohne Gewähr. >>> >>> Mit freundlichen Grüßen, >>> >>> Thomas >>> >>> >>> -Ursprüngliche Nachricht- >>> *Von:* Ralf Wismann >>> *Gesendet:* Donnerstag 1 Oktober 2020 10:09 >>> *An:* 'volkszaehler.org - users' < >>> volkszaehler-users@demo.volkszaehler.org> >>> *Betreff:* Re: [vz-users] Fehlerhafte Daten in der DB >löschen/korrigieren >>> >>> >>> >>> Hallo >>> >>> >Wie kann ich die Daten des Kanals vom Monat Mai aus der DB >>> >löschen/korrigieren? >>> >>> >>> >>> Lösche bei mir fehlerhafte Daten über ein Skript raus. Dazu nutze >ich den >>> „harten“ delete Befehle wie er hier beschrieben ist: >>> >>> >>> >>> https://wiki.volkszaehler.org/howto/datenmengen >>> >>> >>> >>> Ich würde die Befehle aber dringend raten im phpmyAdmin zu >simulieren und >>> zu testen bevor nachher was falsches gelöscht wird. >>> >>> >>> >>> VG >>> >>> Ralf >>> >>> >> -- >> Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet. >> -- Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Hallo Micha, wahrscheinlich hast du einen Wert mit Timestamp 0 oder nahe 0 in der DB, also ca. 1970. Der muss raus. Grüße Frank Michael Hartmann schrieb am Do., 1. Okt. 2020, 14:36: > Ich habe nur die Situation, dass für alle Zeiträume vor der Inbetriebnahme > -2,1W im Frontend angezeigt werden. Egal, wie weit ich zurückgehe. > > Am 1. Oktober 2020 10:43:21 MESZ schrieb "Thomas Höpfner" >: >> >> Hallo, >> >> >> man kann die Daten auch über das Frondent löschen. >> >> - Zeitbereich eingrenzen auf die zu löschten Daten >> >> - in der Auswertung auf deas blaue "I" klicken >> >> - in den sich öffnenten Fenster auf "Daten" klicken >> >> >> jetz öffnet sich eine Seite mit den in der Graphik angezeigten Daten >> .json formatiert >> >> - an die URL dieser Seite hängst du folgendes an: &operation=delete >> >> >> Bei den Syntax bin ich mir nicht sicher, habe es schon länger nicht mehr >> gemacht. >> >> Deshalb das Ganze ohne Gewähr. >> >> Mit freundlichen Grüßen, >> >> Thomas >> >> >> -Ursprüngliche Nachricht- >> *Von:* Ralf Wismann >> *Gesendet:* Donnerstag 1 Oktober 2020 10:09 >> *An:* 'volkszaehler.org - users' < >> volkszaehler-users@demo.volkszaehler.org> >> *Betreff:* Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren >> >> >> >> Hallo >> >> >Wie kann ich die Daten des Kanals vom Monat Mai aus der DB >> >löschen/korrigieren? >> >> >> >> Lösche bei mir fehlerhafte Daten über ein Skript raus. Dazu nutze ich den >> „harten“ delete Befehle wie er hier beschrieben ist: >> >> >> >> https://wiki.volkszaehler.org/howto/datenmengen >> >> >> >> Ich würde die Befehle aber dringend raten im phpmyAdmin zu simulieren und >> zu testen bevor nachher was falsches gelöscht wird. >> >> >> >> VG >> >> Ralf >> >> > -- > Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet. >
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Hallo, am Donnerstag, 1. Oktober 2020 um 16:28 hat Ralf Wismann geschrieben: > Im fertigen > Image ist es aber noch enthalten und läuft "out-of-the-box"? Nein, kein phpmyadmin installiert. mfg Daniel
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Hi, >Die Nachinstallation auf das Image ist auch etwas tricky, offizieller Rat >>lautet: der DB Zugriff von Außen erlauben (siehe Wiki) und als Client >>HeidiSQL nutzen. Aus Interesse um auf dem aktuellen Status zu sein. Im fertigen Image ist es aber noch enthalten und läuft "out-of-the-box"? VG Ralf
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Hallo, am Donnerstag, 1. Oktober 2020 um 12:00 hat Thomas Höpfner geschrieben: > phpmyAdmin ist die bessere Variante, muss aber erst installiert und > ID und timestamp ermittelt werden. SQL Kenntnisse sind auch von Vorteil. Die Nachinstallation auf das Image ist auch etwas tricky, offizieller Rat lautet: der DB Zugriff von Außen erlauben (siehe Wiki) und als Client HeidiSQL nutzen. mfg Daniel
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Ich habe nur die Situation, dass für alle Zeiträume vor der Inbetriebnahme -2,1W im Frontend angezeigt werden. Egal, wie weit ich zurückgehe. Am 1. Oktober 2020 10:43:21 MESZ schrieb "Thomas Höpfner" : >Hallo, > > > >man kann die Daten auch über das Frondent löschen. > >- Zeitbereich eingrenzen auf die zu löschten Daten > >- in der Auswertung auf deas blaue "I" klicken > >- in den sich öffnenten Fenster auf "Daten" klicken > > > >jetz öffnet sich eine Seite mit den in der Graphik angezeigten Daten >.json formatiert > >- an die URL dieser Seite hängst du folgendes an: &operation=delete > > > >Bei den Syntax bin ich mir nicht sicher, habe es schon länger nicht >mehr gemacht. > >Deshalb das Ganze ohne Gewähr. > > >Mit freundlichen Grüßen, > >Thomas > > > >-Ursprüngliche Nachricht- >Von: Ralf Wismann >Gesendet: Donnerstag 1 Oktober 2020 10:09 >An: 'volkszaehler.org - users' > >Betreff: Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren > > >Hallo > >>Wie kann ich die Daten des Kanals vom Monat Mai aus der DB >>löschen/korrigieren? > > >Lösche bei mir fehlerhafte Daten über ein Skript raus. Dazu nutze ich >den „harten“ delete Befehle wie er hier beschrieben ist: > > >https://wiki.volkszaehler.org/howto/datenmengen > > >Ich würde die Befehle aber dringend raten im phpmyAdmin zu simulieren >und zu testen bevor nachher was falsches gelöscht wird. > > >VG > >Ralf -- Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Hallo, das mit den rechten ist ein guter Hinweis. Normalerweise sollte vz-user (mit seinen Rechten läuft das Frondend) kein Recht zum löschen habe, in der Konfiguration kann man das ändern. Für einen öffentlich erreichbaren Server ist das natürlich keine Option. Mann kann das Recht zum löschen eventuell nur zur Reparatur der DB aktivieren, dann muss das Frondend mehrfach gestartet werden. phpmyAdmin ist die bessere Variante, muss aber erst installiert und ID und timestamp ermittelt werden. SQL Kenntnisse sind auch von Vorteil. Thomas > Am 01.10.2020 um 10:53 schrieb Ralf Wismann : > > > > Hallo, > > >man kann die Daten auch über das Frondent löschen. > >- Zeitbereich eingrenzen auf die zu löschten Daten > >- in der Auswertung auf deas blaue "I" klicken > >- in den sich öffnenten Fenster auf "Daten" klicken > > >jetz öffnet sich eine Seite mit den in der Graphik angezeigten >Daten .json > >formatiert > >- an die URL dieser Seite hängst du folgendes >an: &operation=delete > > Gut zu wissen, danke. Spontan kam mir nur die Frage nach den Rechten? Geht > das immer? z.B. über phpmyAdmin hat man sich ja eingeloggt/verifiziert. > > VG > Ralf > > -Ursprüngliche Nachricht- > Von: Ralf Wismann > Gesendet: Donnerstag 1 Oktober 2020 10:09 > An: 'volkszaehler.org - users' > Betreff: Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren > > > Hallo > >Wie kann ich die Daten des Kanals vom Monat Mai aus der DB > >>löschen/korrigieren? > > Lösche bei mir fehlerhafte Daten über ein Skript raus. Dazu nutze ich den > „harten“ delete Befehle wie er hier beschrieben ist: > > https://wiki.volkszaehler.org/howto/datenmengen > > Ich würde die Befehle aber dringend raten im phpmyAdmin zu simulieren und zu > testen bevor nachher was falsches gelöscht wird. > > VG > Ralf smime.p7s Description: S/MIME cryptographic signature
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Hallo Thomas, perfekt, tausend Dank ! Habe Deinen Tip gerade mit einem alten Relikt aus einem Crash-Übergang ausprobiert und er hat exakt so funktioniert. Danach habe ich einige Jahre gesucht, nochmal Danke! Grüße JD. Sent: Thursday, October 01, 2020 at 10:43 AM From: "Thomas Höpfner" To: "volkszaehler.org - users" Subject: Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren Hallo, man kann die Daten auch über das Frondent löschen. - Zeitbereich eingrenzen auf die zu löschten Daten - in der Auswertung auf deas blaue "I" klicken - in den sich öffnenten Fenster auf "Daten" klicken jetz öffnet sich eine Seite mit den in der Graphik angezeigten Daten .json formatiert - an die URL dieser Seite hängst du folgendes an: &operation=delete Bei den Syntax bin ich mir nicht sicher, habe es schon länger nicht mehr gemacht. Deshalb das Ganze ohne Gewähr. Mit freundlichen Grüßen, Thomas -Ursprüngliche Nachricht- Von: Ralf Wismann Gesendet: Donnerstag 1 Oktober 2020 10:09 An: 'volkszaehler.org - users' Betreff: Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren Hallo >Wie kann ich die Daten des Kanals vom Monat Mai aus der DB >löschen/korrigieren? Lösche bei mir fehlerhafte Daten über ein Skript raus. Dazu nutze ich den „harten“ delete Befehle wie er hier beschrieben ist: https://wiki.volkszaehler.org/howto/datenmengen Ich würde die Befehle aber dringend raten im phpmyAdmin zu simulieren und zu testen bevor nachher was falsches gelöscht wird. VG Ralf
Re: [vz-users] SD-Karten-Crash
Hallo Rupert,
das Crash-Problem hatte ich auch bereits einige Male und wurde letztlich auch (nur) durch Leidensdruck an eine Backup-Strategie, in meinem Fall per cron/dbcopy auf ein NAS, herangeführt.
Gute Erfahrungen habe ich mit Transcend-Karten in der Größe von mindestens 16 GB gemacht. Wenn ich auf einem RPi3 die aggtime optimiere (-1), halten die Karten mindestens ein Jahr.
Eventuell wäre ein RPi4 mit kleiner externer SSD, von welcher dr Raspi bootet, eine Lösung ?
Grüße
JD.
Sent: Sunday, September 27, 2020 at 5:38 PM
From: "Rupert Schöttler"
To: volkszaehler-users@demo.volkszaehler.org
Subject: [vz-users] SD-Karten-Crash
Hallo NG,
nachdem die letzte SD-Karte nicht mal 1 Monat durchgehalten hat, reicht's mir schön langsam -- trotz guter Backup-Strategie und guter Doku des Vorgehens beim Setup ...
Auf dem Pi 1 Model B läuft nur vzlogger ohne Middleware oder Datenbank, dazu der mqtt-gpio-monitor (für digitale Ein- und Ausgänge) sowie rpimonitor (ein nettes Tool zum Beobachten des Systemstatus). Auf die SD-Karte wird eigentlich kaum was geschrieben:
Log2Ram verlagert /var/log ins RAM und schreibt die Daten nur 1x tgl. auf die Karte.
die Datenbank von rpimonitor habe ich auch nach /var/log umgeleitet
Dann kenne ich als letztes nur die Fake-Hardware-Clock, die die Datei /etc/fake-hwclock.data per cron aktualisiert. Das habe ich von stündlich auf täglich hoch gesetzt.
Dann sind es nur noch die OS-Updates, die ich so 1x pro Woche laufen lasse, wenn was ansteht. Also eigentlich nicht viel Schreib-Zugriff auf die Karte. Trotzdem hatte die Toshiba Exceria-Karte (micro-SDHC UHS-I Class 10, 32 GB) nach nicht mal 4 Wochen einen Defekt, so dass ein Update nicht mehr durchlief und der Pi beim reboot nicht mehr startete. Ein anderer Rechner konnte die Karte auch nicht mounten... Vorher ist mir eine MediaRange-Karte (SDHC Class 10, 32GB) gestorben, die war >1 Jahr aktiv.
Eure Meinung: Sind diese Karten, insbes. die von Toshiba, schlechte oder zu "billige" Qualität für so eine Anwendung?
Ich installiere immer erst ein aktuelles OS, also z.B. Buster Lite, und dann "meine" Software hinterher. Es gibt ja auch das Image (https://demo.volkszaehler.org/downloads/volkszaehler_latest.zip). Ist dort was speziell optimiert, um die SD-Karte zu schonen?
Einen zweiten Pi habe ich im Einsatz mit der VZ-Datenbank und -Middleware sowie vielen andern Services. Der bootet nur noch von der SD-Karte, das root-FS liegt seit > 2,5 Jahren fehlerfrei auf einer SSD. Diese Lösung habe ich nun auch für den VZlogger-Pi vor. Das Auslagern des root-FS auf einen USB-Stick ist ja schon lange im Wiki https://wiki.volkszaehler.org/howto/performance-optimierung_des_raspberry_pi beschrieben, allerdings auch mit dem Hinweis auf die max. Anzahl Schreibzyklen bei "normalen" USB-Speichersticks. Nun habe ich bei meiner Recherche ein "USB Flash Drive" https://www.samsung.com/de/memory-storage/usb-3-1-flash-drive-fit-plus-2020/MUF-256ABAPC/ gefunden. Hat damit jemand Erfahrungen oder kann es beurteilen: Ist das sozusagen eine SSD im USB-Stecker-Format ("FIT Plus")?
Danke fürs Lesen bis hierher und jede Antwort :-)
Gruß von Lech und Wertach
Rupert
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Hallo, >man kann die Daten auch über das Frondent löschen. >- Zeitbereich eingrenzen auf die zu löschten Daten >- in der Auswertung auf deas blaue "I" klicken >- in den sich öffnenten Fenster auf "Daten" klicken >jetz öffnet sich eine Seite mit den in der Graphik angezeigten >Daten .json >formatiert >- an die URL dieser Seite hängst du folgendes >an: &operation=delete Gut zu wissen, danke. Spontan kam mir nur die Frage nach den Rechten? Geht das immer? z.B. über phpmyAdmin hat man sich ja eingeloggt/verifiziert. VG Ralf -Ursprüngliche Nachricht- Von: Ralf Wismann mailto:ralf.wism...@gmx.de> > Gesendet: Donnerstag 1 Oktober 2020 10:09 An: 'volkszaehler.org - users' mailto:volkszaehler-users@demo.volkszaehler.org> > Betreff: Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren Hallo >Wie kann ich die Daten des Kanals vom Monat Mai aus der DB >>löschen/korrigieren? Lösche bei mir fehlerhafte Daten über ein Skript raus. Dazu nutze ich den „harten“ delete Befehle wie er hier beschrieben ist: https://wiki.volkszaehler.org/howto/datenmengen Ich würde die Befehle aber dringend raten im phpmyAdmin zu simulieren und zu testen bevor nachher was falsches gelöscht wird. VG Ralf
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Hallo, man kann die Daten auch über das Frondent löschen. - Zeitbereich eingrenzen auf die zu löschten Daten - in der Auswertung auf deas blaue "I" klicken - in den sich öffnenten Fenster auf "Daten" klicken jetz öffnet sich eine Seite mit den in der Graphik angezeigten Daten .json formatiert - an die URL dieser Seite hängst du folgendes an: &operation=delete Bei den Syntax bin ich mir nicht sicher, habe es schon länger nicht mehr gemacht. Deshalb das Ganze ohne Gewähr. Mit freundlichen Grüßen, Thomas -Ursprüngliche Nachricht- Von: Ralf Wismann Gesendet: Donnerstag 1 Oktober 2020 10:09 An: 'volkszaehler.org - users' Betreff: Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren Hallo >Wie kann ich die Daten des Kanals vom Monat Mai aus der DB >>löschen/korrigieren? Lösche bei mir fehlerhafte Daten über ein Skript raus. Dazu nutze ich den „harten“ delete Befehle wie er hier beschrieben ist: https://wiki.volkszaehler.org/howto/datenmengen Ich würde die Befehle aber dringend raten im phpmyAdmin zu simulieren und zu testen bevor nachher was falsches gelöscht wird. VG Ralf
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Mich wundert nur das für den Zeitraum vor der Inbetriebnahme überhaupt 2,01W für den Kanal Zählerstand in der DB sind. Für die Momentanleistung die zum gleichen Zeitpunkt erstmalig geloggt wurde sind keine Daten in der DB. Von: volkszaehler-users [mailto:volkszaehler-users-boun...@demo.volkszaehler.org] Im Auftrag von Ralf Wismann Gesendet: Donnerstag, 1. Oktober 2020 10:05 An: 'volkszaehler.org - users' Betreff: Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren Hallo >Wie kann ich die Daten des Kanals vom Monat Mai aus der DB >löschen/korrigieren? Lösche bei mir fehlerhafte Daten über ein Skript raus. Dazu nutze ich den harten delete Befehle wie er hier beschrieben ist: https://wiki.volkszaehler.org/howto/datenmengen Ich würde die Befehle aber dringend raten im phpmyAdmin zu simulieren und zu testen bevor nachher was falsches gelöscht wird. VG Ralf
Re: [vz-users] Fehlerhafte Daten in der DB löschen/korrigieren
Hallo >Wie kann ich die Daten des Kanals vom Monat Mai aus der DB >löschen/korrigieren? Lösche bei mir fehlerhafte Daten über ein Skript raus. Dazu nutze ich den harten delete Befehle wie er hier beschrieben ist: https://wiki.volkszaehler.org/howto/datenmengen Ich würde die Befehle aber dringend raten im phpmyAdmin zu simulieren und zu testen bevor nachher was falsches gelöscht wird. VG Ralf
