Hallo Andreas,
perfekt, läuft alles wieder rund.
An wen soll ich mich wegen des wikis wenden ?
Beste Grüße
JD.
Sent: Thursday, June 11, 2020 at 12:03 PM
From: "Andreas Goetz"
To: "volkszaehler.org - users"
Subject: Re: [vz-users] Bevorstehender Kartencrash
Hi JD,
die Ursache hast Du gerade selbst identifiziert- vzlogger. Es wird nur funktionieren wenn Du es machst wie vorgeschlagen:
- cron aus
- vzlogger aus
- aggregate laufen lassen
anderenfalls wird es vmtl ewig zäh bleiben weil die aggregation niemals zu Ende läuft (lock Problem) und die Prozesse aus dem Cron auch noch anfangen sich aufzustapeln bis das System zum Stillstand kommt.
Vielleicht können wir das später im Code besser lösen so dass sich aggregate das “LOCK TABLE” selber holt, das Ergebnis wäre allerdings das Gleiche- ab dem Zeitpunkt bleibt die Datenbank für andere Prozesse gesperrt.
Viele Grüße,
Andreas
On 11. Jun 2020, at 11:52, John Doe wrote:
Hallo Andreas,
Deinen Tip habe ich versucht, anhand des wikis (https://wiki.volkszaehler.org/howto/datenmengen) umzusetzen mit
php /var/www/volkszaehler.org/bin/aggregate run -m full -l day -l hour -l minute
, das stiess relativ bald wieder an das lock-Problem. Daraufhin habe ich den cron zwischenzeitlich stillgelegt. Allerdings läuft/lief der vzlogger ja auch noch, deshalb habe ich den wiki-Tip mit diesen drei Zeilen (auch aus dem wiki) im crontab umzusetzen:
*/10 * * * * php /var/www/volkszaehler.org/bin/aggregate run -m delta -l minute >/dev/null
1 * * * * php /var/www/volkszaehler.org/bin/aggregate run -m delta -l hour >/dev/null
0 1 * * * php /var/www/volkszaehler.org/bin/aggregate run -m delta -l day >/dev/null
Danach habe ich den cron natürlich wieder eingeschaltet. Das Ergebnis ist in allen Fällen negativ, d.h. es bleibt zäh.
Gibt es noch etwas anderes, was ich an der Web-Frontendperformance optimieren könnte ? Wie ist das denn im originären Image eingestellt ?
Beste Grüße
JD.
Sent: Wednesday, June 10, 2020 at 6:52 PM
From: "Andreas Goetz"
To: "volkszaehler.org - users"
Subject: Re: [vz-users] Bevorstehender Kartencrash
Ja:
Aggregationstabelle wieder füllen (bin/aggregate) und dann den cronjob wieder einschalten der regelmässig die Deltas aktualisiert. Du hattest cron komplett deaktiviert glaube ich?
Viele Grüße, Andreas
Am 10.06.2020 um 18:49 schrieb John Doe :
Hallo Andreas,
noch eine kurze Frage:
Seit dem Restore reagiert das Web-Frontend unglaublich "zäh", das Wechseln zwischen Woche, Monat, Jahr etc. kommt nahezu immer mit "Gateway timeout" raus.
Gibt 's da noch etwas zu Optimieren ?
Beste Grüße
JD.
Sent: Wednesday, June 10, 2020 at 6:32 PM
From: "Andreas Goetz"
To: "volkszaehler.org - users"
Subject: Re: [vz-users] Bevorstehender Kartencrash
Hi JD,
On 10. Jun 2020, at 18:29, John Doe wrote:
Hallo Andreas,
nach dem Neuaufsetzten hatte ich in der vzlogger.conf die UIDs eingetragen, die mir nach dem Neu-Anlegen der Kanäle im Web-Frontend angezeigt wurden.
Nach dem heutigen restore haten diese andere UIDs (verifiziert durch das "i”).
Dann ist es klar: Du hast *neue* Kanäle angelegt und in die vzlogger.conf eingetragen. Anschließend hattest Du alles gelöscht und die *alten* Kanäle restored, die vzlogger war aber noch die alte. Zwei Schritte zuviel ;)
Nachdem ich diese in der vzlogger.conf eingetragen hatte, lief alles auf Anhieb.
Aber egal, Hauptsache es läuft wieder. Erstaunlicherweise hat sich gezeigt, dass die letzten Eiträge aus der DB vom 06.06. spät Abends sind, der Raspi aber zumindest bis zum Morgen des 07.06. in Kontakt mit der Firewall stand.
Das wiki für meinen Teil der letzten Tage übernehme ich gerne. Was genau muss ich (neben der Prosa) dafür tun ?
Da müssen die Experten helfen- eigentlich nur den richtigen Platz im Wiki suchen und dann strukturiert dokumentieren:
- welches Problem soll gelöst werden?
- aus welchen Schritten besteht die Lösung?
- wie sehen die Schritte im Einzelnen aus?
- welche Werkzeuge kommen jeweils zum Einsatz wenn man auf Probleme stößt?
Beste Grüße
JD.
Schönen Abend und Viele Grüße, Andreas
Sent: Wednesday, June 10, 2020 at 5:07 PM
From: "Andreas Goetz"
To: "volkszaehler.org - users"
Subject: Re: [vz-users] Bevorstehender Kartencrash
Das ist auch schwer zu glauben. Die UUIDs stehen in der Datenbank, die können nicht spontan nicht mehr passen. Wenn sie das tun dann hast Du vmtl. eine falsche vzlogger.conf zurück gespielt?
Nachdem wir das jetzt mit allen Stolperfallen durchgespielt haben- hättest Du evtl. Lust den Prozess des Restore vielleicht nochmal für‘s Wiki zu dokumentieren? Umzug auf ein NAS wäre dann in analo