Re: [vz-users] Dashboard und Database Backends

2015-03-27 Diskussionsfäden Andreas Goetz
Update: mittlerweile habe ich ein unter Windows lauffähiges Binary. Leider
passen die PHP Libraries noch nicht für v0.9, aber es geht voran...

Viele Grüße,
Andreas


2015-02-22 11:36 GMT+01:00 Monk soulsolist...@gmail.com:

 [] Hallo Andreas,

 Soweit ich weiß läuft keine der 3 Datenbanken- auch nicht für Geld und
 gute  Worte- unter Windows. Hast Du evtl. andere Informationen?

 [] Momentan nicht aber in der InfluxDB Community ist starkes Interesse an
 Windows und die Entwickler haben wohl schon signalisiert, dass sie Windows
 Support im Zuge von 0.9 oder direkt danach liefern wollen.
 Was alle 3 Datenbaken nicht leiden können, ist eine unterschiedliche
 zeitliche Auflösung der Datenpunkte. Für reine Anzeigezwecke ist es OK,
 wenn man mit den Werten rechnen will und die einzelnen Serien haben
 unterschiedliche Intervalle (wie z.B. meine S0 Zähler je nach Last
 verschiedene Tuples erzeugen) find das alle drei doof. Graphite ist hier
 momentan die Einzige bei der man mit ,,scale to second das in den Griff
 bekommt.

 Bin mir nicht ganz sicher was Du damit meinst. Gibt es daraus Auswirkungen
 die die Nutzung für VZ einschränken würden?

 [] Nein, nicht für die Nutzung in VZ, nur für meine Spielereien. Wenn man
 für die Graphen-Erstellung z.B. eine Summenabfrage macht und die Daten z.B.
 so aussehen
 Timestamp   Serie1  Serie2  Ergebnis der Summenabfrage
 0   10  10  20
 10  3   3
 11  3   3
 20  10  10   20

 Fazit:
 Momentan ist Graphite das mächtigste Werkzeug wenn man Rohdaten
 manipulieren will, als Ausblick ist InfluxDB wohl der Gewinner.
 Ich denke ohne jetzt weiter auf das Dashboard Thema einzugehen, wäre
 InfluxDB generell eine super Alternative zur heutigen VZ MYSQL DB
 (zumindest ab v0.9)

 Das würde mich auch interessieren. Hast Du evtl. ein fertiges Skript mit
 dem man die Datenserien einer VZ Installation nach Influx übertragen kann?
 Ein Prototyp für ein VZ auf Influx ließe sich dann relativ schnell basteln
 ;)

 [] Angehängt an die Mail findest Du zwei Scripte vzInflow.pl und
 vzInflow2.pl. Das erste funktioniert mit dem momentanen InfluxDB 0.8.8
 Release und das zweite *sollte* mit der neuen 0.9 funktionieren.
 0.9 ändert die die gesamte API ist aber Stand heute noch nicht lauffähig.
 Ein erster Alpha RC soll wohl in den nächsten Tagen kommen. Ich denke für
 einen Einsatz in VZ sollten wir auf alle Fälle auf die 0.9 warten.
 Generell wird diese aber sehr interessante Funktionen mitbringen, welche
 für VZ super angewendet werden können. Für mich die zwei spannendste
 Ansätze sind:

 Berechnungen direkt in der Datenbank:
 Zum Beispiel können mit der „derivative“ Funktion zeitliche Änderungen der
 Werte abgeleitet werden. Damit liese sich mit einem „select“ Ausdruck z.B.
 aus S0 Impulsen die Leistung berechnen oder aus Leistungswerten die Arbeit
 (kW - kWh)

 Continuous Queries:
 Siehe:
 https://github.com/influxdb/influxdb/blob/master/continuous_queries.md
 Damit liese sich direkt in der Datenbank die Aggregation steuern. So
 könnte man z.B. eine hochauflösende Serie (z.B. Sekundenintervall) haben,
 die aber nur 7 Tage Daten enthält. Diese Serie wird über Continuous Queries
 beständig auf eine neue Serie mit Minutenauflösung und 30 Tage Vorhaltezeit
 aggregiert, usw.
 Das würde beständig in der DB selber ablaufen und liese sich je nach
 Benutzervorgaben konfigurieren. So könnte man z.B. auch jede Stunde aus den
 W die kWh berechnen und diese in eine eigene Datenserie wegschreiben.

 Viele Grüße,

 Thilo







Re: [vz-users] Dashboard und Database Backends

2015-02-18 Diskussionsfäden Andreas Goetz
Hallo Thilo,

erstmal vielen Dank vorab dass Du Dich so das Thema rein kniest!

2015-02-12 21:41 GMT+01:00 Monk soulsolist...@gmail.com:

 Hallo zusammen,

 ich hab mich mal dran gemacht ein bisschen mit Grafana als Dashboard zur
 Visualisierung und verschiedenen Datenbanken Backends zu spielen.
 Dazu habe ich mir ein Perl Script gebastelt, das entweder die VZ
 Middleware abgreift oder Werte direkt aus der VZ MYSQL DB liest (hier an
 die Mail angehängt).

 Soweit meine Eindrücke zu den Datenbanken:

 Graphite:
 - Performance ist ganz gut aber deutlich langsamer als InfluxDB oder
 openTSDB
 - Setup ist ein bisschen aufwendig
 - Möglichkeiten die Werte zu manipulieren und umzurechnen sind genial
 - Speicherverbrauch ist ebenfalls tragbar: 20 sekündige Auflösung über 1
 Jahr verbraucht 49MB pro Kanal

 InfluxDB:
 - Setup sehr einfach
 - Sehr schnell
 - Möglichkeiten die Werte zu manipulieren und umzurechnen momentan wenig
 und in der momentanen v0.8.8 buggy
 - Keine Kompression momentan
 - CPU und Mem schonend
 - Ausblick auf die kommende 0.9 sehr gut (Kompression, Bugfixes, mehr
 Operationen)

 openTSDB:
 - Setup ist schwierig
 - Schnell
 - Möglichkeiten die Werte zu manipulieren und umzurechnen momentan wenig
 - Recht ressourcenhungrig
 - Charmantes System die Werte mit Tags anzureichern


Soweit ich weiß läuft keine der 3 Datenbanken- auch nicht für Geld und
gute  Worte- unter Windows. Hast Du evtl. andere Informationen?

Was alle 3 Datenbaken nicht leiden können, ist eine unterschiedliche
 zeitliche Auflösung der Datenpunkte. Für reine Anzeigezwecke ist es OK,
 wenn man mit den Werten rechnen will und die einzelnen Serien haben
 unterschiedliche Intervalle (wie z.B. meine S0 Zähler je nach Last
 verschiedene Tuples erzeugen) find das alle drei doof. Graphite ist hier
 momentan die Einzige bei der man mit ,,scale to second das in den Griff
 bekommt.


Bin mir nicht ganz sicher was Du damit meinst. Gibt es daraus Auswirkungen
die die Nutzung für VZ einschränken würden?

Dashboard:
 Grafana als Dashboard ist super cool und in der kommenden Version 2.0 noch
 besser. Erste Eindrücke könnt ihr euch unter http://play.grafana.org/v2/
 anschauen. Ein paar Screenshots meiner Experimente habe ich auch angehängt.

 Fazit:
 Momentan ist Graphite das mächtigste Werkzeug wenn man Rohdaten
 manipulieren will, als Ausblick ist InfluxDB wohl der Gewinner.
 Ich denke ohne jetzt weiter auf das Dashboard Thema einzugehen, wäre
 InfluxDB generell eine super Alternative zur heutigen VZ MYSQL DB
 (zumindest ab v0.9)


Das würde mich auch interessieren. Hast Du evtl. ein fertiges Skript mit
dem man die Datenserien einer VZ Installation nach Influx übertragen kann?
Ein Prototyp für ein VZ auf Influx ließe sich dann relativ schnell basteln
;)



 Viele Grüße,
 Thilo


Viele Grüße,
Andreas