Re: [vz-users] Extern DB Konfiguration

[Abhijit Dhopate]

>>> Übertragung zur Middleware findet nur statt, wenn vzlogger als daemon läuft.

Und ich glaube es läuft… 

 

pi@raspberrypi:/var/www/volkszaehler.org/etc $ ps -ef | grep vzlogger

root 25178 1  0 21:40 ?00:00:06 /usr/local/bin/vzlogger -c 
/etc/vzlogger.conf

pi   25246 23728  0 21:54 pts/000:00:00 grep --color=auto vzlogger

 

habe ich auch Datenbank von RPi zum Synology exportiert... 

sudo mysqldump -u root -p volkszaehler > database.sql

 

Also, die Tabellen sind da (sehe ich von myphpadmin), aber sie werden nicht 
aktualisiert von RPi...

Aber die Daten im Frontend sind immer vorhanden und auch aktualisiert.

 

  _  

Mit freundlichen Grüßen / With Regards,

Abhijit Dhopate

 

From: volkszaehler-users  On 
Behalf Of Andreas Goetz
Sent: 06/Jan/2020 9:54 PM
To: volkszaehler.org - users 
Subject: Re: [vz-users] Extern DB Konfiguration

 

Puh, das überrascht mich auch :O





Am 06.01.2020 um 21:37 schrieb Frank Richter mailto:frank.richte...@gmail.com> >:



Hi,

 

Übertragung zur Middleware findet nur statt, wenn vzlogger als daemon läuft.

 

Grüße

Frank

 

Abhijit Dhopate mailto:abhijit.dhop...@gmail.com> > 
schrieb am Mo., 6. Jan. 2020, 20:56:

Hallo nochmal,

Ich habe nun die Datenbank in /var/www/volkszaehler.org/etc/config.yaml 
  konfiguriert.

Hier ist meine Konfiguration.

 

# Doctrine database configuration

# http://www.doctrine-project.org/projects/doctrine-dbal/en/2.6

db:

  driver: pdo_mysql

  host: xx.yy.zz.aa

  port: abcd

  user: vzLogger

  password: password

  charset: utf8

  dbname: volkszaehler

  path: volkszaehler # only used for sqlite

 

Aber ich sehe keine Daten in der Datenbank.

Das Logbuch sieht so aus

 

[Jan 06 20:28:49][main] vzlogger v0.7.0 based on heads/master-0-g12e74ddd43 
from Sun, 2 Jun 2019 20:48:14 +0200 started.

[Jan 06 20:28:49]   New meter initialized (protocol=sml)

[Jan 06 20:28:49][chn0] New channel initialized (uuid=...221869 
api=volkszaehler id=1-0:1.8.0)

[Jan 06 20:28:49][chn1] New channel initialized (uuid=...ef0337 
api=volkszaehler id=1-0:16.7.0)

[Jan 06 20:28:49]   New meter initialized (protocol=sml)

[Jan 06 20:28:49][chn2] New channel initialized (uuid=...2dc950 
api=volkszaehler id=1-0:1.8.0)

[Jan 06 20:28:49][chn3] New channel initialized (uuid=...fba208 
api=volkszaehler id=1-0:16.7.0)

[Jan 06 20:28:49][main] log level is 5

[Jan 06 20:28:49]   Process not  daemonized...

[Jan 06 20:28:49][mtr0] Meter connection established

[Jan 06 20:28:49][mtr1] Meter connection established

[Jan 06 20:28:49][http] Starting local interface HTTPd on port 8080

[Jan 06 20:28:50][chn2] Adding reading to queue (value=1489291.10 
ts=1578338930652)

[Jan 06 20:28:50][chn3] Adding reading to queue (value=272.00 ts=1578338930652)

[Jan 06 20:28:50][chn0] Adding reading to queue (value=4625893.00 
ts=1578338930744)

[Jan 06 20:28:50][chn1] Adding reading to queue (value=2595.00 ts=1578338930744)

[Jan 06 20:28:51][chn0] Adding reading to queue (value=4625893.80 
ts=1578338931864)

[Jan 06 20:28:51][chn1] Adding reading to queue (value=2581.00 ts=1578338931864)

[Jan 06 20:28:51][chn2] Adding reading to queue (value=1489291.20 
ts=1578338931964)

 

Bermerkt jemand irgendwelche fehler hier …

 


  _  


Mit freundlichen Grüßen / With Regards,

Abhijit Dhopate

 

From: Abhijit Dhopate mailto:abhijit.dhop...@gmail.com> > 
Sent: 06/Jan/2020 11:30 AM
To: volkszaehler-users@demo.volkszaehler.org 
 
Subject: Re: Extern DB Konfiguration

 

Danke Daniel... 

Ich schaue abends nach.

 

 

On Mon, Jan 6, 2020 at 11:21 AM 
mailto:volkszaehler-users-requ...@demo.volkszaehler.org> > wrote:

Date: Mon, 6 Jan 2020 08:01:36 +0100
From: Daniel Lauckner mailto:v...@jahp.de> >
To: "volkszaehler.org   - users"
mailto:volkszaehler-users@demo.volkszaehler.org> >
Subject: Re: [vz-users] Extern DB Konfiguration
Message-ID: <1604990160.20200106080...@jahp.de 
 >
Content-Type: text/plain; charset=iso-8859-1

Hallo,


am Sonntag, 5. Januar 2020 um 20:42 hat Abhijit Dhopate geschrieben:
> Laut Foren
> sollte ich die DB-Konfiguration in
> /var/www/volkszaehler.org/etc/volkszaehler.conf.php 
>   ändern.

Die Datei heißt nun ./etc/config.yaml
Syntax ist anders, aber funktional identisch.


mfg Daniel

Re: [vz-users] Extern DB Konfiguration

[Andreas Goetz]

Puh, das überrascht mich auch :O

> Am 06.01.2020 um 21:37 schrieb Frank Richter :
> 
> 
> Hi,
> 
> Übertragung zur Middleware findet nur statt, wenn vzlogger als daemon läuft.
> 
> Grüße
> Frank
> 
> Abhijit Dhopate  schrieb am Mo., 6. Jan. 2020, 
> 20:56:
>> Hallo nochmal,
>> 
>> Ich habe nun die Datenbank in /var/www/volkszaehler.org/etc/config.yaml 
>> konfiguriert.
>> 
>> Hier ist meine Konfiguration.
>> 
>>  
>> 
>> # Doctrine database configuration
>> 
>> # http://www.doctrine-project.org/projects/doctrine-dbal/en/2.6
>> 
>> db:
>> 
>>   driver: pdo_mysql
>> 
>>   host: xx.yy.zz.aa
>> 
>>   port: abcd
>> 
>>   user: vzLogger
>> 
>>   password: password
>> 
>>   charset: utf8
>> 
>>   dbname: volkszaehler
>> 
>>   path: volkszaehler # only used for sqlite
>> 
>>  
>> 
>> Aber ich sehe keine Daten in der Datenbank.
>> 
>> Das Logbuch sieht so aus
>> 
>>  
>> 
>> [Jan 06 20:28:49][main] vzlogger v0.7.0 based on heads/master-0-g12e74ddd43 
>> from Sun, 2 Jun 2019 20:48:14 +0200 started.
>> 
>> [Jan 06 20:28:49]   New meter initialized (protocol=sml)
>> 
>> [Jan 06 20:28:49][chn0] New channel initialized (uuid=...221869 
>> api=volkszaehler id=1-0:1.8.0)
>> 
>> [Jan 06 20:28:49][chn1] New channel initialized (uuid=...ef0337 
>> api=volkszaehler id=1-0:16.7.0)
>> 
>> [Jan 06 20:28:49]   New meter initialized (protocol=sml)
>> 
>> [Jan 06 20:28:49][chn2] New channel initialized (uuid=...2dc950 
>> api=volkszaehler id=1-0:1.8.0)
>> 
>> [Jan 06 20:28:49][chn3] New channel initialized (uuid=...fba208 
>> api=volkszaehler id=1-0:16.7.0)
>> 
>> [Jan 06 20:28:49][main] log level is 5
>> 
>> [Jan 06 20:28:49]   Process not  daemonized...
>> 
>> [Jan 06 20:28:49][mtr0] Meter connection established
>> 
>> [Jan 06 20:28:49][mtr1] Meter connection established
>> 
>> [Jan 06 20:28:49][http] Starting local interface HTTPd on port 8080
>> 
>> [Jan 06 20:28:50][chn2] Adding reading to queue (value=1489291.10 
>> ts=1578338930652)
>> 
>> [Jan 06 20:28:50][chn3] Adding reading to queue (value=272.00 
>> ts=1578338930652)
>> 
>> [Jan 06 20:28:50][chn0] Adding reading to queue (value=4625893.00 
>> ts=1578338930744)
>> 
>> [Jan 06 20:28:50][chn1] Adding reading to queue (value=2595.00 
>> ts=1578338930744)
>> 
>> [Jan 06 20:28:51][chn0] Adding reading to queue (value=4625893.80 
>> ts=1578338931864)
>> 
>> [Jan 06 20:28:51][chn1] Adding reading to queue (value=2581.00 
>> ts=1578338931864)
>> 
>> [Jan 06 20:28:51][chn2] Adding reading to queue (value=1489291.20 
>> ts=1578338931964)
>> 
>>  
>> 
>> Bermerkt jemand irgendwelche fehler hier …
>> 
>>  
>> 
>> Mit freundlichen Grüßen / With Regards,
>> 
>> Abhijit Dhopate
>> 
>>  
>> 
>> From: Abhijit Dhopate  
>> Sent: 06/Jan/2020 11:30 AM
>> To: volkszaehler-users@demo.volkszaehler.org
>> Subject: Re: Extern DB Konfiguration
>> 
>>  
>> 
>> Danke Daniel... 
>> 
>> Ich schaue abends nach.
>> 
>>  
>> 
>>  
>> 
>> On Mon, Jan 6, 2020 at 11:21 AM 
>>  wrote:
>> 
>> Date: Mon, 6 Jan 2020 08:01:36 +0100
>> From: Daniel Lauckner 
>> To: "volkszaehler.org - users"
>> 
>> Subject: Re: [vz-users] Extern DB Konfiguration
>> Message-ID: <1604990160.20200106080...@jahp.de>
>> Content-Type: text/plain; charset=iso-8859-1
>> 
>> Hallo,
>> 
>> 
>> am Sonntag, 5. Januar 2020 um 20:42 hat Abhijit Dhopate geschrieben:
>> > Laut Foren
>> > sollte ich die DB-Konfiguration in
>> > /var/www/volkszaehler.org/etc/volkszaehler.conf.php ändern.
>> 
>> Die Datei heißt nun ./etc/config.yaml
>> Syntax ist anders, aber funktional identisch.
>> 
>> 
>> mfg Daniel
>> 
>> 

Re: [vz-users] Extern DB Konfiguration

[Frank Richter]

Hi,

Übertragung zur Middleware findet nur statt, wenn vzlogger als daemon läuft.

Grüße
Frank

Abhijit Dhopate  schrieb am Mo., 6. Jan. 2020,
20:56:

> Hallo nochmal,
>
> Ich habe nun die Datenbank in /var/www/volkszaehler.org/etc/config.yaml
> konfiguriert.
>
> Hier ist meine Konfiguration.
>
>
>
> # Doctrine database configuration
>
> # http://www.doctrine-project.org/projects/doctrine-dbal/en/2.6
>
> db:
>
>   driver: pdo_mysql
>
>   host: xx.yy.zz.aa
>
>   port: abcd
>
>   user: vzLogger
>
>   password: password
>
>   charset: utf8
>
>   dbname: volkszaehler
>
>   path: volkszaehler # only used for sqlite
>
>
>
> Aber ich sehe keine Daten in der Datenbank.
>
> Das Logbuch sieht so aus
>
>
>
> [Jan 06 20:28:49][main] vzlogger v0.7.0 based on
> heads/master-0-g12e74ddd43 from Sun, 2 Jun 2019 20:48:14 +0200 started.
>
> [Jan 06 20:28:49]   New meter initialized (protocol=sml)
>
> [Jan 06 20:28:49][chn0] New channel initialized (uuid=...221869
> api=volkszaehler id=1-0:1.8.0)
>
> [Jan 06 20:28:49][chn1] New channel initialized (uuid=...ef0337
> api=volkszaehler id=1-0:16.7.0)
>
> [Jan 06 20:28:49]   New meter initialized (protocol=sml)
>
> [Jan 06 20:28:49][chn2] New channel initialized (uuid=...2dc950
> api=volkszaehler id=1-0:1.8.0)
>
> [Jan 06 20:28:49][chn3] New channel initialized (uuid=...fba208
> api=volkszaehler id=1-0:16.7.0)
>
> [Jan 06 20:28:49][main] log level is 5
>
> [Jan 06 20:28:49]   Process not  daemonized...
>
> [Jan 06 20:28:49][mtr0] Meter connection established
>
> [Jan 06 20:28:49][mtr1] Meter connection established
>
> [Jan 06 20:28:49][http] Starting local interface HTTPd on port 8080
>
> [Jan 06 20:28:50][chn2] Adding reading to queue (value=1489291.10
> ts=1578338930652)
>
> [Jan 06 20:28:50][chn3] Adding reading to queue (value=272.00
> ts=1578338930652)
>
> [Jan 06 20:28:50][chn0] Adding reading to queue (value=4625893.00
> ts=1578338930744)
>
> [Jan 06 20:28:50][chn1] Adding reading to queue (value=2595.00
> ts=1578338930744)
>
> [Jan 06 20:28:51][chn0] Adding reading to queue (value=4625893.80
> ts=1578338931864)
>
> [Jan 06 20:28:51][chn1] Adding reading to queue (value=2581.00
> ts=1578338931864)
>
> [Jan 06 20:28:51][chn2] Adding reading to queue (value=1489291.20
> ts=1578338931964)
>
>
>
> Bermerkt jemand irgendwelche fehler hier …
>
>
> --
>
> Mit freundlichen Grüßen / With Regards,
>
> Abhijit Dhopate
>
>
>
> *From:* Abhijit Dhopate 
> *Sent:* 06/Jan/2020 11:30 AM
> *To:* volkszaehler-users@demo.volkszaehler.org
> *Subject:* Re: Extern DB Konfiguration
>
>
>
> Danke Daniel...
>
> Ich schaue abends nach.
>
>
>
>
>
> On Mon, Jan 6, 2020 at 11:21 AM <
> volkszaehler-users-requ...@demo.volkszaehler.org> wrote:
>
> Date: Mon, 6 Jan 2020 08:01:36 +0100
> From: Daniel Lauckner 
> To: "volkszaehler.org - users"
> 
> Subject: Re: [vz-users] Extern DB Konfiguration
> Message-ID: <1604990160.20200106080...@jahp.de>
> Content-Type: text/plain; charset=iso-8859-1
>
> Hallo,
>
>
> am Sonntag, 5. Januar 2020 um 20:42 hat Abhijit Dhopate geschrieben:
> > Laut Foren
> > sollte ich die DB-Konfiguration in
> > /var/www/volkszaehler.org/etc/volkszaehler.conf.php ändern.
>
> Die Datei heißt nun ./etc/config.yaml
> Syntax ist anders, aber funktional identisch.
>
>
> mfg Daniel
>
>
>

Re: [vz-users] Extern DB Konfiguration

[Abhijit Dhopate]

Hallo nochmal,

Ich habe nun die Datenbank in /var/www/volkszaehler.org/etc/config.yaml 
konfiguriert.

Hier ist meine Konfiguration.

 

# Doctrine database configuration

# http://www.doctrine-project.org/projects/doctrine-dbal/en/2.6

db:

  driver: pdo_mysql

  host: xx.yy.zz.aa

  port: abcd

  user: vzLogger

  password: password

  charset: utf8

  dbname: volkszaehler

  path: volkszaehler # only used for sqlite

 

Aber ich sehe keine Daten in der Datenbank.

Das Logbuch sieht so aus

 

[Jan 06 20:28:49][main] vzlogger v0.7.0 based on heads/master-0-g12e74ddd43 
from Sun, 2 Jun 2019 20:48:14 +0200 started.

[Jan 06 20:28:49]   New meter initialized (protocol=sml)

[Jan 06 20:28:49][chn0] New channel initialized (uuid=...221869 
api=volkszaehler id=1-0:1.8.0)

[Jan 06 20:28:49][chn1] New channel initialized (uuid=...ef0337 
api=volkszaehler id=1-0:16.7.0)

[Jan 06 20:28:49]   New meter initialized (protocol=sml)

[Jan 06 20:28:49][chn2] New channel initialized (uuid=...2dc950 
api=volkszaehler id=1-0:1.8.0)

[Jan 06 20:28:49][chn3] New channel initialized (uuid=...fba208 
api=volkszaehler id=1-0:16.7.0)

[Jan 06 20:28:49][main] log level is 5

[Jan 06 20:28:49]   Process not  daemonized...

[Jan 06 20:28:49][mtr0] Meter connection established

[Jan 06 20:28:49][mtr1] Meter connection established

[Jan 06 20:28:49][http] Starting local interface HTTPd on port 8080

[Jan 06 20:28:50][chn2] Adding reading to queue (value=1489291.10 
ts=1578338930652)

[Jan 06 20:28:50][chn3] Adding reading to queue (value=272.00 ts=1578338930652)

[Jan 06 20:28:50][chn0] Adding reading to queue (value=4625893.00 
ts=1578338930744)

[Jan 06 20:28:50][chn1] Adding reading to queue (value=2595.00 ts=1578338930744)

[Jan 06 20:28:51][chn0] Adding reading to queue (value=4625893.80 
ts=1578338931864)

[Jan 06 20:28:51][chn1] Adding reading to queue (value=2581.00 ts=1578338931864)

[Jan 06 20:28:51][chn2] Adding reading to queue (value=1489291.20 
ts=1578338931964)

 

Bermerkt jemand irgendwelche fehler hier …

 

  _  

Mit freundlichen Grüßen / With Regards,

Abhijit Dhopate

 

From: Abhijit Dhopate  
Sent: 06/Jan/2020 11:30 AM
To: volkszaehler-users@demo.volkszaehler.org
Subject: Re: Extern DB Konfiguration

 

Danke Daniel... 

Ich schaue abends nach.

 

 

On Mon, Jan 6, 2020 at 11:21 AM 
mailto:volkszaehler-users-requ...@demo.volkszaehler.org> > wrote:

Date: Mon, 6 Jan 2020 08:01:36 +0100
From: Daniel Lauckner mailto:v...@jahp.de> >
To: "volkszaehler.org   - users"
mailto:volkszaehler-users@demo.volkszaehler.org> >
Subject: Re: [vz-users] Extern DB Konfiguration
Message-ID: <1604990160.20200106080...@jahp.de 
 >
Content-Type: text/plain; charset=iso-8859-1

Hallo,


am Sonntag, 5. Januar 2020 um 20:42 hat Abhijit Dhopate geschrieben:
> Laut Foren
> sollte ich die DB-Konfiguration in
> /var/www/volkszaehler.org/etc/volkszaehler.conf.php 
>   ändern.

Die Datei heißt nun ./etc/config.yaml
Syntax ist anders, aber funktional identisch.


mfg Daniel

Re: [vz-users] MQTT -> vzlogger -> volkszaehler

[Andreas Goetz]

Hallo Claas!

> On 6. Jan 2020, at 11:28, Claas H. Köhler  > wrote:
> 
> Hallo,
> 
> Ich finde das Thema sehr interessant. Bestünde Interesse hier in der
> Gemeinde, die Logger Funktionalität von vzlogger (also das Schreiben in
> die Datenbank über die Middleware API), auszulagern ?

Ja. Tatsächlich hatte ich schonmal angefangen, vzlogger in seine Teile zu 
zerlegen:

- Datenaquise (aus den Geräten)
- Datenverteilung und -mapping

Ersteres ist m.E. Kernfunktionalität, Letzteres eine Zusatzfunktion die wir 
immer mehr ausgebaut haben, die aber eigenständig ist. Auf Entwicklung (ich 
glaube auch User) ML hatte mich meinen Vorschlag dazu mal vorgestellt: 
https://github.com/andig/ingress  

ingress is a universal data ingestion and mapping daemon aimed at use with, but 
not limited to, the Volkszähler  smart meter 
framework.

> Ich könnte mir ein Design vorstellen, in dem eine Anwendung Daten von
> verschiedenen Geräten liest und über [WAMP, MQTT] publiziert. Eine
> zweite Anwendung könnte die Daten dann empfangen und in geeigneter Form
> in die Datenbank schreiben. Damit würde vzlogger in zwei Anwendungen
> aufgespalten:

Du bist zum gleichen Schluss gekommen wie ich.

> Endgeräte [vzlogger, Mosquitto, ...] -> Logger [Datenbankanbindung über
> VZ Middleware API]
> 
> 
> 
> Das wäre natürlich ein langfristigerer Ansatz, der vom
> Kernentwicklerteam unterstützt werden müsste und der einen gewissen
> Personaleinsatz erfordert.

Da sind wir beim Kernproblem. Ich alleine werde das nicht stemmen, weitere 
Interessenten gibts derzeit nicht.

> Wäre das ein Ansatz, der mit der mittelfristigen Planung für den
> volkszähler zusammenpasst oder habt Ihr was ganz anderes vor?

Offen gesagt (ich habs vor ein paar Wochen schonmal so gesagt) ist VZ in der 
aktuellen Form ausentwickelt und funktioniert. Ohne mindestens 2 weitere 
*Entwickler* würde ich ein Projekt wie oben skizziert nicht angehen.

> Viele Grüße
> Claas

Viele Grüße, 
Andreas

> 
> 
> On Mon, 2020-01-06 at 10:45 +0100, tho...@fambesse.de 
>  wrote:
>> Hi Joe,
>> ich hab das bei mir umgesetzt mit folgender Config:
>> ESP8266-01(MQTT)--> Mosquitto-->Node-RED
>> Node-Red ist so konfiguriert das er MM2 und Volkszähler und
>> Grafana/Influx befüllt bzw befüttert.
>> 
>> Ich kann dir wenn du Interesse hast das etwas detaillierter
>> aufdröseln bzw dir meine Node-Red config geben. Die Transferleistung
>> ESP8266 nach Tasamoa müsstest du ggf. selbst lösen.
>> Diese steht bei mir erst noch an da ich nicht tasamoa sondern Shelly
>> nutze aber noch keine Zeit für die MQTT Einbindung hatte.
>> 
>> Beste Grüße
>> Thomas
>> 
>> -Ursprüngliche Nachricht-
>> Von: volkszaehler-users > 
>> .org> Im Auftrag von Andreas Goetz
>> Gesendet: Sonntag, 5. Januar 2020 21:44
>> An: volkszaehler.org  - users 
>> > 
>> g>
>> Betreff: Re: [vz-users] MQTT -> vzlogger -> volkszaehler
>> 
>> Naja... wenn Du exec nutzen willst, warum nicht irgendwas in
>> Verbindung mit mosquitto_sub? Sonst mal schnell selbst was coden,
>> mqtt subscriber der in eine Datei schreibt, dann file Protokoll.
>> Irgendsowas, wäre zu probieren...
>> 
>> Viele Grüße, Andreas
>> 
>>> Am 05.01.2020 um 21:14 schrieb joekok...@epios.eu 
>>> :
>>> 
>>> Vielen Dank für die schnelle Antwort! Es war mir klar, dass es
>>> keine direkte Anbindung gibt.
>>> 
>>> Mich würde interessieren, ob jemand schon irgendwas ähnliches
>>> gemacht hat. Mosquitto -> X -> vzlogger -> volkszaehler
>>> 
>>> Und welches Programm sich am ehesten dazu eignen würde.
>>> 
>>> Ich denke an eine Art REST API, an welcher vzlogger mit exec
>>> Protokoll die Daten dann einliest.
>>> 
>>> Node-Red erscheint mir bei oberflächlicher Betrachtung eine etwas
>>> hohe Einstiegshürde und vielleicht etwas zu umfangreich für die
>>> Problemstellung. Aber diese Einschätzung kann auch falsch sein.
>>> 
>>> Liebe Grüße,
>>> Joe
>>> 
 On 1/5/20 8:57 PM, Andreas Goetz wrote:
 Die Funktion gibts nicht und ist aktuell nicht geplant. Ohne
 vzlogger wäre node-red Dein Freund.
 Viele Grüße, Andreas
>> Am 05.01.2020 um 20:54 schrieb joekok...@epios.eu 
>> :
> 
> Hallo,
> 
> ich habe einige Sonoff Devices mit der open-source firmware
> tasmota (https://github.com/arendst/Tasmota 
> ) geflashed und über
> Weihnachten ausprobiert. Sie funktionieren bisher zuverlässig.
> 
> Nun möchte ich die Sensordaten in Volkzaehler integrieren. Die
> beste Art an die Senordaten (zum Beispiel der Last beim Sonoff
> POW) ist anscheinend MQTT. Deshalb habe ich erstmals mit
> mosquitto rumprobiert.
> 
> Hat jemand Erfahrung damit Daten aus MQTT topics durch vzlogger
> in die Volk

Re: [vz-users] einbinden Kostal Piko Wechselrichter

[Klaus Liedel]

Hallo Andreas,

 

vielen Dank für den schnellen Rat. Modbus ist wohl prinzipiell möglich, da 
müssten aber der Anschluss noch angeschlossen werden. Ich werde es daher 
zunächst einmal mit dem Protokoll für „exec“ versuchen. Ich habe den Eintrag im 
wiki gefunden.

 

Vielen Dank,

 

Klaus

 

Von: volkszaehler-users 
[mailto:volkszaehler-users-boun...@demo.volkszaehler.org] Im Auftrag von 
Andreas Goetz
Gesendet: Montag, 6. Januar 2020 11:24
An: volkszaehler.org - users 
Betreff: Re: [vz-users] einbinden Kostal Piko Wechselrichter

 

Hallo Klaus,

 

die Fragen hatten wir ähnlich erst in den vergangenen Tagen. Evtl. kann Dir ein 
Kanal vom Typ “exec” helfen.

 

Wenn Du weitere Werte aus dem WR abfragen willst (und der Modbus kann?) wäre 
auch MBMD (https://github.com/volkszaehler/mbmd) eine Option- damit werden alle 
ausgelesenen Werte per Rest API angeboten (und zusätzlich über MQTT für 
sonstige Weiterverbeitung.

 

Zu Exec gibts allerdings wenig Erfahrung- also bitte einfach ausprobieren.

 

Viele Grüße, Andreas

 





On 6. Jan 2020, at 11:21, Klaus Liedel mailto:lie...@gmx.de> > 
wrote:

 

Hallo zusammen,

 

ich habe eine Frage zum Volkszähler. Ich habe eine Photovoltaikanlage mit 
Kostal Piko Wechselrichter. Ich kann über den Raspberry Pi darauf zugreifen und 
Daten abfragen, allerdings, das Bedürfnis ist sicherlich leicht vorherzusehen, 
möchte ich die Daten gerne auf dem Volkszähler mit abspeichern. 

 

z.B. kann ich über curl -s 192.168.178.32/api/dxs.json?dxsEntries=251658753 | 
jq ".dxsEntries[].value"

die bisherige Gesamtleistung abfragen oder über =$(printf "%.0f" $(curl -s 
192.168.178.32/api/dxs.json?dxsEntries=251658753 | jq ".dxsEntries[].value")) 
auch auf eine Integervariable übertragen.

 

Nun die Frage, wie stelle ich dies im vzlogger dar?

 

Eine Antwort eilt nicht, wäre aber sehr hilfreich.

 

Liebe Grüße,

 

Klaus

 

Re: [vz-users] MQTT -> vzlogger -> volkszaehler

[thomas]

Hi Claas

MQTT ist per Design ja am Publishen und du muss dir nur den passenden Stream 
raussuchen und diesen entsprechend deiner Wünsche irgendwo hinleiten.
Wie das mit WAMP läuft weiß ich nicht da fast alles imo. per MQTT läuft was ich 
brauche. 

Das mach ich mit Node-Red. Also die Sensoren/Aktoren sende die ganze Zeit per 
MQTT und ich entscheide dann in Node-Red welcher Sensor/Aktor wohin geschrieben 
wird (MM2, VZ.db oder Influx oder alles oder oder oder.).
Wenn man einmal durchgestiegen ist (Node-Red), sehr sehr einfach.

Ich habe einen raspi4 mit folgender Installation
- Influx 
- Grafana
- Mosquitto
- Node-Red

Damit habe ich das entsprechen umgesetzt und funktioniert bis dato (Laufzeit 
derzeit 2 Monate) sehr stabil und ausreichend performant.
Ja ich weiß das ich die Logging-Daten somit doppelt speicher und es möglich ist 
die daten von VZ-db auch für Grafana zu nutzen. 
Auch hier knappe Ressource Zeit und Grafana & Influx sehr gut per default 
zusammenarbeiten.


Wenn ich dich und die Anfrage richtig verstehe bekommst du mit node-Red und 
Mosquitto genau das was du suchst. 
Eine Datendrehscheibe wo du entscheiden kannst welche Sensor/Aktor-Werte wohin 
sollen. 
Sehe ich das richtig?

Beste grüße 
Thomas 


> -Ursprüngliche Nachricht-
> Von: volkszaehler-users  boun...@demo.volkszaehler.org> Im Auftrag von Claas H. Köhler
> Gesendet: Montag, 6. Januar 2020 11:28
> An: volkszaehler.org - users 
> Betreff: Re: [vz-users] MQTT -> vzlogger -> volkszaehler
> 
> Hallo,
> 
> Ich finde das Thema sehr interessant. Bestünde Interesse hier in der
> Gemeinde, die Logger Funktionalität von vzlogger (also das Schreiben in die
> Datenbank über die Middleware API), auszulagern ?
> 
> Ich könnte mir ein Design vorstellen, in dem eine Anwendung Daten von
> verschiedenen Geräten liest und über [WAMP, MQTT] publiziert. Eine zweite
> Anwendung könnte die Daten dann empfangen und in geeigneter Form in
> die Datenbank schreiben. 
Damit würde vzlogger in zwei Anwendungen
> aufgespalten:
> 
> Endgeräte [vzlogger, Mosquitto, ...] -> Logger [Datenbankanbindung über VZ
> Middleware API]
> 
> Einen wesentlichen Vorteil würde ich darin sehen, dass man die genutzten
> Technologien etwas vereinheitlicht. Aktuell werden nach meinem
> (begrenzten) Verständnis folgende Protokolle eingesetzt:
> * REST für die Middleware API
> * WAMP Version 1 für das Empfangen von Echtzeitdaten durch das Frontend
> * Raw Sockets für das Versenden von Echtzeitdaten durch vzlogger
> * MQTT für das Versenden von Echtzeitdaten durch vzlogger
> 
> Könnte die Reduktion auf REST + [WAMP Version 2 oder MQTT]
> möglicherweise die Komplexität reduzieren ?
> 
> Ein erster Schritt könnte so aussehen, dass man den vzlogger so lässt wie er
> ist und die Logger Funktionalität in eine zweite Anwendung kopiert. Dabei
> könnte man auch den aktuellen Code etwas aufräumen, ohne das bewährte
> System zu beeinträchtigen.
> 
> Das wäre natürlich ein langfristigerer Ansatz, der vom Kernentwicklerteam
> unterstützt werden müsste und der einen gewissen Personaleinsatz
> erfordert.
> 
> Wäre das ein Ansatz, der mit der mittelfristigen Planung für den volkszähler
> zusammenpasst oder habt Ihr was ganz anderes vor ?
> 
> Viele Grüße
> Claas
> 
> 
> On Mon, 2020-01-06 at 10:45 +0100, tho...@fambesse.de wrote:
> > Hi Joe,
> > ich hab das bei mir umgesetzt mit folgender Config:
> > ESP8266-01(MQTT)--> Mosquitto-->Node-RED Node-Red ist so konfiguriert
> > das er MM2 und Volkszähler und Grafana/Influx befüllt bzw befüttert.
> >
> > Ich kann dir wenn du Interesse hast das etwas detaillierter aufdröseln
> > bzw dir meine Node-Red config geben. Die Transferleistung
> > ESP8266 nach Tasamoa müsstest du ggf. selbst lösen.
> > Diese steht bei mir erst noch an da ich nicht tasamoa sondern Shelly
> > nutze aber noch keine Zeit für die MQTT Einbindung hatte.
> >
> > Beste Grüße
> > Thomas
> >
> > -Ursprüngliche Nachricht-
> > Von: volkszaehler-users  > .org> Im Auftrag von Andreas Goetz
> > Gesendet: Sonntag, 5. Januar 2020 21:44
> > An: volkszaehler.org - users  > g>
> > Betreff: Re: [vz-users] MQTT -> vzlogger -> volkszaehler
> >
> > Naja... wenn Du exec nutzen willst, warum nicht irgendwas in
> > Verbindung mit mosquitto_sub? Sonst mal schnell selbst was coden, mqtt
> > subscriber der in eine Datei schreibt, dann file Protokoll.
> > Irgendsowas, wäre zu probieren...
> >
> > Viele Grüße, Andreas
> >
> > > Am 05.01.2020 um 21:14 schrieb joekok...@epios.eu:
> > >
> > > Vielen Dank für die schnelle Antwort! Es war mir klar, dass es
> > > keine direkte Anbindung gibt.
> > >
> > > Mich würde interessieren, ob jemand schon irgendwas ähnliches
> > > gemacht hat. Mosquitto -> X -> vzlogger -> volkszaehler
> > >
> > > Und welches Programm sich am ehesten dazu eignen würde.
> > >
> > > Ich denke an eine Art REST API, an welcher vzlogger mit exec
> > > Protokoll die Daten dann einliest.
> > >
> > > Node-Red erscheint mir bei oberflächlicher Betrachtung eine etwas
> > > hohe 

Re: [vz-users] Extern DB Konfiguration

[Abhijit Dhopate]

Danke Daniel...
Ich schaue abends nach.


On Mon, Jan 6, 2020 at 11:21 AM <
volkszaehler-users-requ...@demo.volkszaehler.org> wrote:

> Date: Mon, 6 Jan 2020 08:01:36 +0100
> From: Daniel Lauckner 
> To: "volkszaehler.org - users"
> 
> Subject: Re: [vz-users] Extern DB Konfiguration
> Message-ID: <1604990160.20200106080...@jahp.de>
> Content-Type: text/plain; charset=iso-8859-1
>
> Hallo,
>
>
> am Sonntag, 5. Januar 2020 um 20:42 hat Abhijit Dhopate geschrieben:
> > Laut Foren
> > sollte ich die DB-Konfiguration in
> > /var/www/volkszaehler.org/etc/volkszaehler.conf.php ändern.
>
> Die Datei heißt nun ./etc/config.yaml
> Syntax ist anders, aber funktional identisch.
>
>
> mfg Daniel
>
>
>
>

Re: [vz-users] MQTT -> vzlogger -> volkszaehler

[Claas H.]

Hallo,

Ich finde das Thema sehr interessant. Bestünde Interesse hier in der
Gemeinde, die Logger Funktionalität von vzlogger (also das Schreiben in
die Datenbank über die Middleware API), auszulagern ?

Ich könnte mir ein Design vorstellen, in dem eine Anwendung Daten von
verschiedenen Geräten liest und über [WAMP, MQTT] publiziert. Eine
zweite Anwendung könnte die Daten dann empfangen und in geeigneter Form
in die Datenbank schreiben. Damit würde vzlogger in zwei Anwendungen
aufgespalten:

Endgeräte [vzlogger, Mosquitto, ...] -> Logger [Datenbankanbindung über
VZ Middleware API]

Einen wesentlichen Vorteil würde ich darin sehen, dass man die
genutzten Technologien etwas vereinheitlicht. Aktuell werden nach
meinem (begrenzten) Verständnis folgende Protokolle eingesetzt:
* REST für die Middleware API
* WAMP Version 1 für das Empfangen von Echtzeitdaten durch das Frontend
* Raw Sockets für das Versenden von Echtzeitdaten durch vzlogger
* MQTT für das Versenden von Echtzeitdaten durch vzlogger

Könnte die Reduktion auf REST + [WAMP Version 2 oder MQTT]
möglicherweise die Komplexität reduzieren ?

Ein erster Schritt könnte so aussehen, dass man den vzlogger so lässt
wie er ist und die Logger Funktionalität in eine zweite Anwendung
kopiert. Dabei könnte man auch den aktuellen Code etwas aufräumen, ohne
das bewährte System zu beeinträchtigen.

Das wäre natürlich ein langfristigerer Ansatz, der vom
Kernentwicklerteam unterstützt werden müsste und der einen gewissen
Personaleinsatz erfordert.

Wäre das ein Ansatz, der mit der mittelfristigen Planung für den
volkszähler zusammenpasst oder habt Ihr was ganz anderes vor ?

Viele Grüße
Claas


On Mon, 2020-01-06 at 10:45 +0100, tho...@fambesse.de wrote:
> Hi Joe,
> ich hab das bei mir umgesetzt mit folgender Config:
> ESP8266-01(MQTT)--> Mosquitto-->Node-RED
> Node-Red ist so konfiguriert das er MM2 und Volkszähler und
> Grafana/Influx befüllt bzw befüttert.
>
> Ich kann dir wenn du Interesse hast das etwas detaillierter
> aufdröseln bzw dir meine Node-Red config geben. Die Transferleistung
> ESP8266 nach Tasamoa müsstest du ggf. selbst lösen.
> Diese steht bei mir erst noch an da ich nicht tasamoa sondern Shelly
> nutze aber noch keine Zeit für die MQTT Einbindung hatte.
>
> Beste Grüße
> Thomas
>
> -Ursprüngliche Nachricht-
> Von: volkszaehler-users  .org> Im Auftrag von Andreas Goetz
> Gesendet: Sonntag, 5. Januar 2020 21:44
> An: volkszaehler.org - users  g>
> Betreff: Re: [vz-users] MQTT -> vzlogger -> volkszaehler
>
> Naja... wenn Du exec nutzen willst, warum nicht irgendwas in
> Verbindung mit mosquitto_sub? Sonst mal schnell selbst was coden,
> mqtt subscriber der in eine Datei schreibt, dann file Protokoll.
> Irgendsowas, wäre zu probieren...
>
> Viele Grüße, Andreas
>
> > Am 05.01.2020 um 21:14 schrieb joekok...@epios.eu:
> >
> > Vielen Dank für die schnelle Antwort! Es war mir klar, dass es
> > keine direkte Anbindung gibt.
> >
> > Mich würde interessieren, ob jemand schon irgendwas ähnliches
> > gemacht hat. Mosquitto -> X -> vzlogger -> volkszaehler
> >
> > Und welches Programm sich am ehesten dazu eignen würde.
> >
> > Ich denke an eine Art REST API, an welcher vzlogger mit exec
> > Protokoll die Daten dann einliest.
> >
> > Node-Red erscheint mir bei oberflächlicher Betrachtung eine etwas
> > hohe Einstiegshürde und vielleicht etwas zu umfangreich für die
> > Problemstellung. Aber diese Einschätzung kann auch falsch sein.
> >
> > Liebe Grüße,
> > Joe
> >
> > > On 1/5/20 8:57 PM, Andreas Goetz wrote:
> > > Die Funktion gibts nicht und ist aktuell nicht geplant. Ohne
> > > vzlogger wäre node-red Dein Freund.
> > > Viele Grüße, Andreas
> > > > > Am 05.01.2020 um 20:54 schrieb joekok...@epios.eu:
> > > >
> > > > Hallo,
> > > >
> > > > ich habe einige Sonoff Devices mit der open-source firmware
> > > > tasmota (https://github.com/arendst/Tasmota) geflashed und über
> > > > Weihnachten ausprobiert. Sie funktionieren bisher zuverlässig.
> > > >
> > > > Nun möchte ich die Sensordaten in Volkzaehler integrieren. Die
> > > > beste Art an die Senordaten (zum Beispiel der Last beim Sonoff
> > > > POW) ist anscheinend MQTT. Deshalb habe ich erstmals mit
> > > > mosquitto rumprobiert.
> > > >
> > > > Hat jemand Erfahrung damit Daten aus MQTT topics durch vzlogger
> > > > in die Volkszaehler Datenbank zu bringen? (Tasmota -> Mosquitto
> > > > -> X -> vzlogger -> volkszaehler) Ist ein MQTT Client dafür am
> > > > Besten geeignet? Macht das bereits jemand?
> > > >
> > > > Für mich ist der "Umweg" über vzlogger wichtig, da ich die
> > > > Buffer Funktion von vzlogger bei Netzwerkausfällen nutzen
> > > > möchte.
> > > >
> > > > Beste Grüße
> > > > Joe
>
>

Re: [vz-users] einbinden Kostal Piko Wechselrichter

[Andreas Goetz]

Hallo Klaus,

die Fragen hatten wir ähnlich erst in den vergangenen Tagen. Evtl. kann Dir ein 
Kanal vom Typ “exec” helfen.

Wenn Du weitere Werte aus dem WR abfragen willst (und der Modbus kann?) wäre 
auch MBMD (https://github.com/volkszaehler/mbmd) eine Option- damit werden alle 
ausgelesenen Werte per Rest API angeboten (und zusätzlich über MQTT für 
sonstige Weiterverbeitung.

Zu Exec gibts allerdings wenig Erfahrung- also bitte einfach ausprobieren.

Viele Grüße, Andreas


> On 6. Jan 2020, at 11:21, Klaus Liedel  wrote:
> 
> Hallo zusammen,
>  
> ich habe eine Frage zum Volkszähler. Ich habe eine Photovoltaikanlage mit 
> Kostal Piko Wechselrichter. Ich kann über den Raspberry Pi darauf zugreifen 
> und Daten abfragen, allerdings, das Bedürfnis ist sicherlich leicht 
> vorherzusehen, möchte ich die Daten gerne auf dem Volkszähler mit 
> abspeichern. 
>  
> z.B. kann ich über curl -s 192.168.178.32/api/dxs.json?dxsEntries=251658753 | 
> jq ".dxsEntries[].value"
> die bisherige Gesamtleistung abfragen oder über =$(printf "%.0f" $(curl -s 
> 192.168.178.32/api/dxs.json?dxsEntries=251658753 | jq ".dxsEntries[].value")) 
> auch auf eine Integervariable übertragen.
>  
> Nun die Frage, wie stelle ich dies im vzlogger dar?
>  
> Eine Antwort eilt nicht, wäre aber sehr hilfreich.
>  
> Liebe Grüße,
>  
> Klaus

[vz-users] einbinden Kostal Piko Wechselrichter

[Klaus Liedel]

Hallo zusammen,

 

ich habe eine Frage zum Volkszähler. Ich habe eine Photovoltaikanlage mit
Kostal Piko Wechselrichter. Ich kann über den Raspberry Pi darauf zugreifen
und Daten abfragen, allerdings, das Bedürfnis ist sicherlich leicht
vorherzusehen, möchte ich die Daten gerne auf dem Volkszähler mit
abspeichern. 

 

z.B. kann ich über curl -s 192.168.178.32/api/dxs.json?dxsEntries=251658753
| jq ".dxsEntries[].value"

die bisherige Gesamtleistung abfragen oder über =$(printf "%.0f" $(curl -s
192.168.178.32/api/dxs.json?dxsEntries=251658753 | jq
".dxsEntries[].value")) auch auf eine Integervariable übertragen.

 

Nun die Frage, wie stelle ich dies im vzlogger dar?

 

Eine Antwort eilt nicht, wäre aber sehr hilfreich.

 

Liebe Grüße,

 

Klaus

 

Re: [vz-users] MQTT -> vzlogger -> volkszaehler

[thomas]

Hi Joe, 
ich hab das bei mir umgesetzt mit folgender Config:
ESP8266-01(MQTT)--> Mosquitto-->Node-RED
Node-Red ist so konfiguriert das er MM2 und Volkszähler und Grafana/Influx 
befüllt bzw befüttert.

Ich kann dir wenn du Interesse hast das etwas detaillierter aufdröseln bzw dir 
meine Node-Red config geben. Die Transferleistung ESP8266 nach Tasamoa müsstest 
du ggf. selbst lösen.
Diese steht bei mir erst noch an da ich nicht tasamoa sondern Shelly nutze aber 
noch keine Zeit für die MQTT Einbindung hatte.

Beste Grüße 
Thomas

-Ursprüngliche Nachricht-
Von: volkszaehler-users  Im 
Auftrag von Andreas Goetz
Gesendet: Sonntag, 5. Januar 2020 21:44
An: volkszaehler.org - users 
Betreff: Re: [vz-users] MQTT -> vzlogger -> volkszaehler

Naja... wenn Du exec nutzen willst, warum nicht irgendwas in Verbindung mit 
mosquitto_sub? Sonst mal schnell selbst was coden, mqtt subscriber der in eine 
Datei schreibt, dann file Protokoll. Irgendsowas, wäre zu probieren...

Viele Grüße, Andreas 

> Am 05.01.2020 um 21:14 schrieb joekok...@epios.eu:
> 
> Vielen Dank für die schnelle Antwort! Es war mir klar, dass es keine direkte 
> Anbindung gibt.
> 
> Mich würde interessieren, ob jemand schon irgendwas ähnliches gemacht hat. 
> Mosquitto -> X -> vzlogger -> volkszaehler
> 
> Und welches Programm sich am ehesten dazu eignen würde.
> 
> Ich denke an eine Art REST API, an welcher vzlogger mit exec Protokoll die 
> Daten dann einliest.
> 
> Node-Red erscheint mir bei oberflächlicher Betrachtung eine etwas hohe 
> Einstiegshürde und vielleicht etwas zu umfangreich für die Problemstellung. 
> Aber diese Einschätzung kann auch falsch sein.
> 
> Liebe Grüße,
> Joe
> 
>> On 1/5/20 8:57 PM, Andreas Goetz wrote:
>> Die Funktion gibts nicht und ist aktuell nicht geplant. Ohne vzlogger wäre 
>> node-red Dein Freund.
>> Viele Grüße, Andreas
 Am 05.01.2020 um 20:54 schrieb joekok...@epios.eu:
>>> 
>>> Hallo,
>>> 
>>> ich habe einige Sonoff Devices mit der open-source firmware tasmota 
>>> (https://github.com/arendst/Tasmota) geflashed und über Weihnachten 
>>> ausprobiert. Sie funktionieren bisher zuverlässig.
>>> 
>>> Nun möchte ich die Sensordaten in Volkzaehler integrieren. Die beste Art an 
>>> die Senordaten (zum Beispiel der Last beim Sonoff POW) ist anscheinend 
>>> MQTT. Deshalb habe ich erstmals mit mosquitto rumprobiert.
>>> 
>>> Hat jemand Erfahrung damit Daten aus MQTT topics durch vzlogger in die 
>>> Volkszaehler Datenbank zu bringen? (Tasmota -> Mosquitto -> X -> vzlogger 
>>> -> volkszaehler) Ist ein MQTT Client dafür am Besten geeignet? Macht das 
>>> bereits jemand?
>>> 
>>> Für mich ist der "Umweg" über vzlogger wichtig, da ich die Buffer Funktion 
>>> von vzlogger bei Netzwerkausfällen nutzen möchte.
>>> 
>>> Beste Grüße
>>> Joe

[vz-users] Fragen zur Datenaggregation

[rgb]

Liebe “Volkzähler”,

 

Zwei Fragen zur Aggregation bzw. den Tabellen:

 

- Wenn ich die http://...operation=delete Funktion verwende, werden die
Daten dann gleichermaßen aus der volkszaehler.data sowie der
volkszaehler.aggregate Tabelle gelöscht?

 

- Wenn ich Daten älter als x nur aus der data Tabelle lösche und in der
aggregate Tabelle bestehen lasse, wie würde der VZ reagieren? Fehlermeldung…
oder könnte er dann historische Daten nur nicht mehr so genau anzeigen bzw.
berechnen? Die minütlichen Werte in der aggregate-Tabelle (type=1) wären ja
für ältere Daten ggfs. ausreichend.

 

Danke für die Info,

Alex