Re: [vz-dev] SolaranaLyzer - Daten aus der Api

2013-05-02 Diskussionsfäden Thorben Thuermer
On Thu, 2 May 2013 19:07:00 +0200 sollner11 p...@macpat.de wrote:
 ein /var/log/apache2/access.log gibt es auf meinem Raspi nicht

http://volkszaehler.org/pipermail/volkszaehler-dev/2012-April/001782.html
 wo genau die liegen (und wie sie heissen!), bzw ob es die ueberhaupt gibt,
 haengt von der konfiguration deines apache ab, entsprechend laesst sich
 das nicht genauer angeben.
 _ueblich_ ist halt /var/log/apache2/access.log und 
 /var/log/apache2/error.log.
 ansonsten musst du halt in deiner kofiguration nachschauen, bzw:
 $ grep -riE '(access|error)log' /etc/apache2/ 

http://volkszaehler.org/pipermail/volkszaehler-dev/2012-April/001788.html
 im zweifelsfall kannst du dir auch konkret klarheit verschaffen,
 wo apache hinschreibt (beispiel von meinem system):
 # pidof apache2
 12031 11998 11538 11261 3263 3262 3261 3260 3259 2791
 # ls -l /proc/12031/fd/*
 l-wx-- 1 root root 64 Apr 11 17:05 /proc/12031/fd/2 - 
 /var/log/apache2/error.log
 l-wx-- 1 root root 64 Apr 11 17:05 /proc/12031/fd/7 - 
 /var/log/apache2/other_vhosts_access.log
 l-wx-- 1 root root 64 Apr 11 17:05 /proc/12031/fd/8 - 
 /var/log/apache2/access.log

 Gruss

- T.

 Am 01.05.2013 um 12:05 schrieb Andreas Goetz cpui...@gmx.de:
 
  Wäre interessant zu sehen mit welchem Request der SA die Daten abholt. 
  Kannst Su das z. B. in /var/log/apache2/access.log sehen?
  
  Von meinem iPhone gesendet
  
  Am 01.05.2013 um 10:46 schrieb sollner11 p...@macpat.de:
  
  Hallo,
  
  ein Schönheitsfehler ist zu verzeichnen:
  die Daten werden vom Solaranalyzer dargestellt und ausgewertet
  dabei habe ich wohl ein Problem ... die timestamps wandern
  werden also nicht immer zur gleichen Sekunde genommen und auch nicht alle 
  60 sec
  kann das sein?
  
  damit ich nicht zuviel kB poste hier ein Link, wie das aussieht:
  http://www.photovoltaikforum.com/volkszaehler-org-f131/aggregierung-von-daten-im-vzlogger-t90247.html
  ganz hinten
  
  was kann man da machen?
  kann ich die aggtime auf tatsächlich z.B. 300 sec setzen, z.B. mit 
  Startwert  00:00:00  00:05:00  00:10:00 usw.?
  
  Danke und Gruss 
  
  warum auch immer 
  Am 21.04.2013 um 11:32 schrieb sollner11 p...@macpat.de:
  
  ok, Daten kommen fein im Minutentakt
  läuft einwandfrei
  Raspi langweilt sich ;-)
  Danke nochmal.
  
  Das ist die Darstellung der middleware. Die Daten die eingeliefert 
  werden und in der DB gespeichert sind immer Roh-werte X zum Zeitpunkt 
  Y.
  
  Wenn Du Dir die Daten in der DB Anschaust siehst du deine Zählerstände 
  keine Leistung.
  passt und wäre ok
  
  Die middleware macht dann aus Zählerstandsänderung in eine Zeitraum 
  die Leistungsanzeige. 
  
  @all
  und es gibt keine Möglichkeit die in der DB abgelegten Zählerstände  auch 
  als Zählerstände per Api rauszubekommen?
  
  Danke und Gruss
  
  
 


Re: [vz-dev] SolaranaLyzer - Daten aus der Api

2013-05-01 Diskussionsfäden Andreas Goetz
Wäre interessant zu sehen mit welchem Request der SA die Daten abholt. 
Kannst Su das z. B. in /var/log/apache2/access.log sehen?


Von meinem iPhone gesendet

Am 01.05.2013 um 10:46 schrieb sollner11 p...@macpat.de 
mailto:p...@macpat.de:



Hallo,

ein Schönheitsfehler ist zu verzeichnen:
die Daten werden vom Solaranalyzer dargestellt und ausgewertet
dabei habe ich wohl ein Problem ... die timestamps wandern
werden also nicht immer zur gleichen Sekunde genommen und auch nicht 
alle 60 sec

kann das sein?

damit ich nicht zuviel kB poste hier ein Link, wie das aussieht:
http://www.photovoltaikforum.com/volkszaehler-org-f131/aggregierung-von-daten-im-vzlogger-t90247.html
ganz hinten

was kann man da machen?
kann ich die aggtime auf tatsächlich z.B. 300 sec setzen, z.B. mit 
Startwert  00:00:00  00:05:00  00:10:00 usw.?


Danke und Gruss

warum auch immer
Am 21.04.2013 um 11:32 schrieb sollner11 p...@macpat.de 
mailto:p...@macpat.de:



ok, Daten kommen fein im Minutentakt
läuft einwandfrei
Raspi langweilt sich ;-)
Danke nochmal.

Das ist die Darstellung der middleware. Die Daten die eingeliefert 
werden und in der DB gespeichert sind immer Roh-werte X zum 
Zeitpunkt Y.
Wenn Du Dir die Daten in der DB Anschaust siehst du deine 
Zählerstände keine Leistung.

passt und wäre ok

Die middleware macht dann aus Zählerstandsänderung in eine 
Zeitraum die Leistungsanzeige.


@all
und es gibt keine Möglichkeit die in der DB abgelegten Zählerstände 
 auch als Zählerstände per Api rauszubekommen?


Danke und Gruss





[vz-dev] SolaranaLyzer - Daten aus der Api

2013-04-20 Diskussionsfäden sollner11
hallo,

neuer Anlauf: ;-)

ich zitier hier mal einen öffentlichen Beitrag des Entwicklers SolarAnalyzer
eventuell wird dann die Problematik schon klar

 Hallo Zusammen,
 
 bitte streitet euch nicht. Mir ist es egal, ob die Daten als json oder csv 
 über die API kommen. Wichtig wär mir nur, dass die Daten in 1 Minute oder 5 
 Minuten zeitlicher Auflösung vorliegen. 
 
 Ich bin jetzt programmtechnisch so weit, dass man den vzlogger bereits in den 
 SolarAnalyzer hinzufügen und die Kanäle auswählen kann. Der Datenabruf 
 funktioniert auch schon. Jetzt muss nur noch die Verarbeitung der 
 eigentlichen Daten erfolgen, was eigentlich schnell gemacht wär - nur ich 
 kann nicht 7 Minuten warten, bis Sollners Raspberry eine einzelne Tageskurve 
 übertragen hat.
 
 Wie gesagt, ich stell mich sehr gern auf eure API ein und binde die so an, 
 wie es von euch vorgsehen ist.
 
 Viele Grüße und einen schönen sonnigen Tag!
 Stephan

http://www.photovoltaikforum.com/volkszaehler-org-f131/daten-fuer-solaranalyzer-t90234.html

Frage:
machbar, weniger Daten abzulegen?
ist dann vzlogger-agg von User Knodt das richtige?
http://volkszaehler.org/pipermail/volkszaehler-dev/2013-April/002592.html


hier mal meine vzlogger.conf
(die ist noch von vzlogger-c, und unverändert, seit ich den vzlogger (c++) nach 
Justin Otherguy per apt-get aktualisiert habe)
(seit dieser Umstellung läuft zwar der vzlogger durch, aber ich komme nicht auf 
http, egal erstmal)

 {
 retry : 30,   /* how long to sleep between failed requests, 
 in seconds */
 daemon: true, /* run periodically */
 //foreground : true,  /* dont run in background (prevents forking) 
 */
 verbosity : 3,/* between 0 and 15 */
 log : /var/log/vzlogger.log,/* path to logfile, optional */
 
 local : {
 enabled : true,   /* should we start the local HTTPd for 
 serving live readings? */
 port : 8080,  /* the TCP port for the local HTTPd */
 index : true, /* should we provide a index listing of 
 available channels if no UUID was requested? */
 timeout : 30, /* timeout for long polling comet requests, 0 
 disables comet, in seconds */
 buffer : 600  /* how long to buffer readings for the local 
 interface, in seconds */
 },
 
 meters : [{
 enabled : true,   /* disabled meters will be ignored */
 protocol : sml, /* see 'vzlogger -h' for list of available 
 protocols */
 device : /dev/usb-ir-lesekopf0,
 channels: [{
 //uuid : ,
 //middleware : http://localhost/middleware.php;,
 //identifier : 1-0:16.7.0, /* Haus-Zweirichtunhgszähler 
 Wirkleistung Total */
 //}, {
 uuid : e9e04730-9247-11e2-b1b1-0bb10331bc30,
 middleware : http://localhost/middleware.php;,
 identifier : 1-0:1.8.0 /* Bezug */
 }, {
 uuid : 1d3ead60-9248-11e2-84ee-ab81123d1b40,
 middleware : http://localhost/middleware.php;,
 identifier : 1-0:2.8.0, /* Einspeisung  */
 }]
 }, {
   enabled : true,   /* disabled meters will be ignored */   
 protocol : sml,
 device : /dev/usb-ir-lesekopf1,
 channels :[{
 //uuid : ,
 //middleware : http://localhost/middleware.php;,
 //identifier : 1-0:16.7.0, /* Wirkleistung PV-Anlage */
 //}, {
 uuid : 5b340280-9248-11e2-bf0b-adb29ee33b6f,
 middleware : http://localhost/middleware.php;,
 identifier : 1-0:2.8.0, /* Erzeugung */
 }]
 }
 ]}


Auslastung ist mit um die 30% doch sicher normal

 top - 10:23:30 up 1 day,  1:59,  1 user,  load average: 2,68, 2,86, 2,68
 Tasks:  80 total,   1 running,  79 sleeping,   0 stopped,   0 zombie
 %Cpu(s): 35,7 us, 23,1 sy,  0,0 ni,  0,0 id, 38,1 wa,  0,0 hi,  3,1 si,  0,0 
 st
 KiB Mem:123956 total,   110992 used,12964 free,  152 buffers
 KiB Swap:   102396 total,29624 used,72772 free,16640 cached
 
   PID USER  PR  NI  VIRT  RES  SHR S  %CPU %MEMTIME+  COMMAND 
 
 11784 www-data  20   0 74212 8684 5732 S  13,1  7,0  24:11.56 php-cgi 
 
 11797 www-data  20   0 74212 9324 6412 S  12,4  7,5  24:03.89 php-cgi 
 
37 root  20   0 000 S  11,1  0,0  54:13.74 mmcqd/0 
 
 11819 www-data  20   0 74284 8128 5212 S   6,5  6,6  24:00.34 php-cgi 
 
 11770 www-data  20   0 73908 8028 5280 S   5,9  6,5  24:36.39 php-cgi 
 
  2501 mysql 20   0  311m  47m 2428 S   3,3 38,9  56:32.51 mysqld  
 
  2962 vzlogger  20   0 84916 1048  740 S   3,3  

Re: [vz-dev] SolaranaLyzer - Daten aus der Api

2013-04-20 Diskussionsfäden Peter Evertz

Am 20.04.2013 10:28, schrieb sollner11:

hallo,

neuer Anlauf: ;-)

ich zitier hier mal einen öffentlichen Beitrag des Entwicklers 
SolarAnalyzer

eventuell wird dann die Problematik schon klar


Hallo Zusammen,

bitte streitet euch nicht. Mir ist es egal, ob die Daten als json 
oder csv über die API kommen. Wichtig wär mir nur, dass die Daten in 
1 Minute oder 5 Minuten zeitlicher Auflösung vorliegen.


Ich bin jetzt programmtechnisch so weit, dass man den vzlogger 
bereits in den SolarAnalyzer hinzufügen und die Kanäle auswählen 
kann. Der Datenabruf funktioniert auch schon. Jetzt muss nur noch die 
Verarbeitung der eigentlichen Daten erfolgen, was eigentlich schnell 
gemacht wär - nur ich kann nicht 7 Minuten warten, bis Sollners 
Raspberry eine einzelne Tageskurve übertragen hat.


Wie gesagt, ich stell mich sehr gern auf eure API ein und binde die 
so an, wie es von euch vorgsehen ist.


Viele Grüße und einen schönen sonnigen Tag!
Stephan


http://www.photovoltaikforum.com/volkszaehler-org-f131/daten-fuer-solaranalyzer-t90234.html

Frage:
machbar, weniger Daten abzulegen?
ist dann vzlogger-agg von User Knodt das richtige?
http://volkszaehler.org/pipermail/volkszaehler-dev/2013-April/002592.html
Ich bin zwar nicht Knodt sondern Peter, aber meine  Erweiterung zielt 
genau auf die Verminderung der Datenmenge. Die Last des vzloggers bleibt 
mehr oder weniger gleich. Die middleware und das frontenend sind 
entlastet. Die aggregierung funktioniert für alle meter und alle api.


Es ist in den vzlogger c++ eingebaut und ich bin froh über jeden der 
mithilft beim testen, damit ich es in den offiziellen vzlogger 
weitergeben kann.
Bei Bedarf kann ich eine vzlogger binary für den raspi zur verfügung 
stellen.






hier mal meine vzlogger.conf
(die ist noch von vzlogger-c, und unverändert, seit ich den vzlogger 
(c++) nach Justin Otherguy per apt-get aktualisiert habe)
(seit dieser Umstellung läuft zwar der vzlogger durch, aber ich komme 
nicht auf http, egal erstmal)



{
retry : 30,   /* how long to sleep between failed 
requests, in seconds */

daemon: true, /* run periodically */
//foreground : true,  /* dont run in background (prevents 
forking) */

verbosity : 3,/* between 0 and 15 */
log : /var/log/vzlogger.log,/* path to logfile, optional */

local : {
enabled : true,   /* should we start the local HTTPd 
for serving live readings? */

port : 8080,  /* the TCP port for the local HTTPd */
index : true, /* should we provide a index listing 
of available channels if no UUID was requested? */
timeout : 30, /* timeout for long polling comet 
requests, 0 disables comet, in seconds */
buffer : 600  /* how long to buffer readings for 
the local interface, in seconds */

},

meters : [{
enabled : true,   /* disabled meters will be ignored */
protocol : sml, /* see 'vzlogger -h' for list of 
available protocols */

device : /dev/usb-ir-lesekopf0,
channels: [{
//uuid : ,
//middleware : http://localhost/middleware.php;,
//identifier : 1-0:16.7.0, /* 
Haus-Zweirichtunhgszähler Wirkleistung Total */

//}, {
uuid : e9e04730-9247-11e2-b1b1-0bb10331bc30,
middleware : http://localhost/middleware.php;,
identifier : 1-0:1.8.0 /* Bezug */
}, {
uuid : 1d3ead60-9248-11e2-84ee-ab81123d1b40,
middleware : http://localhost/middleware.php;,
identifier : 1-0:2.8.0, /* Einspeisung  */
}]
}, {
enabled : true,   /* disabled meters will be ignored */
protocol : sml,
device : /dev/usb-ir-lesekopf1,
channels :[{
//uuid : ,
//middleware : http://localhost/middleware.php;,
//identifier : 1-0:16.7.0, /* Wirkleistung 
PV-Anlage */

//}, {
uuid : 5b340280-9248-11e2-bf0b-adb29ee33b6f,
middleware : http://localhost/middleware.php;,
identifier : 1-0:2.8.0, /* Erzeugung */
}]
}
]}


Auslastung ist mit um die 30% doch sicher normal


top - 10:23:30 up 1 day,  1:59,  1 user,  load average: 2,68, 2,86, 2,68
Tasks:  80 total,   1 running,  79 sleeping,   0 stopped,   0 zombie
%Cpu(s): 35,7 us, 23,1 sy,  0,0 ni,  0,0 id, 38,1 wa,  0,0 hi,  3,1 
si,  0,0 st

KiB Mem:123956 total,   110992 used,12964 free,152 buffers
KiB Swap:   102396 total,29624 used,72772 free,  16640 cached

  PID USER  PR  NI  VIRT  RES  SHR S  %CPU %MEM  TIME+  COMMAND
11784 www-data  20   0 74212 8684 5732 S  13,1  7,0  24:11.56 php-cgi
11797 www-data  20   0 74212 9324 6412 S  12,4  7,5  24:03.89 php-cgi
   37 root  20   0 000 S  11,1  0,0  54:13.74 mmcqd/0
11819 www-data  20   0 74284 8128 5212 S   6,5  6,6