Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?

2019-06-12 Diskussionsfäden John Doe

Hallo zusammen,

 

nachdem mein neu aufgesetztes System jetzt einige Tage gelaufen ist, habe ich heute mal ein update/upgrade und ein rpi-updateangestoßen.

Ergebnis: Ich lande nach dem Aufruf von http://raspi-vz-ip auf der Apache2 Debian Default Page.

Hat jemand einen Tip, was jetzt wieder kaputt gegangen ist ?

Grüße,

 

JD.

 

Sent: Tuesday, June 04, 2019 at 12:39 PM
From: "Andreas Goetz" 
To: "volkszaehler.org - users" 
Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?


Hallo John,
 

ich muss es trotzdem nochmal sagen- zur Sicherheit: dbcopy ersetzt immer noch kein Backup!

 

So kann es z.B. theoretisch passieren, dass Du im produktiven System alle Kanäle löschst (oder DB kaputt, oder…). Wenn dann dbcopy läuft werden die auch aus der Kopie gelöscht (selbst wenn die Daten erhalten bleiben unschön).

 

Du solltest also auch von der Kopie regelmäßige Sicherungen machen:



	bei SQlite einfach als Kopie der Datei
	bei MySQL mit mysqldump oder phpmyadmin


 

Das Backup der dbcopy-Kopie tut dann weniger weh, diese DB darf ja ruhig auch mal länger gesperrt oder offline sein…

 

Ich hoffe Deine Daten sind jetzt sicher :)

 

Viele Grüße, 

Andreas

 

 

On 2. Jun 2019, at 18:46, John Doe  wrote:
 





Hallo Andreas,

 

der letzte Tip hat funktioniert:

 

Nach Installation von php-sqlite3 scheint es durchgelaufen zu sein:

 

 $ /var/www/volkszaehler.org/vendor/bin/dbcopy create -c /etc/dbcopy.yaml
Creating target schema
Creating tables
Updating schema assets for target platform compatibility: sqlite
table: aggregate
table: data
table: entities
table: entities_in_aggregator
table: properties

 

Ish schaue mir jetzt mal die Kopie an und versuche evtl mal eine Rücksicherung.

Bis hierhin danke für Deine Geduld !

 

Grüße,

 

JD.

 

Sent: Sunday, June 02, 2019 at 6:22 PM
From: "Andreas Goetz" 
To: "volkszaehler.org - users" 
Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?


Deinem PHP fehlt das richtige Modul:
 


In AbstractSQLiteDriver.php line 70:

  An exception occurred in driver: could not find driver

 

Aktuell keine Idee woher wenn:

 

apt-get update

apt-get install php-sqlite3 (oder php-sqlite)

 

nicht funktioniert.

 

Sorry :(

 

On 2. Jun 2019, at 18:18, John Doe  wrote:
 





Hallo Andreas,

 

die dbcopy.yaml habe ich, bis auf die User-Daten, erst mal so gelassen:

 



# DATABASE DEFINITION
source:
  driver: pdo_mysql
  host: localhost
  user: vz
  password: demo
  dbname: volkszaehler

target:
  driver: pdo_sqlite
  host: localhost
  user: root
  password: raspberry
  dbname: volkszaehler_backup
  path: sqlite.db3  # path is only used if driver = pdo_sqlite

# influxdb target database connection
influx:
  dsn: influxdb://localhost:8086
  dbname: volkszaehler
  measurement: data

# DATABASE DEFINITION
source:
  driver: pdo_mysql
  host: localhost
  user: vz
  password: demo
  dbname: volkszaehler

target:
  driver: pdo_sqlite
  host: localhost
  user: root
  password: raspberry
  dbname: volkszaehler_backup
  path: sqlite.db3  # path is only used if driver = pdo_sqlite

# influxdb target database connection
influx:
  dsn: influxdb://localhost:8086
  dbname: volkszaehler
  measurement: data

# TABLE DEFINITION
# 
# tables will be processed in the order they are mentioned:
#   - foreign keys on target will be dropped
#   - if a table is not listed here, it will not be touched
# transfer mode
#   skip:   table will not be copied
#   copy:

 

Der analoge Aufruf endet wie vorher:

 


pi@raspberrypi:~ $ /var/www/volkszaehler.org/vendor/bin/dbcopy create -c /etc/dbcopy.yaml
Creating target schema
Creating tables
Updating schema assets for target platform compatibility: sqlite
table: aggregate
table: data
table: entities
table: entities_in_aggregator
table: properties
CREATE TABLE aggregate (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, channel_id INTEGER DEFAULT NULL, type SMALLINT NOT NULL, timestamp BIGINT NOT NULL, value DOUBLE PRECISION NOT NULL, count INTEGER NOT NULL, CONSTRAINT FK_B77949FF72F5A1AA FOREIGN KEY (channel_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
CREATE UNIQUE INDEX aggregate_unique ON aggregate (channel_id, type, timestamp)
CREATE INDEX IDX_B77949FF72F5A1AA ON aggregate (channel_id)
CREATE TABLE data (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, channel_id INTEGER DEFAULT NULL, timestamp BIGINT NOT NULL, value DOUBLE PRECISION NOT NULL, CONSTRAINT FK_ADF3F36372F5A1AA FOREIGN KEY (channel_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
CREATE UNIQUE INDEX data_unique ON data (channel_id, timestamp)
CREATE INDEX IDX_ADF3F36372F5A1AA ON data (channel_id)
CREATE TABLE entities (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, uuid VARCHAR(36) NOT NULL, type VARCHAR(255) NOT NULL,

Re: [vz-users] Debugging von SSL Problemen

2019-06-12 Diskussionsfäden Joerg Krohn
Hi,

ich habe das gleiche Problem schon seit langem, deswegen hab ich wieder
auf http umgestellt.

Anbei jedoch die Meldungen, die bei mir mit https auftreten.

> Kannst du mal ein log File schicken? (vzlogger.log) Prinzipiell
> sollte das gehen (aber es gibt viele Fallstricke).
debug level 15
[Jun 12 21:27:45][chn0] CURL:   Trying 87.230.93.240...
[Jun 12 21:27:45][chn0] CURL: TCP_NODELAY set
[Jun 12 21:27:45][chn0] CURL: Connected to vs02.gh26.net (87.230.93.240) port 
440 (#0)
[Jun 12 21:27:45][chn0] CURL: ALPN, offering http/1.1
[Jun 12 21:27:45][chn0] CURL: Cipher selection: 
ALL:!EXPORT:!EXPORT40:!EXPORT56:!aNULL:!LOW:!RC4:@STRENGTH
[Jun 12 21:27:48][chn0] CURL: successfully set certificate verify locations:
[Jun 12 21:27:48][chn0] CURL:   CAfile: /etc/ssl/certs/ca-certificates.crt
[Jun 12 21:27:48][chn0] CURL: TLSv1.2 (OUT), TLS header, Certificate Status 
(22):
[Jun 12 21:27:48][chn0] CURL: Sent 5 bytes.. 
[Jun 12 21:27:48][chn0] CURL: Sent '^V^C^A^B' bytes
[Jun 12 21:27:48][chn0] CURL: TLSv1.2 (OUT), TLS handshake, Hello request (0):
[Jun 12 21:27:48][chn0] CURL: Sent 512 bytes.. 
[Jun 12 21:27:48][chn0] CURL: Sent '' bytes
[Jun 12 21:27:48][chn0] CURL: Received 5 bytes
[Jun 12 21:27:48][chn0] CURL: Received '^V^C^C' bytes
[Jun 12 21:27:48][chn0] CURL: TLSv1.2 (IN), TLS handshake, Server hello (2):
[Jun 12 21:27:48][chn0] CURL: Received 108 bytes
[Jun 12 21:27:48][chn0] CURL: Received '^B' bytes
[Jun 12 21:27:48][chn0] CURL: Received 5 bytes
[Jun 12 21:27:48][chn0] CURL: TLSv1.2 (IN), TLS handshake, Certificate (11):
[Jun 12 21:27:48][chn0] CURL: Received 2554 bytes
[Jun 12 21:27:48][chn0] CURL: Received '^K' bytes
[Jun 12 21:27:48][chn0] CURL: Received 5 bytes
[Jun 12 21:27:49][chn0] CURL: Received '^V^C^C^AM' bytes
[Jun 12 21:27:49][chn0] CURL: TLSv1.2 (IN), TLS handshake, Server key exchange 
(12):
[Jun 12 21:27:49][chn0] CURL: Received 333 bytes
[Jun 12 21:27:49][chn0] CURL: Received '^L' bytes
[Jun 12 21:27:49][chn0] CURL: Received 5 bytes
[Jun 12 21:27:49][chn0] CURL: Received '^V^C^C' bytes
[Jun 12 21:27:49][chn0] CURL: TLSv1.2 (IN), TLS handshake, Server finished (14):
[Jun 12 21:27:49][chn0] CURL: Received 4 bytes
[Jun 12 21:27:49][chn0] CURL: Received '^N' bytes
[Jun 12 21:27:49][chn0] CURL: Sent 5 bytes.. 
[Jun 12 21:27:50][chn0] CURL: Sent '^V^C^C' bytes
[Jun 12 21:27:50][chn0] CURL: TLSv1.2 (OUT), TLS handshake, Client key exchange 
(16):
[Jun 12 21:27:50][chn0] CURL: Sent 70 bytes.. 
[Jun 12 21:27:50][chn0] CURL: Sent '^P' bytes
[Jun 12 21:27:50][chn0] CURL: Sent 5 bytes.. 
[Jun 12 21:27:50][chn0] CURL: Sent '^T^C^C' bytes
[Jun 12 21:27:50][chn0] CURL: TLSv1.2 (OUT), TLS change cipher, Client hello 
(1):
[Jun 12 21:27:50][chn0] CURL: Sent 1 bytes.. 
[Jun 12 21:27:50][chn0] CURL: Sent '^A' bytes
[Jun 12 21:27:50][chn0] CURL: Sent 5 bytes.. 
[Jun 12 21:27:50][chn0] CURL: Sent '^V^C^C' bytes
[Jun 12 21:27:50][chn0] CURL: TLSv1.2 (OUT), TLS handshake, Finished (20):
[Jun 12 21:27:50][chn0] CURL: Sent 16 bytes.. 
[Jun 12 21:27:50][chn0] CURL: Sent '^T' bytes
CURL: Received 5 bytes
[Jun 12 21:27:50][chn0] CURL: Received '^U^C^C' bytes
[Jun 12 21:27:50][chn0] CURL: TLSv1.2 (IN), TLS alert, Server hello (2):
[Jun 12 21:27:50][chn0] CURL: Received 2 bytes
[Jun 12 21:27:50][chn0] CURL: Received '^B
[Jun 12 21:27:50][chn0] CURL: error:140943F2:SSL routines:ssl3_read_bytes:sslv3 
alert unexpected message
[Jun 12 21:27:50][chn0] CURL: Curl_http_done: called premature == 1
[Jun 12 21:27:50][chn0] CURL: stopped the pause stream!
[Jun 12 21:27:50][chn0] CURL: Closing connection 0
[Jun 12 21:27:51][chn0] CURL: SSL connect error


> Schick bitte auch mal von dem curl Aufruf der funktioniert eine „curl
> -V“ Ausgabe. Und der manuelle curl Aufruf klappt auch von dem Rechner
> (rpi?) aus, auf dem vzlogger läuft, oder?
curl vom RPI geht, hier die Ausgabe:
curl 
https://vs02.gh26.net:440/middleware.php/channel/a5ca4660-d345-11e1-8224-b7f4802b7543.json
{
"version": "0.3",
"entity": {
"uuid": "a5ca4660-d345-11e1-8224-b7f4802b7543",
"type": "electric meter",
"cost": 0.00019766,
"description": "RWE WP",
"public": true,
"resolution": 1,
"title": "Strom Zaehler WP"
},
[..]

curl -V
curl 7.52.1 (arm-unknown-linux-gnueabihf) libcurl/7.52.1 OpenSSL/1.0.2q 
zlib/1.2.8 libidn2/0.16 libpsl/0.17.0 (+libidn2/0.16) libssh2/1.7.0 
nghttp2/1.18.1 librtmp/2.3
Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 
pop3s rtmp rtsp scp sftp smb smbs smtp smtps telnet tftp 
Features: AsynchDNS IDN IPv6 Largefile GSS-API Kerberos SPNEGO NTLM
NTLM_WB SSL libz TLS-SRP HTTP2 UnixSockets HTTPS-proxy PSL 

Viele Grüße
Jörg


Re: [vz-users] You have new mail in /var/mail/pi

2019-06-12 Diskussionsfäden Andreas Götz
dbcopy.yaml falls Du das benutzt. 

Viele Grüße,
Andreas

> Am 12.06.2019 um 15:15 schrieb René W. :
> 
> Ich möchte nochmal mit einem sauberen System starten da die conf ja sweit 
> passten. Welche Daten muss ich noch sichern?
> Ich habe jetzt:
> /etc/vzlogger.conf
> /var/www/volkszaehler.org/etc/config.yaml gesichert
>  
> Danach würde ich die Image nochmals neu einspielen. Denn ich weiß gerade 
> nicht mehr welche Server noch aktiv sind und auf welchen es jetzt läuft, denn 
> zur Zeit läuft nichts mehr.
>  
> LG
>  
>  
> Von: Daniel Lauckner
> Gesendet: Mittwoch, 12. Juni 2019 14:24
> An: volkszaehler.org - users
> Betreff: Re: [vz-users] You have new mail in /var/mail/pi
>  
> Hallo,
>  
>  
> am Mittwoch, 12. Juni 2019 um 14:16 hat René W. geschrieben:
> > Macht es da vielleicht Sinn auf Apache2 umzusteigen?
>  
> Wieso?
>  
> > Ich habe nun erstmal den nginx Server versucht auf Port 82 zu ändern.
>  
> >   listen 82;
> >   listen [::]:82;
>  
> Eingang. Passt.
>  
> > proxy_pass http://127.0.0.1:82;
>  
> Das sollte das Ziel sein. Da gibt es nix zu ändern, 8080 ist weiterhin
> korrekt.
>  
>  
> mfg Daniel
>  
>  


Re: [vz-users] You have new mail in /var/mail/pi

2019-06-12 Diskussionsfäden René W .
Ich möchte nochmal mit einem sauberen System starten da die conf ja sweit 
passten. Welche Daten muss ich noch sichern?
Ich habe jetzt:
/etc/vzlogger.conf
/var/www/volkszaehler.org/etc/config.yaml gesichert

Danach würde ich die Image nochmals neu einspielen. Denn ich weiß gerade nicht 
mehr welche Server noch aktiv sind und auf welchen es jetzt läuft, denn zur 
Zeit läuft nichts mehr.

LG


Von: Daniel Lauckner
Gesendet: Mittwoch, 12. Juni 2019 14:24
An: volkszaehler.org - users
Betreff: Re: [vz-users] You have new mail in /var/mail/pi

Hallo,


am Mittwoch, 12. Juni 2019 um 14:16 hat René W. geschrieben:
> Macht es da vielleicht Sinn auf Apache2 umzusteigen?

Wieso?

> Ich habe nun erstmal den nginx Server versucht auf Port 82 zu ändern.

>   listen 82;
>   listen [::]:82;

Eingang. Passt.

>     proxy_pass http://127.0.0.1:82;

Das sollte das Ziel sein. Da gibt es nix zu ändern, 8080 ist weiterhin
korrekt.


mfg Daniel




Re: [vz-users] You have new mail in /var/mail/pi

2019-06-12 Diskussionsfäden Daniel Lauckner
Hallo,


am Mittwoch, 12. Juni 2019 um 14:16 hat René W. geschrieben:
> Macht es da vielleicht Sinn auf Apache2 umzusteigen?

Wieso?

> Ich habe nun erstmal den nginx Server versucht auf Port 82 zu ändern.

>   listen 82;
>   listen [::]:82;

Eingang. Passt.

>     proxy_pass http://127.0.0.1:82;

Das sollte das Ziel sein. Da gibt es nix zu ändern, 8080 ist weiterhin
korrekt.


mfg Daniel



Re: [vz-users] You have new mail in /var/mail/pi

2019-06-12 Diskussionsfäden René W .
OK VZ läuft und daten werden auch auf NAS geschrieben.
Jetzt möchte ich gerne den Port auf 82 ändern, da noch ein weiteres Projekt 
(PiHole) parallel laufen soll. Macht es da vielleicht Sinn auf Apache2 
umzusteigen?
Ich habe nun erstmal den nginx Server versucht auf Port 82 zu ändern.
In der /etc/nginx/sites-available/volkszaehler steht nun
# Volkszaehler

include /etc/nginx/proxy_params;

server {
  listen 82;
  listen [::]:82;

  location / {
proxy_pass http://127.0.0.1:82;
include /etc/nginx/proxy_params;
  }

  location /middleware {
rewrite ^/middleware(.php)?(/.*)? $2;
proxy_pass http://127.0.0.1:82/;
  }

  location /api {
rewrite ^/api(/.*)? $1;
proxy_pass http://127.0.0.1:82/;
  }

  location /frontend {
rewrite ^/frontend/(.*) $1;
proxy_pass http://127.0.0.1:82/;
  }
}

Dann habe ich sudo systemctl restart nginx gemacht
Und sudo netstat -tulpn spuckt das aus:
pi@raspberrypi:~ $ sudo netstat -tulpn
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address   Foreign Address State   
PID/Program name
tcp0  0 0.0.0.0:55820.0.0.0:*   LISTEN  
491/php
tcp0  0 0.0.0.0:80800.0.0.0:*   LISTEN  
1841/php
tcp0  0 0.0.0.0:82  0.0.0.0:*   LISTEN  
1940/nginx: master
tcp0  0 0.0.0.0:80820.0.0.0:*   LISTEN  
491/php
tcp0  0 0.0.0.0:22  0.0.0.0:*   LISTEN  
409/sshd
tcp0  0 127.0.0.1:250.0.0.0:*   LISTEN  
991/exim4
tcp0  0 0.0.0.0:33060.0.0.0:*   LISTEN  
608/mysqld
tcp6   0  0 :::82   :::*LISTEN  
1940/nginx: master
tcp6   0  0 :::22   :::*LISTEN  
409/sshd
tcp6   0  0 ::1:25  :::*LISTEN  
991/exim4
udp0  0 0.0.0.0:37423   0.0.0.0:*   
303/avahi-daemon: r
udp0  0 0.0.0.0:68  0.0.0.0:*   
488/dhcpcd
udp0  0 0.0.0.0:53530.0.0.0:*   
303/avahi-daemon: r
udp6   0  0 :::55792:::*
303/avahi-daemon: r
udp6   0  0 :::546  :::*
488/dhcpcd
udp6   0  0 :::5353 :::*
303/avahi-daemon: r

In der vzlogger.conf habe ich auch die channels angepasst in
"middleware": "http://192.168.178.22:82/middleware.php";,

Hab ich noch was vergessen? Denn wenn ich http://192.168.178.22:82/frontend/ 
aufrufe erhalte ich eine Fehlermeldung „500 Internal Server Error nginx/1.14.2“



Von: Andreas Goetz
Gesendet: Dienstag, 11. Juni 2019 22:27
An: volkszaehler.org - users
Betreff: Re: [vz-users] You have new mail in /var/mail/pi

...oder :update, meist klappt das!

Am 11.06.2019 um 22:03 schrieb Frank Richter :
Die vorhandenen Datensätze sind nicht besonders wertvoll, oder?

Dann am besten nochmal neu: die 2 Tabellen löschen und dann entweder einen Dump 
vom Image erstellen und importieren oder einfach:

php /home/pi/volkszaehler.org/bin/doctrine orm:schema-tool:create

René W.  schrieb am Di., 11. Juni 2019, 21:43:
Ok, ich habe Zugriff. Der angelegte Benutzer hatte nur Zugriff von localhost. 
Mit Änderung auf @% hat es geklappt.
Die DB scheint aber nicht alle Tabellen sauber zu haben. Wie kann ich die 
„nachpflegen“?

 
Von: Andreas Goetz
Gesendet: Dienstag, 11. Juni 2019 21:37
An: volkszaehler.org - users
Betreff: Re: [vz-users] You have new mail in /var/mail/pi
 
Dann hat- wie vermutet- Dein User keinen Zugriff auf die DB. Eindeutiger wirds 
nicht ;)

On 11. Jun 2019, at 21:09, René W.  wrote:
 
Ich teste gerade:
pi@raspberrypi:~ $ mysql -h192.168.178.58 -P3306 -uroot -pXX volkzaehler
ERROR 1045 (28000): Access denied for user 'root'@'PiHole.fritz.box' (using 
password: YES)
 
Von: Andreas Goetz
Gesendet: Dienstag, 11. Juni 2019 20:52
An: volkszaehler.org - users
Betreff: Re: [vz-users] You have new mail in /var/mail/pi
 
Mhhm. Und Du bist sicher, dass der gleiche User auf der Kommandozeile 
funktioniert, also:
 
mysql -u root2 -ppassword volkszaehler
 
Viele Grüße, 
Andreas
 


On 11. Jun 2019, at 20:21, René W.  wrote:
 
Das habe ich, dachte ich zumindest. Hab extra nochmal einen root2 User mit 
allen Privilegien angelegt. Ich erhalte immer noch die Meldung. Auch ein 
Auskommentieren brachte kein Erfolg.
 
LG
 
Von: Frank Richter
Gesendet: Dienstag, 11. Juni 2019 19:02
An: volkszaehler.org - users
Betreff: Re: [vz-users] You have new mail in /var/mail/pi
 
In der config.yaml für den DB-Admin passende Zugangsdaten eingeben.
 
René W.  schrieb am Di., 11. Juni 2019, 18:51:
Moin,
 
ich erhalte regelmäßig im SSH „You have new mail in /v

Re: [vz-users] Zugriffsmöglichkeit auf SMA WR mit Modbus Schnittstelle?

2019-06-12 Diskussionsfäden Andreas Goetz
Hallo Zusammen,

nachdem ich schon Hilfe beim Zugriff auf einen SMA WR bekommen konnte wäre
es Klasse das Gleiche auch mit einem Kostal WR tun zu können.

Falls mir (cpui...@gmx.de) jemand Remote Zugriff (per SSH oder VPN) auf
einen Kostal WR mit MODBUS TCP Schnittstelle geben könnte wäre ich sehr
dankbar!

Viele Grüße,
Andreas


On Thu, Feb 21, 2019 at 11:19 AM Andreas Goetz  wrote:

> Hallo Zusammen,
>
> für die Weiterentwicklung von gosdm suche ich Unterstützung. Konkret suche
> ich jemanden der mir remote Zugriff auf einen SMA WR mit ModBus
> Schnittstelle geben könnte.
> Hintergrund ist dass gosdm für diese WR aktuell nicht fehlerfrei
> funktioniert und mir ein Testgerät fehlt um die Fehler sinnvoll zu
> korrigieren. Für Kostal war Jörg schon so nett...
> Risiken für den WR bestehen nicht. Remotezugriff könnte z.B. per SSH mit
> Zertifikat erfolgen.
>
> Falls irgendjemand einen passenden Sunny Boy (Storage) hat und helfen
> möchte freue ich mich über Mail (cpui...@gmx.de).
>
> Viele Dank,
> Andreas
>