Re: [vz-users] Automatisches Backupkonzept auf NAS

[justin]

Moin,

Am 25.11.2014 um 09:05 schrieb Andreas Goetz :

> 2014-11-25 7:09 GMT+01:00 :
> 
>> Worüber bin ich jetzt gestolpert?
> 
> Dein sqlite wurde ca. 40 BC zum letzten mal produktiv eingesetzt- Du brauchst 
> sqlite3 da sich das Dateiformat zwischen 2 und 3 geändert hat.

Debian halt ;-)

Im Ernst: mein Fehler hatte sqlite und nicht sqlite3 installiert (und benutzt)

Nun komme ich in den nächsten Spiele-Level - kann aber den Endgegner noch nicht 
sehen:

$ file vz.*
vz.db:  SQLite 3.x database
vz.db.alt: SQLite 2.x database
vz.sqlite:  ASCII text, with very long lines

$ php misc/tools/dbcopy.php backup -c /opt/dbcopy/dbcopy.json
PHP Fatal error:  Using $this when not in object context in 
/demo.volkszaehler.org/vendor/andig/dbcopy/DatabaseCopy/Command/BackupCommand.php
 on line 74

Haste mir auch hier wieder nen Cheat-Code? ;-)


Gruß, J.

Re: [vz-users] Automatisches Backupkonzept auf NAS

[Andreas Goetz]

Moin,

2014-11-25 7:09 GMT+01:00 :

> Hi Andreas,
>
> Am 24.11.2014 um 23:01 schrieb Andreas Götz :
>
> > Mach mal php misc/tools/doctrine statt dem deep link aus vendor, dann
> geht auch das.
>
> in der Tat - das klappt :-)
>


> >>> Als Workaround kannst Du das Schema von Hand anlegen indem Du in der
> vz.conf.php auf sqlite änderst und dann das Schema mit doctrine schema-tool
> anlegst.
> >>
>
> das klappt nun also:
>
> $ sqlite vz.db < vz.sqlite
>

Ah...

Worüber bin ich jetzt gestolpert?
>

Dein sqlite wurde ca. 40 BC zum letzten mal produktiv eingesetzt- Du
brauchst sqlite3 da sich das Dateiformat zwischen 2 und 3 geändert hat.


> Danke für’s Dranbleiben :-)
>
>
> Gruß, J.
>
>
Viele Grüße,
Andreas

Re: [vz-users] Automatisches Backupkonzept auf NAS

[justin]

Hi Andreas,

Am 24.11.2014 um 23:01 schrieb Andreas Götz :

> Mach mal php misc/tools/doctrine statt dem deep link aus vendor, dann geht 
> auch das.

in der Tat - das klappt :-)

php misc/tools/doctrine.php orm:schema-tool:create --dump-sql > vz.sqlite


>> Am 24.11.2014 um 22:21 schrieb jus...@justinotherguy.org:
>> 
>>> Am 24.11.2014 um 20:12 schrieb Andreas Goetz :
>>> 
>> 
>>> Als Workaround kannst Du das Schema von Hand anlegen indem Du in der 
>>> vz.conf.php auf sqlite änderst und dann das Schema mit doctrine schema-tool 
>>> anlegst.
>> 

das klappt nun also:

$ sqlite vz.db < vz.sqlite

Die vz.sqlite hab ich nun in dbcopy.json eingetragen und dann:


 - backup:
 php /opt/dbcopy/dbcopy.php backup  -c /opt/dbcopy/dbcopy.json
>>> 

$ php misc/tools/dbcopy.php backup -c /opt/dbcopy/dbcopy.json

  [Doctrine\DBAL\DBALException]
  An exception occurred while executing 'SELECT name FROM sqlite_master WHERE 
type = 'table' AND name != 'sqlite_sequence' AND name != 'geometry_columns' AND 
name != 'spatial_ref_sys' UNION A
  LL SELECT name FROM sqlite_temp_master WHERE type = 'table' ORDER BY name':
  SQLSTATE[HY000]: General error: 26 file is encrypted or is not a database

  [PDOException]
  SQLSTATE[HY000]: General error: 26 file is encrypted or is not a database

Hm. Dabei sieht die Datei ganz gut aus:
$ file vz.db
/var/lib/mysql/vz.db: SQLite 2.x database
$ ls -al vz.db
-rw-r--r-- 1  24576 Nov 25 06:56 vz.db

Worüber bin ich jetzt gestolpert?

Danke für’s Dranbleiben :-)


Gruß, J.

Re: [vz-users] Automatisches Backupkonzept auf NAS

[Andreas Götz]

Mach mal php misc/tools/doctrine statt dem deep link aus vendor, dann geht auch 
das.

Viele Grüße, Andreas




> Am 24.11.2014 um 22:21 schrieb jus...@justinotherguy.org:
> 
> Hi Andreas,
> 
>> Am 24.11.2014 um 20:12 schrieb Andreas Goetz :
>> 
>> 2014-11-24 0:12 GMT+01:00 :
>>> - git clone https://github.com/andig/dbcopy.git
>> 
>> Braucht es nicht- einfach `git pull` in Deiner VZ Installation, dann 
>> `composer install`- es ist als Abhängigkeit bereits drin.
> 
> aha, ok.
> 
> 
>>> - Ziel-DB erzeugen:
>>> php /opt/dbcopy/dbcopy.php create -c /opt/dbcopy/dbcopy.json
>>> Creating target schema
>>> renaming assets for target platform: sqlite
>>> table: data
>>> table: entities
>>> table: entities_in_aggregator
>>> table: properties
>>> (Anm.: scheint keine sqlite-DB zu erzeugen - im lokalen Verzeichnis liegt 
>>> jedenfalls nix)
>>> 
>> Ja. Scheint ein Fehler zu sein, muss ich mir anschauen. Aber selbst wenn ich 
>> den behebe klappt das bei Dir nicht:
>> - wir haben im Schema keys mit identischem Namen die bei sqlite zu 
>> Duplikaten führen
>> - ich habs im git schon gefixt, aber...
>> - doctrine weigert sich das key rename zu synchronisieren wenn man nicht 
>> auch sonst was am schema ändert :(
> 
> ahja, *hüstel*, klar! ;-)
> 
> 
>> Als Workaround kannst Du das Schema von Hand anlegen indem Du in der 
>> vz.conf.php auf sqlite änderst und dann das Schema mit doctrine schema-tool 
>> anlegst.
> 
> das hab ich probiert:
> - etc/volkszaehler.conf.php:
>$config['db']['driver'] = 'pdo_sqlite‘;
>$config['db']['path'] = 'volkszaehler.sqlite‘;
> 
> $ php vendor/doctrine/orm/bin/doctrine.php orm:schema-tool:create --dump-sql
> You are missing a "cli-config.php" or "config/cli-config.php" file in your
> project, which is required to get the Doctrine Console working. You can use 
> the
> following sample as a template:
> 
>  use Doctrine\ORM\Tools\Console\ConsoleRunner;
> 
> // replace with file to your own project bootstrap
> require_once 'bootstrap.php';
> 
> // replace with mechanism to retrieve EntityManager in your app
> $entityManager = GetEntityManager();
> 
> return ConsoleRunner::createHelperSet($entityManager);
> 
> hm - das war mir dann doch zu suspekt...
> 
> 
>>> - backup:
>>> php /opt/dbcopy/dbcopy.php backup  -c /opt/dbcopy/dbcopy.json
>> 
>> Dann sollte das auch funktionieren.
> 
> bis hier bin ich leider nicht gekommen...
> 
> 
>> Versuchst Du es nochmal und machst mir für das Anlegen ein Issue auf?
> 
> done: https://github.com/volkszaehler/volkszaehler.org/issues/188
> 
> 
> Gruß, J.
> 

Re: [vz-users] Automatisches Backupkonzept auf NAS

[justin]

Hi Andreas,

Am 24.11.2014 um 20:12 schrieb Andreas Goetz :

> 2014-11-24 0:12 GMT+01:00 :
>> - git clone https://github.com/andig/dbcopy.git
> 
> Braucht es nicht- einfach `git pull` in Deiner VZ Installation, dann 
> `composer install`- es ist als Abhängigkeit bereits drin.

aha, ok.


>> - Ziel-DB erzeugen:
>> php /opt/dbcopy/dbcopy.php create -c /opt/dbcopy/dbcopy.json
>> Creating target schema
>> renaming assets for target platform: sqlite
>> table: data
>> table: entities
>> table: entities_in_aggregator
>> table: properties
>> (Anm.: scheint keine sqlite-DB zu erzeugen - im lokalen Verzeichnis liegt 
>> jedenfalls nix)
>> 
> Ja. Scheint ein Fehler zu sein, muss ich mir anschauen. Aber selbst wenn ich 
> den behebe klappt das bei Dir nicht:
> - wir haben im Schema keys mit identischem Namen die bei sqlite zu Duplikaten 
> führen
> - ich habs im git schon gefixt, aber...
> - doctrine weigert sich das key rename zu synchronisieren wenn man nicht auch 
> sonst was am schema ändert :(

ahja, *hüstel*, klar! ;-)


> Als Workaround kannst Du das Schema von Hand anlegen indem Du in der 
> vz.conf.php auf sqlite änderst und dann das Schema mit doctrine schema-tool 
> anlegst.

das hab ich probiert:
- etc/volkszaehler.conf.php:
$config['db']['driver'] = 'pdo_sqlite‘;
$config['db']['path'] = 'volkszaehler.sqlite‘;

$ php vendor/doctrine/orm/bin/doctrine.php orm:schema-tool:create --dump-sql
You are missing a "cli-config.php" or "config/cli-config.php" file in your
project, which is required to get the Doctrine Console working. You can use the
following sample as a template:

> - backup:
>> php /opt/dbcopy/dbcopy.php backup  -c /opt/dbcopy/dbcopy.json
>  
> Dann sollte das auch funktionieren.

bis hier bin ich leider nicht gekommen...


> Versuchst Du es nochmal und machst mir für das Anlegen ein Issue auf?

done: https://github.com/volkszaehler/volkszaehler.org/issues/188


Gruß, J.

Re: [vz-users] Automatisches Backupkonzept auf NAS

[Andreas Goetz]

Hallo Justin,

2014-11-24 0:12 GMT+01:00 :

> Moin Andreas,
>
> Am 23.11.2014 um 11:54 schrieb Andreas Goetz :
>
> > Schau Euch doch mal https://github.com/andig/dbcopy an. Im aktuellen VZ
> git habe ich das Tool inklusive Parameterdatei verlinkt. Es kann
> inkrementelle Backups der VZ DB erstellen (geht allerdings davon aus aus
> dass alte Datensätze nicht gelöscht/ geändert werden). Bei Bedarf kann es
> auch von mysql z.b. nach sqlite kopieren und zurück.
>
> das klingt super!
>
> Wollte das gleich mal testen - leider bislang ohne Erfolg:
> - git clone https://github.com/andig/dbcopy.git
>

Braucht es nicht- einfach `git pull` in Deiner VZ Installation, dann
`composer install`- es ist als Abhängigkeit bereits drin.

- dbcopy.json angepasst:
>"source": {
>// source database connection
>"driver": "pdo_mysql",
>"host": "localhost",
>"user": „vz",
>"password": „",
>"dbname": "volkszaehler"
>},
>"target": {
>// target database connection
>"driver": "pdo_sqlite",
>"path": "sqlite.db3",   // path is only used if
> driver = pdo_sqlite
>"host": "localhost",
>"user": "travis",
>"password": ""
>// "dbname": „backup“
> […] Rest: default
> - Composer installiert ("curl -s http://getcomposer.org/installer | php“,
> "php composer.phar install")
> - sqlite-Treiber installiert: apt-get install sqlite libsqlite0 php5-sqlite
>

Soweit gut.


> - Ziel-DB erzeugen:
> php /opt/dbcopy/dbcopy.php create -c /opt/dbcopy/dbcopy.json
> Creating target schema
> renaming assets for target platform: sqlite
> table: data
> table: entities
> table: entities_in_aggregator
> table: properties
> (Anm.: scheint keine sqlite-DB zu erzeugen - im lokalen Verzeichnis liegt
> jedenfalls nix)
>

Ja. Scheint ein Fehler zu sein, muss ich mir anschauen. Aber selbst wenn
ich den behebe klappt das bei Dir nicht:
- wir haben im Schema keys mit identischem Namen die bei sqlite zu
Duplikaten führen
- ich habs im git schon gefixt, aber...
- doctrine weigert sich das key rename zu synchronisieren wenn man nicht
auch sonst was am schema ändert :(

Als Workaround kannst Du das Schema von Hand anlegen indem Du in der
vz.conf.php auf sqlite änderst und dann das Schema mit doctrine schema-tool
anlegst.


> - backup:
> php /opt/dbcopy/dbcopy.php backup  -c /opt/dbcopy/dbcopy.json
>

Dann sollte das auch funktionieren.

 [Exception]
>  Table entities doesn't exist.To create the schema run
>
> doctrine.php orm:schema-tool:create --dump-sql
> […]
> -> Backup beschwert sich prompt, dass es die Tabelle „entities“ nicht
> findet (vermtl. wird nur die erste angemeckert und dann gestoppt)
>
> Tipps? Was mach ich falsch?
>
> Gruß, J.
>
>
Versuchst Du es nochmal und machst mir für das Anlegen ein Issue auf?

Viele Grüße,
Andreas

Re: [vz-users] Automatisches Backupkonzept auf NAS

[justin]

Moin Andreas,

Am 23.11.2014 um 11:54 schrieb Andreas Goetz :

> Schau Euch doch mal https://github.com/andig/dbcopy an. Im aktuellen VZ git 
> habe ich das Tool inklusive Parameterdatei verlinkt. Es kann inkrementelle 
> Backups der VZ DB erstellen (geht allerdings davon aus aus dass alte 
> Datensätze nicht gelöscht/ geändert werden). Bei Bedarf kann es auch von 
> mysql z.b. nach sqlite kopieren und zurück.

das klingt super!

Wollte das gleich mal testen - leider bislang ohne Erfolg:
- git clone https://github.com/andig/dbcopy.git
- dbcopy.json angepasst:
   "source": {
   // source database connection
   "driver": "pdo_mysql",
   "host": "localhost",
   "user": „vz",
   "password": „",
   "dbname": "volkszaehler"
   },
   "target": {
   // target database connection
   "driver": "pdo_sqlite",
   "path": "sqlite.db3",   // path is only used if driver = 
pdo_sqlite
   "host": "localhost",
   "user": "travis",
   "password": ""
   // "dbname": „backup“
[…] Rest: default
- Composer installiert ("curl -s http://getcomposer.org/installer | php“, "php 
composer.phar install")
- sqlite-Treiber installiert: apt-get install sqlite libsqlite0 php5-sqlite
- Ziel-DB erzeugen:
php /opt/dbcopy/dbcopy.php create -c /opt/dbcopy/dbcopy.json
Creating target schema
renaming assets for target platform: sqlite
table: data
table: entities
table: entities_in_aggregator
table: properties
(Anm.: scheint keine sqlite-DB zu erzeugen - im lokalen Verzeichnis liegt 
jedenfalls nix)
- backup:
php /opt/dbcopy/dbcopy.php backup  -c /opt/dbcopy/dbcopy.json



 [Exception]
 Table entities doesn't exist.To create the schema run

doctrine.php orm:schema-tool:create --dump-sql
[…]
-> Backup beschwert sich prompt, dass es die Tabelle „entities“ nicht findet 
(vermtl. wird nur die erste angemeckert und dann gestoppt)

Tipps? Was mach ich falsch?


Gruß, J.

Re: [vz-users] Automatisches Backupkonzept auf NAS

[R.Wismann]

Hi
Jetzt bekomme ich aber besser eine Verbindung hin :)

Am 23. November 2014 22:05:26 MEZ, schrieb Daniel Lauckner :
>Am Sonntag, 23. November 2014 um 22:00 schrieb Daniel Lauckner:

>Und wieder mit dem Pseudonym aus dem Forum unterschrieben...
>Wird wohl Zeit fürs Bett.
>
>
>mfg Daniel
>
>
>---
>Diese E-Mail wurde von Avast Antivirus-Software auf Viren geprüft.
>http://www.avast.com

Danke @all, das klingt alles sehr gut und ich brauche etwas um dadurch zu 
Blicken bzw. zum Testen.

Beste Grüße 
Ralf 

-- 
Diese Nachricht wurde von meinem Android-Mobiltelefon gesendet.

Re: [vz-users] Automatisches Backupkonzept auf NAS

[Daniel Lauckner]

Am Sonntag, 23. November 2014 um 22:00 schrieb Daniel Lauckner:
> Dazu muss NAS aktiviert und für eine Freigabe die Berechtigung für den
Ich meinte natürlich NFS.

Und wieder mit dem Pseudonym aus dem Forum unterschrieben...
Wird wohl Zeit fürs Bett.


mfg Daniel


---
Diese E-Mail wurde von Avast Antivirus-Software auf Viren geprüft.
http://www.avast.com

Re: [vz-users] Automatisches Backupkonzept auf NAS

[Daniel Lauckner]

Am Sonntag, 23. November 2014 um 09:41 schrieb Ralf Wismann:
> Eine Lösung
> über PHPmyadmin erscheint mir nicht wirklich funktional, da die
> Datenmenge wohl irgendwann zu groß wird für den Browser, oder?

Ne, keine gute Idee.

> Schön wäre, wenn ich das Backup direkt auf ein Synology NAS ablegen könnte im 
> Heimnetzwerk.

Hast du schone ein Verzeichnis von der Syn auf dem Raspi gemountet?
Dazu muss NAS aktiviert und für eine Freigabe die Berechtigung für den
Raspi gesetzt sein. Rest nach HowTo:
http://www.raspbian.org/RaspbianFAQ#How_do_I_mount_directories_from_other_Linux.2FUnix.2FBSD_servers.3F__How_do_I_mount_an_NFS_share.3F
Für den Eintrag in /etc/fstab an der Synology-Empfehlung halten:
http://www.synology-wiki.de/index.php/NFS-Konfiguration#NFS_Client_Konfiguration_bei_Benutzung_Linux

Und weil man ja gegen Totalausfall der SD-Karte gesichert sein möchte
ein Komplettbackup mit rsync:
https://wiki.archlinux.org/index.php/full_system_backup_with_rsync
Ist nach Updates und Änderungen zu wiederholen...

Zwischendurch genügt ein Datenbankbackup.
Dazu habe ich die ~/bin/mysql-backup angepasst.


mfg JAU


---
Diese E-Mail wurde von Avast Antivirus-Software auf Viren geprüft.
http://www.avast.com

Re: [vz-users] Automatisches Backupkonzept auf NAS

[Andreas Goetz]

Hallo,

2014-11-23 11:35 GMT+01:00 Rudolf Reuter :

>  Hallo Ralf,
>
> ich setze "Back In Time" (Root mode) ein. Es wird  bei mir einmal am Tag
> (0 Uhr, CRON job)
>
>
> Am 23.11.14 um 09:41 schrieb Ralf Wismann:
>
>
>
> ich bin auf der Suche nach einem Backupkonzept für meinen volkszähler.
>
>
>
Schau Euch doch mal https://github.com/andig/dbcopy an. Im aktuellen VZ git
habe ich das Tool inklusive Parameterdatei verlinkt. Es kann inkrementelle
Backups der VZ DB erstellen (geht allerdings davon aus aus dass alte
Datensätze nicht gelöscht/ geändert werden). Bei Bedarf kann es auch von
mysql z.b. nach sqlite kopieren und zurück.

Das ließe sich z.B. auf dem NAS oder Raspi nutzen um nächtens zu kopieren.

Viele Grüße,
Andreas

Re: [vz-users] Automatisches Backupkonzept auf NAS

[dl4huf]

Für das Backup der Datenbank verwende ich MySqlDumper : 
http://www.mysqldumper.net/
Das hat eine Web-Frontend und erzeugt bei mir täglich ein Backup auf 
einer "externen" FTP-Freigabe.

In meinem Fall ein 32GB-Stick an der Fritzbox.
Die Datenbank ist komprimiert und das tgz wird erst lokal auf dem RPi 
erzeugt. Um die Schreibzugriffe dort zu minimieren ist
das temporäre Verzeichnis ein USB-Stick am Raspi. Somit existieren 2 
Kopien der Sicherung auf 2 Sticks.
Das Programm verwaltet außerdem die Anzahl der Versionen, so dass die 
Sticks nicht überlaufen.


Gruß Ronald

Am 23.11.2014 um 09:41 schrieb Ralf Wismann:


Hallo Zusammen,

ich bin auf der Suche nach einem Backupkonzept für meinen volkszähler.

Basierend auf der Tatsache, dass irgendwann die SD-Karte hinüber ist 
und/oder die Datenmenge zu groß wird benötige ich eine automatisierte 
Lösung um regelmäßig für den Ernstfall vorbereitet zu sein.


Dazu wäre es wohl gut einmal die komplette Konfi zu sichern (am besten 
die SD-Karte als Image) und dann nur noch Backups der Datenbank zu 
fahren, oder?


Könnt Ihr mir einen Tip geben wo ich etwas gut dokumentiertes finde. 
Bin in der Linux-Welt leider noch nicht so fit. Eine Lösung über 
PHPmyadmin erscheint mir nicht wirklich funktional, da die Datenmenge 
wohl irgendwann zu groß wird für den Browser, oder?


Weitere Lösungen (mit GUI) sind verfügbar, aber ob das sinnvoll ist, 
bin ich mir nicht sicher. z.B. sowas http://mysqlbackupftp.com/


Schön wäre, wenn ich das Backup direkt auf ein Synology NAS ablegen 
könnte im Heimnetzwerk.


Vielen Dank für Eure Tips und Vorschläge.

Viele Grüße

Ralf