Re: [vz-users] Automatisches Backupkonzept auf NAS
Moin, 2014-11-25 7:09 GMT+01:00 jus...@justinotherguy.org: Hi Andreas, Am 24.11.2014 um 23:01 schrieb Andreas Götz cpui...@gmail.com: Mach mal php misc/tools/doctrine statt dem deep link aus vendor, dann geht auch das. in der Tat - das klappt :-) Als Workaround kannst Du das Schema von Hand anlegen indem Du in der vz.conf.php auf sqlite änderst und dann das Schema mit doctrine schema-tool anlegst. das klappt nun also: $ sqlite vz.db vz.sqlite Ah... Worüber bin ich jetzt gestolpert? Dein sqlite wurde ca. 40 BC zum letzten mal produktiv eingesetzt- Du brauchst sqlite3 da sich das Dateiformat zwischen 2 und 3 geändert hat. Danke für’s Dranbleiben :-) Gruß, J. Viele Grüße, Andreas
Re: [vz-users] Automatisches Backupkonzept auf NAS
Moin, Am 25.11.2014 um 09:05 schrieb Andreas Goetz cpui...@gmail.com: 2014-11-25 7:09 GMT+01:00 jus...@justinotherguy.org: Worüber bin ich jetzt gestolpert? Dein sqlite wurde ca. 40 BC zum letzten mal produktiv eingesetzt- Du brauchst sqlite3 da sich das Dateiformat zwischen 2 und 3 geändert hat. Debian halt ;-) Im Ernst: mein Fehler hatte sqlite und nicht sqlite3 installiert (und benutzt) Nun komme ich in den nächsten Spiele-Level - kann aber den Endgegner noch nicht sehen: $ file vz.* vz.db: SQLite 3.x database vz.db.alt: SQLite 2.x database vz.sqlite: ASCII text, with very long lines $ php misc/tools/dbcopy.php backup -c /opt/dbcopy/dbcopy.json PHP Fatal error: Using $this when not in object context in pfad/demo.volkszaehler.org/vendor/andig/dbcopy/DatabaseCopy/Command/BackupCommand.php on line 74 Haste mir auch hier wieder nen Cheat-Code? ;-) Gruß, J.
Re: [vz-users] Automatisches Backupkonzept auf NAS
Hallo Justin,
2014-11-24 0:12 GMT+01:00 jus...@justinotherguy.org:
Moin Andreas,
Am 23.11.2014 um 11:54 schrieb Andreas Goetz cpui...@gmail.com:
Schau Euch doch mal https://github.com/andig/dbcopy an. Im aktuellen VZ
git habe ich das Tool inklusive Parameterdatei verlinkt. Es kann
inkrementelle Backups der VZ DB erstellen (geht allerdings davon aus aus
dass alte Datensätze nicht gelöscht/ geändert werden). Bei Bedarf kann es
auch von mysql z.b. nach sqlite kopieren und zurück.
das klingt super!
Wollte das gleich mal testen - leider bislang ohne Erfolg:
- git clone https://github.com/andig/dbcopy.git
Braucht es nicht- einfach `git pull` in Deiner VZ Installation, dann
`composer install`- es ist als Abhängigkeit bereits drin.
- dbcopy.json angepasst:
source: {
// source database connection
driver: pdo_mysql,
host: localhost,
user: „vz,
password: „sssh!,
dbname: volkszaehler
},
target: {
// target database connection
driver: pdo_sqlite,
path: sqlite.db3, // path is only used if
driver = pdo_sqlite
host: localhost,
user: travis,
password:
// dbname: „backup“
[…] Rest: default
- Composer installiert (curl -s http://getcomposer.org/installer | php“,
php composer.phar install)
- sqlite-Treiber installiert: apt-get install sqlite libsqlite0 php5-sqlite
Soweit gut.
- Ziel-DB erzeugen:
php /opt/dbcopy/dbcopy.php create -c /opt/dbcopy/dbcopy.json
Creating target schema
renaming assets for target platform: sqlite
table: data
table: entities
table: entities_in_aggregator
table: properties
(Anm.: scheint keine sqlite-DB zu erzeugen - im lokalen Verzeichnis liegt
jedenfalls nix)
Ja. Scheint ein Fehler zu sein, muss ich mir anschauen. Aber selbst wenn
ich den behebe klappt das bei Dir nicht:
- wir haben im Schema keys mit identischem Namen die bei sqlite zu
Duplikaten führen
- ich habs im git schon gefixt, aber...
- doctrine weigert sich das key rename zu synchronisieren wenn man nicht
auch sonst was am schema ändert :(
Als Workaround kannst Du das Schema von Hand anlegen indem Du in der
vz.conf.php auf sqlite änderst und dann das Schema mit doctrine schema-tool
anlegst.
- backup:
php /opt/dbcopy/dbcopy.php backup -c /opt/dbcopy/dbcopy.json
Dann sollte das auch funktionieren.
[Exception]
Table entities doesn't exist.To create the schema run
doctrine.php orm:schema-tool:create --dump-sql
[…]
- Backup beschwert sich prompt, dass es die Tabelle „entities“ nicht
findet (vermtl. wird nur die erste angemeckert und dann gestoppt)
Tipps? Was mach ich falsch?
Gruß, J.
Versuchst Du es nochmal und machst mir für das Anlegen ein Issue auf?
Viele Grüße,
Andreas
Re: [vz-users] Automatisches Backupkonzept auf NAS
Hi Andreas, Am 24.11.2014 um 20:12 schrieb Andreas Goetz cpui...@gmail.com: 2014-11-24 0:12 GMT+01:00 jus...@justinotherguy.org: - git clone https://github.com/andig/dbcopy.git Braucht es nicht- einfach `git pull` in Deiner VZ Installation, dann `composer install`- es ist als Abhängigkeit bereits drin. aha, ok. - Ziel-DB erzeugen: php /opt/dbcopy/dbcopy.php create -c /opt/dbcopy/dbcopy.json Creating target schema renaming assets for target platform: sqlite table: data table: entities table: entities_in_aggregator table: properties (Anm.: scheint keine sqlite-DB zu erzeugen - im lokalen Verzeichnis liegt jedenfalls nix) Ja. Scheint ein Fehler zu sein, muss ich mir anschauen. Aber selbst wenn ich den behebe klappt das bei Dir nicht: - wir haben im Schema keys mit identischem Namen die bei sqlite zu Duplikaten führen - ich habs im git schon gefixt, aber... - doctrine weigert sich das key rename zu synchronisieren wenn man nicht auch sonst was am schema ändert :( ahja, *hüstel*, klar! ;-) Als Workaround kannst Du das Schema von Hand anlegen indem Du in der vz.conf.php auf sqlite änderst und dann das Schema mit doctrine schema-tool anlegst. das hab ich probiert: - etc/volkszaehler.conf.php: $config['db']['driver'] = 'pdo_sqlite‘; $config['db']['path'] = 'volkszaehler.sqlite‘; $ php vendor/doctrine/orm/bin/doctrine.php orm:schema-tool:create --dump-sql You are missing a cli-config.php or config/cli-config.php file in your project, which is required to get the Doctrine Console working. You can use the following sample as a template: ?php use Doctrine\ORM\Tools\Console\ConsoleRunner; // replace with file to your own project bootstrap require_once 'bootstrap.php'; // replace with mechanism to retrieve EntityManager in your app $entityManager = GetEntityManager(); return ConsoleRunner::createHelperSet($entityManager); hm - das war mir dann doch zu suspekt... - backup: php /opt/dbcopy/dbcopy.php backup -c /opt/dbcopy/dbcopy.json Dann sollte das auch funktionieren. bis hier bin ich leider nicht gekommen... Versuchst Du es nochmal und machst mir für das Anlegen ein Issue auf? done: https://github.com/volkszaehler/volkszaehler.org/issues/188 Gruß, J.
Re: [vz-users] Automatisches Backupkonzept auf NAS
Mach mal php misc/tools/doctrine statt dem deep link aus vendor, dann geht auch das. Viele Grüße, Andreas Am 24.11.2014 um 22:21 schrieb jus...@justinotherguy.org: Hi Andreas, Am 24.11.2014 um 20:12 schrieb Andreas Goetz cpui...@gmail.com: 2014-11-24 0:12 GMT+01:00 jus...@justinotherguy.org: - git clone https://github.com/andig/dbcopy.git Braucht es nicht- einfach `git pull` in Deiner VZ Installation, dann `composer install`- es ist als Abhängigkeit bereits drin. aha, ok. - Ziel-DB erzeugen: php /opt/dbcopy/dbcopy.php create -c /opt/dbcopy/dbcopy.json Creating target schema renaming assets for target platform: sqlite table: data table: entities table: entities_in_aggregator table: properties (Anm.: scheint keine sqlite-DB zu erzeugen - im lokalen Verzeichnis liegt jedenfalls nix) Ja. Scheint ein Fehler zu sein, muss ich mir anschauen. Aber selbst wenn ich den behebe klappt das bei Dir nicht: - wir haben im Schema keys mit identischem Namen die bei sqlite zu Duplikaten führen - ich habs im git schon gefixt, aber... - doctrine weigert sich das key rename zu synchronisieren wenn man nicht auch sonst was am schema ändert :( ahja, *hüstel*, klar! ;-) Als Workaround kannst Du das Schema von Hand anlegen indem Du in der vz.conf.php auf sqlite änderst und dann das Schema mit doctrine schema-tool anlegst. das hab ich probiert: - etc/volkszaehler.conf.php: $config['db']['driver'] = 'pdo_sqlite‘; $config['db']['path'] = 'volkszaehler.sqlite‘; $ php vendor/doctrine/orm/bin/doctrine.php orm:schema-tool:create --dump-sql You are missing a cli-config.php or config/cli-config.php file in your project, which is required to get the Doctrine Console working. You can use the following sample as a template: ?php use Doctrine\ORM\Tools\Console\ConsoleRunner; // replace with file to your own project bootstrap require_once 'bootstrap.php'; // replace with mechanism to retrieve EntityManager in your app $entityManager = GetEntityManager(); return ConsoleRunner::createHelperSet($entityManager); hm - das war mir dann doch zu suspekt... - backup: php /opt/dbcopy/dbcopy.php backup -c /opt/dbcopy/dbcopy.json Dann sollte das auch funktionieren. bis hier bin ich leider nicht gekommen... Versuchst Du es nochmal und machst mir für das Anlegen ein Issue auf? done: https://github.com/volkszaehler/volkszaehler.org/issues/188 Gruß, J.
Re: [vz-users] Automatisches Backupkonzept auf NAS
Hi Andreas, Am 24.11.2014 um 23:01 schrieb Andreas Götz cpui...@gmail.com: Mach mal php misc/tools/doctrine statt dem deep link aus vendor, dann geht auch das. in der Tat - das klappt :-) php misc/tools/doctrine.php orm:schema-tool:create --dump-sql vz.sqlite Am 24.11.2014 um 22:21 schrieb jus...@justinotherguy.org: Am 24.11.2014 um 20:12 schrieb Andreas Goetz cpui...@gmail.com: Als Workaround kannst Du das Schema von Hand anlegen indem Du in der vz.conf.php auf sqlite änderst und dann das Schema mit doctrine schema-tool anlegst. das klappt nun also: $ sqlite vz.db vz.sqlite Die vz.sqlite hab ich nun in dbcopy.json eingetragen und dann: - backup: php /opt/dbcopy/dbcopy.php backup -c /opt/dbcopy/dbcopy.json $ php misc/tools/dbcopy.php backup -c /opt/dbcopy/dbcopy.json [Doctrine\DBAL\DBALException] An exception occurred while executing 'SELECT name FROM sqlite_master WHERE type = 'table' AND name != 'sqlite_sequence' AND name != 'geometry_columns' AND name != 'spatial_ref_sys' UNION A LL SELECT name FROM sqlite_temp_master WHERE type = 'table' ORDER BY name': SQLSTATE[HY000]: General error: 26 file is encrypted or is not a database [PDOException] SQLSTATE[HY000]: General error: 26 file is encrypted or is not a database Hm. Dabei sieht die Datei ganz gut aus: $ file vz.db /var/lib/mysql/vz.db: SQLite 2.x database $ ls -al vz.db -rw-r--r-- 1 24576 Nov 25 06:56 vz.db Worüber bin ich jetzt gestolpert? Danke für’s Dranbleiben :-) Gruß, J.
Re: [vz-users] Automatisches Backupkonzept auf NAS
Für das Backup der Datenbank verwende ich MySqlDumper : http://www.mysqldumper.net/ Das hat eine Web-Frontend und erzeugt bei mir täglich ein Backup auf einer externen FTP-Freigabe. In meinem Fall ein 32GB-Stick an der Fritzbox. Die Datenbank ist komprimiert und das tgz wird erst lokal auf dem RPi erzeugt. Um die Schreibzugriffe dort zu minimieren ist das temporäre Verzeichnis ein USB-Stick am Raspi. Somit existieren 2 Kopien der Sicherung auf 2 Sticks. Das Programm verwaltet außerdem die Anzahl der Versionen, so dass die Sticks nicht überlaufen. Gruß Ronald Am 23.11.2014 um 09:41 schrieb Ralf Wismann: Hallo Zusammen, ich bin auf der Suche nach einem Backupkonzept für meinen volkszähler. Basierend auf der Tatsache, dass irgendwann die SD-Karte hinüber ist und/oder die Datenmenge zu groß wird benötige ich eine automatisierte Lösung um regelmäßig für den Ernstfall vorbereitet zu sein. Dazu wäre es wohl gut einmal die komplette Konfi zu sichern (am besten die SD-Karte als Image) und dann nur noch Backups der Datenbank zu fahren, oder? Könnt Ihr mir einen Tip geben wo ich etwas gut dokumentiertes finde. Bin in der Linux-Welt leider noch nicht so fit. Eine Lösung über PHPmyadmin erscheint mir nicht wirklich funktional, da die Datenmenge wohl irgendwann zu groß wird für den Browser, oder? Weitere Lösungen (mit GUI) sind verfügbar, aber ob das sinnvoll ist, bin ich mir nicht sicher. z.B. sowas http://mysqlbackupftp.com/ Schön wäre, wenn ich das Backup direkt auf ein Synology NAS ablegen könnte im Heimnetzwerk. Vielen Dank für Eure Tips und Vorschläge. Viele Grüße Ralf
Re: [vz-users] Automatisches Backupkonzept auf NAS
Hallo, 2014-11-23 11:35 GMT+01:00 Rudolf Reuter reute...@arcor.de: Hallo Ralf, ich setze Back In Time (Root mode) ein. Es wird bei mir einmal am Tag (0 Uhr, CRON job) Am 23.11.14 um 09:41 schrieb Ralf Wismann: ich bin auf der Suche nach einem Backupkonzept für meinen volkszähler. Schau Euch doch mal https://github.com/andig/dbcopy an. Im aktuellen VZ git habe ich das Tool inklusive Parameterdatei verlinkt. Es kann inkrementelle Backups der VZ DB erstellen (geht allerdings davon aus aus dass alte Datensätze nicht gelöscht/ geändert werden). Bei Bedarf kann es auch von mysql z.b. nach sqlite kopieren und zurück. Das ließe sich z.B. auf dem NAS oder Raspi nutzen um nächtens zu kopieren. Viele Grüße, Andreas
Re: [vz-users] Automatisches Backupkonzept auf NAS
Am Sonntag, 23. November 2014 um 09:41 schrieb Ralf Wismann: Eine Lösung über PHPmyadmin erscheint mir nicht wirklich funktional, da die Datenmenge wohl irgendwann zu groß wird für den Browser, oder? Ne, keine gute Idee. Schön wäre, wenn ich das Backup direkt auf ein Synology NAS ablegen könnte im Heimnetzwerk. Hast du schone ein Verzeichnis von der Syn auf dem Raspi gemountet? Dazu muss NAS aktiviert und für eine Freigabe die Berechtigung für den Raspi gesetzt sein. Rest nach HowTo: http://www.raspbian.org/RaspbianFAQ#How_do_I_mount_directories_from_other_Linux.2FUnix.2FBSD_servers.3F__How_do_I_mount_an_NFS_share.3F Für den Eintrag in /etc/fstab an der Synology-Empfehlung halten: http://www.synology-wiki.de/index.php/NFS-Konfiguration#NFS_Client_Konfiguration_bei_Benutzung_Linux Und weil man ja gegen Totalausfall der SD-Karte gesichert sein möchte ein Komplettbackup mit rsync: https://wiki.archlinux.org/index.php/full_system_backup_with_rsync Ist nach Updates und Änderungen zu wiederholen... Zwischendurch genügt ein Datenbankbackup. Dazu habe ich die ~/bin/mysql-backup angepasst. mfg JAU --- Diese E-Mail wurde von Avast Antivirus-Software auf Viren geprüft. http://www.avast.com
Re: [vz-users] Automatisches Backupkonzept auf NAS
Am Sonntag, 23. November 2014 um 22:00 schrieb Daniel Lauckner: Dazu muss NAS aktiviert und für eine Freigabe die Berechtigung für den Ich meinte natürlich NFS. Und wieder mit dem Pseudonym aus dem Forum unterschrieben... Wird wohl Zeit fürs Bett. mfg Daniel --- Diese E-Mail wurde von Avast Antivirus-Software auf Viren geprüft. http://www.avast.com
Re: [vz-users] Automatisches Backupkonzept auf NAS
Hi Jetzt bekomme ich aber besser eine Verbindung hin :) Am 23. November 2014 22:05:26 MEZ, schrieb Daniel Lauckner mail...@jahp.de: Am Sonntag, 23. November 2014 um 22:00 schrieb Daniel Lauckner: Und wieder mit dem Pseudonym aus dem Forum unterschrieben... Wird wohl Zeit fürs Bett. mfg Daniel --- Diese E-Mail wurde von Avast Antivirus-Software auf Viren geprüft. http://www.avast.com Danke @all, das klingt alles sehr gut und ich brauche etwas um dadurch zu Blicken bzw. zum Testen. Beste Grüße Ralf -- Diese Nachricht wurde von meinem Android-Mobiltelefon gesendet.
Re: [vz-users] Automatisches Backupkonzept auf NAS
Moin Andreas,
Am 23.11.2014 um 11:54 schrieb Andreas Goetz cpui...@gmail.com:
Schau Euch doch mal https://github.com/andig/dbcopy an. Im aktuellen VZ git
habe ich das Tool inklusive Parameterdatei verlinkt. Es kann inkrementelle
Backups der VZ DB erstellen (geht allerdings davon aus aus dass alte
Datensätze nicht gelöscht/ geändert werden). Bei Bedarf kann es auch von
mysql z.b. nach sqlite kopieren und zurück.
das klingt super!
Wollte das gleich mal testen - leider bislang ohne Erfolg:
- git clone https://github.com/andig/dbcopy.git
- dbcopy.json angepasst:
source: {
// source database connection
driver: pdo_mysql,
host: localhost,
user: „vz,
password: „sssh!,
dbname: volkszaehler
},
target: {
// target database connection
driver: pdo_sqlite,
path: sqlite.db3, // path is only used if driver =
pdo_sqlite
host: localhost,
user: travis,
password:
// dbname: „backup“
[…] Rest: default
- Composer installiert (curl -s http://getcomposer.org/installer | php“, php
composer.phar install)
- sqlite-Treiber installiert: apt-get install sqlite libsqlite0 php5-sqlite
- Ziel-DB erzeugen:
php /opt/dbcopy/dbcopy.php create -c /opt/dbcopy/dbcopy.json
Creating target schema
renaming assets for target platform: sqlite
table: data
table: entities
table: entities_in_aggregator
table: properties
(Anm.: scheint keine sqlite-DB zu erzeugen - im lokalen Verzeichnis liegt
jedenfalls nix)
- backup:
php /opt/dbcopy/dbcopy.php backup -c /opt/dbcopy/dbcopy.json
[Exception]
Table entities doesn't exist.To create the schema run
doctrine.php orm:schema-tool:create --dump-sql
[…]
- Backup beschwert sich prompt, dass es die Tabelle „entities“ nicht findet
(vermtl. wird nur die erste angemeckert und dann gestoppt)
Tipps? Was mach ich falsch?
Gruß, J.
