Nbackup

[Konstantin R. Beliaev]

Прочитал описание NBACKUP.
Я правильно понял, что бэкапы он умеет делать инкрементно, но рестор 
делается всегда с нуля, т.е. при ресторе надо указать полную цепочку 
бэкапов, начиная с нулевого?
Т.е. нельзя накатить рестор из бэкапа первого уровня на уже 
отресторенную из бэкапа нулевого уровня базу?
Выходит, что бэкап можно сделать быстро, а на рестор все равно теряется 
несколько часов, и при сбое невозможно быстро получить более-менее 
актуальную копию.

Так?

nbackup

[Andrey Lapin]

Посылал сообщение через google в эту конфу, но что-то не дошло.
Как объединить файлы *.gdb и *.gdb.delta которые получились после глюка nbackup?
Объединение через ключ -N не помогает.

Re: NBackup

[Vlad Khorsun]

"Leonid" ...

Всем привет!
FB-2.03


   2.0.4 давно уже вышел и в нём исправлено много проблем с nbackup


Все работало до сегодняшнего утра без проблем.
Сейчас имею файл дельты который не удалился. Как следствие новый
NBackup не
запускается, т.к. ругается на наличие файла дельты.


   Классик ?


Если запускаю с ключем -N, то ошибка "-Database is not in the
physical
backup mode"
Это вроде понятно, но файл дельты в 30 мегов лежит и как мне
определить что
в нем и вернулись ли эти данные в саму базу.
Если произшло нарушение целостности, то как восстановить?


   Сначала покажи gstat -h

--
Хорсун Влад 

Re: NBackup

[Dmitry Yemanov]

Leonid wrote:


Сейчас имею файл дельты который не удалился. Как следствие новый
NBackup не запускается, т.к. ругается на наличие файла дельты.
Если запускаю с ключем -N, то ошибка "-Database is not in the
physical backup mode"


Процессов-зомби нет часом? Или просто неактивных коннектов?


--
Дмитрий Еманов

Re: NBackup

[Leonid]

Да класик!

Database header page information:
Flags   0
Checksum12345
Generation  2131850
Page size   8192
ODS version 11.0
Oldest transaction  2113117
Oldest active   2113118
Oldest snapshot 2113118
Next transaction2128171
Bumped transaction  1
Sequence number 0
Next attachment ID  3340
Implementation ID   16
Shadow count0
Page buffers1024
Next header page0
Database dialect3
Creation date   Jan 30, 2009 22:49:01
Attributes  force write

Variable header data:
Database backup GUID:   {18889F84-7091-42F9-909E-099E437DC2BD}
Sweep interval: 0
*END*

Насчет зомби ничего сейча сказать не могу. Там около 100 пользователей
сейчас. Могут быть...
Но утром, когда файл застрял скорее всего не было.

On 11 фев, 12:40, "Vlad Khorsun"  wrote:
> "Leonid" ...
>
> > Всем привет!
> > FB-2.03
>
>     2.0.4 давно уже вышел и в нём исправлено много проблем с nbackup
>
> > Все работало до сегодняшнего утра без проблем.
> > Сейчас имею файл дельты который не удалился. Как следствие новый
> > NBackup не
> > запускается, т.к. ругается на наличие файла дельты.
>
>     Классик ?
>
> > Если запускаю с ключем -N, то ошибка "-Database is not in the
> > physical
> > backup mode"
> > Это вроде понятно, но файл дельты в 30 мегов лежит и как мне
> > определить что
> > в нем и вернулись ли эти данные в саму базу.
> > Если произшло нарушение целостности, то как восстановить?
>
>     Сначала покажи gstat -h
>
> --
> Хорсун Влад

Re: NBackup

[Dmitri Kuzmenko]

Hello, Leonid!

Leonid wrote:


Это вроде понятно, но файл дельты в 30 мегов лежит и как мне
определить что
в нем и вернулись ли эти данные в саму базу.


ну и я до кучи спрошу -
какая дата-время у файла базы и у файла дельты?

если у файла базы новее (modify), то да, файл
дельты просто почему то не удалился.
Если дельта новее, то тогда смотри ответы DY и VH.

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: NBackup

[Leonid]

Дата все время стояла 8:55, т.е. утром и это вселяло надежды что
дельта просто не удалилась. Но сейчас посмотрел еще раз, а она вдруг
стала 12:55 и сама база 13:06
Т.е. она живая, эта дельта

On 11 фев, 12:56, Dmitri Kuzmenko  wrote:
> Hello, Leonid!
>
> Leonid wrote:
> > Это вроде понятно, но файл дельты в 30 мегов лежит и как мне
> > определить что
> > в нем и вернулись ли эти данные в саму базу.
>
> ну и я до кучи спрошу -
> какая дата-время у файла базы и у файла дельты?
>
> если у файла базы новее (modify), то да, файл
> дельты просто почему то не удалился.
> Если дельта новее, то тогда смотри ответы DY и VH.
>
> --
> Dmitri Kouzmenko,www.ibase.ru, (495) 953-13-34

Re: NBackup

[Dmitry Yemanov]

Leonid wrote:


Насчет зомби ничего сейча сказать не могу. Там около 100 пользователей
сейчас. Могут быть...
Но утром, когда файл застрял скорее всего не было.


Посмотри кто держит открытым файл дельты. Скорее всего один (или 
несколько) из неактивных процессов fb_inet_server. Прибей их и дельта 
сразу исчезнет.



--
Дмитрий Еманов

Re: NBackup

[Dmitri Kuzmenko]

Hello, Dmitry!

Dmitry Yemanov wrote:


Процессов-зомби нет часом? Или просто неактивных коннектов?


кстати. тут я развлекался с дельтами.
Беру базу.
nbackup -L.
удаляю дельту
Создаю дельту из текстового файла, который
рядом валялся.
Пытаюсь открыть базу - страшные матюки

internal gds software consistency check:
duplicated item in allocation table detected
Error: can't actualize alloc table
Error: lock allocation table on read

Это все понятно, но какбе, неужто нельзя
формат файла проверить?

Вопрос риторический, я все понимаю.


--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: NBackup

[Vlad Khorsun]

"Leonid" ...

Да класик!

...

Насчет зомби ничего сейча сказать не могу. Там около 100 пользователей
сейчас. Могут быть...
Но утром, когда файл застрял скорее всего не было.


   Скорее всего какой-то из процессов ничего не делает и поэтому не отпускает 
дельту.
Это может быть как зомби, так и просто неактивный долгое время коннект. На винде
можно посмотреть какой процесс её держит. На линуксе наверное тоже можно.

--
Хорсун Влад 

Re: NBackup

[Leonid]

Как на винде это увидеть? Не в курсе.
Научите...

В принципе обычно дельта никогда не исчезает сразу. Она может
существовать еще 15-30 минут после окончания процесса Backup. Но так
долго пока не было.

>     Скорее всего какой-то из процессов ничего не делает и поэтому не 
> отпускает дельту.
> Это может быть как зомби, так и просто неактивный долгое время коннект. На 
> винде
> можно посмотреть какой процесс её держит. На линуксе наверное тоже можно.
>

Re: NBackup

[Dmitri Kuzmenko]

Hello, Leonid!

Leonid wrote:


Дата все время стояла 8:55, т.е. утром и это вселяло надежды что
дельта просто не удалилась. Но сейчас посмотрел еще раз, а она вдруг
стала 12:55 и сама база 13:06
Т.е. она живая, эта дельта


объясняю механизм:
как только выдан nbackup -L явно или как nbackup -b,
база после этого ТОЛЬКО ЧИТАЕТСЯ, а вся запись идет
в дельту.

То есть, при активной дельте дата и время последней
модификации базы никак не может быть новее даты-времени дельты.

Грубо говоря, дата-время модификации базы должно быть равно
последнему моменту работы БЕЗ дельты.

Если у дельты дата-время НОВЕЕ чем у базы, это значит что
в дельту запись не идет и она по какой-то причине протухла.

Впрочем, это практические (а не теоретические) умозаключения, не 
претендующие на истину.


--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: NBackup

[Leonid]

Это все просто и я это понимаю. Но когда ты спросил и я посмотрел, что
она вдруг обновилась?
Это не понимаю.

> объясняю механизм:
> как только выдан nbackup -L явно или как nbackup -b,
> база после этого ТОЛЬКО ЧИТАЕТСЯ, а вся запись идет
> в дельту.
>

Re: NBackup

[Vlad Khorsun]

"Leonid" ...

Как на винде это увидеть? Не в курсе.
Научите...


   ProcessExplorer от SysInternals

--
Хорсун Влад 

Re: NBackup

[Leonid]

Он покажет все процессы и покажет какие активные в данный момент. Но
если пользователь завершил активное обрашение к базе минуту назад или
с утра ничего не делал, то эти процессы будут одинаковыми. Что я
увижу?

> > Как на винде это увидеть? Не в курсе.
> > Научите...
>
>     ProcessExplorer от SysInternals
>
> --
> Хорсун Влад

Re: NBackup

[Kovalenko Dmitry]

Это все понятно, но какбе, неужто нельзя
формат файла проверить?

Вопрос риторический, я все понимаю.


"Добро пожаловать в реальный мир, Фёдор Сумкин" (с) Смит

:-)

Коваленко Дмитрий. 

Re: NBackup

[Dmitry Yemanov]

Leonid wrote:


Он покажет все процессы и покажет какие активные в данный момент. Но
если пользователь завершил активное обрашение к базе минуту назад или
с утра ничего не делал, то эти процессы будут одинаковыми. Что я
увижу?


Для каждого процесса можно посмотреть открытые им файлы.
Но таки да, для 100 штук это будет утомительное занятие :-)


--
Дмитрий Еманов

Re: NBackup

[Leonid]

Поскольку общая работоспособность пока не нарушена. Т.е все работают и
вопросов от пользователей нет, то буду ждать вечера.
Но если все пользователи отвалятся а дельта останется, то мне что
делать?

On 11 фев, 13:40, Dmitry Yemanov  wrote:
> Leonid wrote:
> > Он покажет все процессы и покажет какие активные в данный момент. Но
> > если пользователь завершил активное обрашение к базе минуту назад или
> > с утра ничего не делал, то эти процессы будут одинаковыми. Что я
> > увижу?
>
> Для каждого процесса можно посмотреть открытые им файлы.
> Но таки да, для 100 штук это будет утомительное занятие :-)
>
> --
> Дмитрий Еманов

Re: NBackup

[Vlad Khorsun]

"Leonid" ...

Он покажет все процессы и покажет какие активные в данный момент. Но
если пользователь завершил активное обрашение к базе минуту назад или
с утра ничего не делал, то эти процессы будут одинаковыми. Что я
увижу?


   Там есть поиск :)

--
Хорсун Влад 

Re: NBackup

[Vlad Khorsun]

"Leonid" ...

Поскольку общая работоспособность пока не нарушена. Т.е все работают и
вопросов от пользователей нет, то буду ждать вечера.
Но если все пользователи отвалятся а дельта останется, то мне что
делать?


   В течение дня сделай бекап gbak'ом (можно и не один раз)

   Если все *процессы* отвалятся, а дельта останется (не думаю, но мало ли)
- скопировать БД и дельту
- положить копию БД отдельно от дельты и попробовать приконнектиться
- убедиться что все данные на месте
- рассказать нам - как прошло

--
Хорсун Влад 

Re: NBackup

[Dmitri Kuzmenko]

Hello, Leonid!

Leonid wrote:


Как на винде это увидеть? Не в курсе.
Научите...


на файле в проводнике правую кнопку мыши, свойства.

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: NBackup

[Dmitri Kuzmenko]

Hello, Leonid!

Dmitri Kuzmenko wrote:

Как на винде это увидеть? Не в курсе.
Научите...


на файле в проводнике правую кнопку мыши, свойства.


извиняюсь, я про свое :-)

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: NBackup

[Leonid]

Рассказываю!
После выхода всех пользователей дельта исчезла.
Зомби не было.
Все заработало. Все NBackup формируются правильно!



On 11 фев, 14:29, "Vlad Khorsun"  wrote:
> "Leonid" ...
>
> > Поскольку общая работоспособность пока не нарушена. Т.е все работают и
> > вопросов от пользователей нет, то буду ждать вечера.
> > Но если все пользователи отвалятся а дельта останется, то мне что
> > делать?
>
>     В течение дня сделай бекап gbak'ом (можно и не один раз)
>
>     Если все *процессы* отвалятся, а дельта останется (не думаю, но мало ли)
> - скопировать БД и дельту
> - положить копию БД отдельно от дельты и попробовать приконнектиться
> - убедиться что все данные на месте
> - рассказать нам - как прошло
>
> --
> Хорсун Влад

Re: NBackup

[Attid]

а птичку ты всетаки обнови у меня с nbackup довольно часто проблемы
пока не обновил до 2.0.4

Re: NBackup

[Leonid]

Я в самое ближайшее время буду переходить на 2.1
Все практически уже готово.


On 12 фев, 12:53, Attid  wrote:
> а птичку ты всетаки обнови у меня с nbackup довольно часто проблемы
> пока не обновил до 2.0.4

Тормоза nbackup

[Viktor Belzetskiy]

Привет всем!
Начал тестить nbackup на базе размером в 230Г на FB WI-V2.5.0.26074 CS
Возникли следующие непонятки

1. В одном коннекте запускаем удаление 100млн записей
2. Запускаем nbackup 0-го уровня (nbackup еле шевелится по диску 
{10мб/с} при практически 100% загрузке проца)
3. Удаление зевершено. commit. Коннект продолжает висеть, активных 
транзакций нет. Ничего по скорости не меняется.

4. Создаем новый коннект после чего закрываем старый. Все по старому.
5. Закрываем новый коннект - nbackup "взлетает". Загрузка проца падает 
до 10% рейд разгоняется до 200-300М/с

6. Создаем новый коннект - полет нормальный.
7. Выполняем в нем запроссы, удаляем данные - полет нормальный.

Как это обясняется? Собственно что делает nbackup с процом на первых шагах?

З.Ы. Если это обсуждалось - сорри. Довно конфу не читал.

Re: Nbackup

[Yakov Hrebtov]

Konstantin R. Beliaev wrote:

Прочитал описание NBACKUP.
Я правильно понял, что бэкапы он умеет делать инкрементно, но рестор 
делается всегда с нуля, т.е. при ресторе надо указать полную цепочку 
бэкапов, начиная с нулевого?


Именно так.

Re: Nbackup

[����� �������]

"Yakov Hrebtov" <[EMAIL PROTECTED]> 
ÓÏÏÂÝÉÌ/ÓÏÏÂÝÉÌÁ × ÎÏ×ÏÓÔÑÈ ÓÌÅÄÕÀÝÅÅ: news:[EMAIL PROTECTED]
>
> Konstantin R. Beliaev wrote:
>> ðÒÏÞÉÔÁÌ ÏÐÉÓÁÎÉÅ NBACKUP.
>> ñ ÐÒÁ×ÉÌØÎÏ ÐÏÎÑÌ, ÞÔÏ ÂÜËÁÐÙ ÏÎ ÕÍÅÅÔ ÄÅÌÁÔØ ÉÎËÒÅÍÅÎÔÎÏ, ÎÏ ÒÅÓÔÏÒ 
>> ÄÅÌÁÅÔÓÑ ×ÓÅÇÄÁ Ó ÎÕÌÑ, Ô.Å. ÐÒÉ ÒÅÓÔÏÒÅ ÎÁÄÏ ÕËÁÚÁÔØ ÐÏÌÎÕÀ ÃÅÐÏÞËÕ 
>> ÂÜËÁÐÏ×, ÎÁÞÉÎÁÑ Ó ÎÕÌÅ×ÏÇÏ?
>
> éÍÅÎÎÏ ÔÁË.
>
Á Ñ ÐÏÎÑÌ, ËÁË ÒÁÚ ÎÁÏÂÏÒÏÔ ÉÚ ÓÔÁÔØÉ, ÞÔÏ ÍÏÖÎÏ ÄÅÒÖÁÔØ ÎÅÄÏÒÅÓÔÏÒÅÎÎÙÅ 
ÂÁÚÙ ×ÓÅÈ ÕÒÏ×ÎÅÊ É ÐÏ ÎÅÏÂÈÏÄÉÍÏÓÔÉ ÎÁËÁÔÙ×ÁÔØ ÔÏÌØËÏ ÎÅÏÂÈÏÄÉÍÙÊ. óÔÁÔØÑ 
ÂÙÌÁ Ï ÏÂÅÓÐÅÞÅÎÉÉ ÂÅËÁÐÏ× ÐÒÉ ÒÁÂÏÔÅ 24È7 

Re: Nbackup

[Khorsun Vlad]

"Konstantin R. Beliaev" ...
>
> Прочитал описание NBACKUP.
> Я правильно понял, что бэкапы он умеет делать инкрементно, но рестор
> делается всегда с нуля, т.е. при ресторе надо указать полную цепочку
> бэкапов, начиная с нулевого?

Да.

> Т.е. нельзя накатить рестор из бэкапа первого уровня на уже
> отресторенную из бэкапа нулевого уровня базу?

Да

> Выходит, что бэкап можно сделать быстро, а на рестор все равно теряется
> несколько часов, и при сбое невозможно быстро получить более-менее
> актуальную копию.

А где ты нашёл несколько часов ??? Или ты собираешься иметь цепочки
длиной в несколько десятков инкрементов ?

--
Хорсун Влад

Re: Nbackup

[Dmitri Kuzmenko]

Hello, Konstantin!

Konstantin R. Beliaev wrote:

Т.е. нельзя накатить рестор из бэкапа первого уровня на уже 
отресторенную из бэкапа нулевого уровня базу?


что значит "накатить рестор"???

Выходит, что бэкап можно сделать быстро, а на рестор все равно теряется 
несколько часов, 


рестор

и при сбое невозможно быстро получить более-менее 
актуальную копию.

Так?


перестань думать об nbackup как о gbak.
nbackup делает страничные копии
уровня 0 - полная копия БД
уровень 1 - измененные страницы относительно уровня 0 (копии)
уровень 2 - измененные страницы относительно уровня 1
и так далее.

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: Nbackup

[Konstantin R. Beliaev]

Khorsun Vlad wrote:

А где ты нашёл несколько часов ??? Или ты собираешься иметь цепочки
длиной в несколько десятков инкрементов ?


Я сужу по времени рестора через GBAK

Re: Nbackup

[Slava Ekimov]

KRB> Я сужу по времени рестора через GBAK

Но gbak делает восстановление на уровне данных, а nbackup на уровне страниц, 
как я понимаю. Понимаешь? :-) 

Re: Nbackup

[Dmitri Kuzmenko]

Hello, Konstantin!

Konstantin R. Beliaev wrote:


А где ты нашёл несколько часов ??? Или ты собираешься иметь цепочки
длиной в несколько десятков инкрементов ?


Я сужу по времени рестора через GBAK


гм, а при чем тут gbak ??? gbak тут абсолютно сбоку.

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: Nbackup

[Konstantin R. Beliaev]

Dmitri Kuzmenko wrote:

что значит "накатить рестор"???
Влад меня кажется понял: вчера, например, я ресторил уровень 0, сегодня 
беру результат вчерашнего рестора и В НЕГО вливаю уровень 1, ну и т.д.



перестань думать об nbackup как о gbak.
nbackup делает страничные копии
уровня 0 - полная копия БД
уровень 1 - измененные страницы относительно уровня 0 (копии)
уровень 2 - измененные страницы относительно уровня 1
и так далее.


Пожалуй это все объясняет. Т.е. фигурально выражаясь, nbackup делает 
почти файловую копию базы (ну, не совсем, конечно копию файла), и для 
рестора нужно время, необходимое ОСи чтобы только скопировать эти данные 
из файла в файл, так?
Т.е. никакой сборки мусора (об этом вроде написано, но интересно: мусор 
тоже в бэкап попадает?) и перестройки индексов?


Ну и последний вопрос: если ли уже какие-нибудь шедулеры, использующие 
NBACKUP ?

Re: Nbackup

[Kochmin Alexandr]

Konstantin R. Beliaev пишет:

Ну и последний вопрос: если ли уже какие-нибудь шедулеры, использующие 
NBACKUP ?


есть !
at, cron, bash, wsh, bat, cmd, nncron и т.д.

--
Кочмин Александр

Re: Nbackup

[Dmitri Kuzmenko]

Hello, Konstantin!

Konstantin R. Beliaev wrote:

Влад меня кажется понял: вчера, например, я ресторил уровень 0, сегодня 
беру результат вчерашнего рестора и В НЕГО вливаю уровень 1, ну и т.д.


что значит "ресторил"? nb уровня 0 это в общем-то страничная копия БД.

ты где доку читал? тут?
http://www.firebirdsql.org/pdfmanual/ru/Firebird-nbackup-ru.pdf

Пожалуй это все объясняет. Т.е. фигурально выражаясь, nbackup делает 
почти файловую копию базы (ну, не совсем, конечно копию файла), 


копию. еще раз доку почитай. когда ты стартуешь nbackup,
он лочит файл БД, а сервер в это время пишет все изменения
во временный файл. Поэтому в это время можно хоть средствами ОС
базу копировать.

и для 
рестора нужно время, необходимое ОСи чтобы только скопировать эти данные 
из файла в файл, так?


это когда идет восстановление БД из нескольких инкрементов.
допустим, у тебя есть нб уровня 0 сделанный месяц назад.
и нб уровня 1 сделанный неделю назад. и нб уровня 2 сделанный вчера.

Ты для восстановления БД на вчера даешь команду nbackup создать
БД склеенную из этих кусков. 0+1+2.
nb сначала копирует файл уровня 0. затем на него накидывает страницы
уровня 1. потом страницы уровня 2. Все.

Т.е. никакой сборки мусора (об этом вроде написано, но интересно: мусор 
тоже в бэкап попадает?) и перестройки индексов?


Константин. Еще раз. Nbackup КОПИРУЕТ БАЗУ ПОСТРАНИЧНО. Ему вообще
покласть что там в страницах.

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: Nbackup

[Oleg Prosvetov]

Hello, Konstantin!

Не в тему,  для сведения.
Мне например не понравилось, то что он не умеет делать лог в файл.

С наилучшими пожеланиями, Oleg Prosvetov.

Re: Nbackup

[Konstantin R. Beliaev]

Dmitri Kuzmenko wrote:

ты где доку читал? тут?
http://www.firebirdsql.org/pdfmanual/ru/Firebird-nbackup-ru.pdf

Не помню, PDF на английском. По структуре похоже.

Nbackup КОПИРУЕТ БАЗУ ПОСТРАНИЧНО. 

Ну, в общем понятно. Несколько не то, что я ожидал, ну уж как есть.

Re: Nbackup

[Konstantin R. Beliaev]

Kochmin Alexandr wrote:

есть !
at, cron, bash, wsh, bat, cmd, nncron и т.д.


тогда уж проще написать: Linux :-)

Re: Nbackup

[Dmitri Kuzmenko]

Hello, Konstantin!

Konstantin R. Beliaev wrote:


Dmitri Kuzmenko wrote:


ты где доку читал? тут?
http://www.firebirdsql.org/pdfmanual/ru/Firebird-nbackup-ru.pdf


Не помню, PDF на английском. По структуре похоже.


гм. источник один. www.firebirdsql.org
там и на английском, и на русском, и т.д.

Nbackup КОПИРУЕТ БАЗУ ПОСТРАНИЧНО. 


Ну, в общем понятно. Несколько не то, что я ожидал, ну уж как есть.


а что ожидал, интересно?

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: Nbackup

[Dmitry Yemanov]

Dmitri Kuzmenko wrote:


а что ожидал, интересно?


Судя по всему, люди читают про бекап, но думают про stand-by репликацию...


--
Дмитрий Еманов

Re: Nbackup

[Oleg Matveyev]

> а что ожидал, интересно?

я например, ожидал что получится бакап, т.е. GBK. 
полный и инкрементальный, как например у M$ SQL
наверно, название nbackup так действует почему не ncopy, например... 
ведь это online-копирование, по сути, как Вы говорили -
 "...Поэтому в это время можно хоть средствами ОС базу копировать..."
Да в общем, теперь неважно, как называется.
Теперь уже точно все прочувствовали разницу. :-)

Чисто практически, для меня лично, удобнее именно постраничная копия. 
Ведь в этом случае невозможен _невосстановимый_бакап_, так ведь?
Объемы неособо беспокоят.

Re: Nbackup

[WildSery]

On Thu, 13 Dec 2007 01:20:35 +0300, Oleg Matveyev <[EMAIL PROTECTED]> wrote:

> Ведь в этом случае невозможен _невосстановимый_бакап_, так ведь?

Это с какой стороны посмотреть.
Если у тебя в базе будут проблемы, ты об этом и не узнаешь до нормального 
бэкап-рестора.
Или база навернётся.

-- 
Сергей Смирнов.

Re: Nbackup

[Vlad Khorsun]

"Oleg Matveyev" ...

а что ожидал, интересно?


я например, ожидал что получится бакап, т.е. GBK.
полный и инкрементальный, как например у M$ SQL


   Давайте раз и навсегда расставим точки над i :

- gbak - это скорее средство полного импорта\экспорта всего содержимого БД,
   т.е. данных и метаданных. Это также средство миграции между версиями
   сервера\ОДС. Кто-нибудь слышал об инкрементальном импорте\экспорте ?

- nbackup - это более близкий аналог общепринятого ср-ва резервного копирования
   а-ля MSSQL и другие


наверно, название nbackup так действует почему не ncopy, например...
ведь это online-копирование, по сути, как Вы говорили -
"...Поэтому в это время можно хоть средствами ОС базу копировать..."


   Копирование только для 0-го уровня. Дальше - совсем не копирование


Да в общем, теперь неважно, как называется.
Теперь уже точно все прочувствовали разницу. :-)


   Наконец-то :)


Чисто практически, для меня лично, удобнее именно постраничная копия.
Ведь в этом случае невозможен _невосстановимый_бакап_, так ведь?


   Только в случае багов в самом механизме nbackup'а. Механизм создания
инкремента достаточно сложен (в отличие от бекапа gbak'ом), зато механизм
восстановления очень прост (опять-же в отличие от рестора gbak'ом).

   Все логичесrие несоответствия, мешающие рестору gbak'ом, тут не играют
никакой роли. Т.е. единственное место для ошибки - физически не правильный
инкрементный бекап.


Объемы неособо беспокоят.


   Никогда не говори "никогда" (с)

--
Хорсун Влад 

Re: Nbackup

[Konstantin R. Beliaev]

Oleg Matveyev wrote:
я например, ожидал что получится бакап, т.е. GBK. 
полный и инкрементальный

Вот-вот, и я этого же ожидал. Стереотип, однако: привык к GBAK


Теперь уже точно все прочувствовали разницу. :-)

Точно :))

Re: Nbackup

[Konstantin R. Beliaev]

Dmitry Yemanov wrote:
> Судя по всему, люди читают про бекап, но думают про stand-by 
репликацию...


Ну, можно сказать и так: полная копия базы через определенные интервалы 
времени. Что нравится в GBAK: отсутствие мусора, компактно расположенные 
данные таблиц, перестроенные индексы.


Vlad Khorsun wrote:

- gbak - это скорее средство полного импорта\экспорта всего содержимого БД,
   т.е. данных и метаданных. Это также средство миграции между версиями
   сервера\ОДС. Кто-нибудь слышал об инкрементальном импорте\экспорте ?
А что мешает запомнить номер транзакции и потом экспортировать только 
то, что изменилось после? ;-) Хотя, наверное сборка мусора мешает: по 
крайней мере удаленные записи нельзя будет вычищать до следующего бэкапа 
(на мой чайниковский взгляд).




   Только в случае багов в самом механизме nbackup'а. Механизм создания
инкремента достаточно сложен (в отличие от бекапа gbak'ом), зато механизм
восстановления очень прост (опять-же в отличие от рестора gbak'ом).

   Все логичесrие несоответствия, мешающие рестору gbak'ом, тут не играют
никакой роли. Т.е. единственное место для ошибки - физически не правильный
инкрементный бекап.
Честно говоря, не оставляет ощущение какой-то ненадежности базы в ходе 
nbackup. Например, при сбое питания: база так и останется в этом режиме, 
пока админ не прочухает и не вернет ее в нормальное состояние. Файл 
инкремента не будет расти до бесконечности? Или максимум - до текущего 
размера базы?

Re: Nbackup

[WildSery]

On Tue, 18 Dec 2007 15:49:09 +0300, Konstantin R. Beliaev <[EMAIL PROTECTED]> 
wrote:

> А что мешает запомнить номер транзакции и потом экспортировать только то, что 
> изменилось после?

... и получим репликатор. А смысл? Опять "шорты превращаются, превращаются 
шорты..."?
Нужен отдельный репликатор. И они есть. Хоть и не в комплекте.

-- 
Сергей Смирнов.

Re: Nbackup

[Boulitchev Aleksey]

Честно говоря, не оставляет ощущение какой-то ненадежности базы в ходе 
nbackup. Например, при сбое питания: база так и останется в этом режиме, 
пока админ не прочухает и не вернет ее в нормальное состояние. Файл 
инкремента не будет расти до бесконечности? Или максимум - до текущего 
размера базы?


осталось ощущение полного непонимания разницы между чтением данных и чтением 
страниц


ты еще со своего райд-контроллера сборку мусора потребуй :)

--
Булычев Алексей
http://www.stella-npf.ru

Re: nbackup

[Dmitry Yemanov]

Andrey Lapin wrote:


Как объединить файлы *.gdb и *.gdb.delta которые получились после глюка nbackup?


Какого именно глюка?

Вообще-то, сервер это автоматом делает при следующем коннекте к базе. 
Если этого не происходит, то значит база находится в некорректном состоянии.


Что показывает gstat -h ?


Объединение через ключ -N не помогает.


Молча не помогает? Неужто трудно текст ошибки привести.


--
Дмитрий Еманов

Re: nbackup

[Andrey Lapin]

> > Как объединить файлы *.gdb и *.gdb.delta которые получились после глюка 
> > nbackup?
>
> Какого именно глюка?
>
Fatal lock manager error: invalid lock id (2350928), errno: 22

> Вообще-то, сервер это автоматом делает при следующем коннекте к базе.
> Если этого не происходит, то значит база находится в некорректном состоянии.
>
> Что показывает gstat -h ?

Database header page information:
Flags   0
Checksum12345
Generation  31747031
Page size   16384
ODS version 11.0
Oldest transaction  31186383
Oldest active   31390389
Oldest snapshot 31390389
Next transaction31746990
Bumped transaction  1
Sequence number 0
Next attachment ID  0
Implementation ID   19
Shadow count0
Page buffers500
Next header page0
Database dialect3
Creation date   Mar 1, 2008 1:35:37
Attributes  force write, backup lock

Variable header data:
Database backup GUID:   {F1AB358B-6401-D722-350F-0920C856DC36}
Sweep interval: 100

>
> > Объединение через ключ -N не помогает.
>
> Молча не помогает? Неужто трудно текст ошибки привести.
>

This operation is not defined for system tables.
unsuccessful metadata update.
Database is not in the physical backup mode.

Re: nbackup

[Dmitri Kuzmenko]

Hello, Andrey!

Andrey Lapin wrote:


Oldest transaction  31186383
Oldest active   31390389
Oldest snapshot 31390389
Next transaction31746990


неплохо так. ~650к транзакций в сутки?
а рабочих мест сколько?


Page buffers500


мнэ...


Attributes  force write, backup lock


база в локе.


Sweep interval: 100


пипец просто.

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: nbackup

[Andrey Lapin]

On Apr 21, 10:34 am, Dmitri Kuzmenko <[EMAIL PROTECTED]> wrote:
> Hello, Andrey!
>
> Andrey Lapin wrote:
> > Oldest transaction  31186383
> > Oldest active   31390389
> > Oldest snapshot 31390389
> > Next transaction31746990
>
> неплохо так. ~650к транзакций в сутки?
> а рабочих мест сколько?
>

получается что так.
коннектов сейчас 170. рабочих мест примерно столько же.

>
> пипец просто.
>

в целом нормально все работает. только база разделена на две части.

Re: nbackup

[Dmitry Yemanov]

Andrey Lapin wrote:


в целом нормально все работает. только база разделена на две части.


Сервер к дельте реально обращается?


--
Дмитрий Еманов

Re: nbackup

[Dmitry Yemanov]

Andrey Lapin wrote:


This operation is not defined for system tables.
unsuccessful metadata update.
Database is not in the physical backup mode.


Есть ли записи в RDB$FILES? Если да, то каковы значения поля 
RDB$FILE_FLAGS для каждой из них?




--
Дмитрий Еманов

Re: nbackup

[Andrey Lapin]

Сервер в самом деле обращается к дельте, если нужно что-то записать.
Файл постоянно растет и меняется дата и время файла. Файл *.gdb не
меняется.

Записи в RDB$FILES отсутствуют.

Свойства сервера:
Server Version: LI-V2.0.3.12981 Firebird 2.0
Server Implementation: Firebird/linux Intel
Service Version: 2

Re: nbackup

[Dmitry Yemanov]

Andrey Lapin wrote:

Сервер в самом деле обращается к дельте, если нужно что-то записать.
Файл постоянно растет и меняется дата и время файла. Файл *.gdb не
меняется.


Можешь еще привести вывод fb_lock_print -a ?
Лучше в почту на firebird2 гав yandex.ru.


Записи в RDB$FILES отсутствуют.


Похоже, бага. Попытаемся понять и излечить.


--
Дмитрий Еманов

Re: nbackup

[Dmitri Kuzmenko]

Hello, Andrey!

Andrey Lapin wrote:


в целом нормально все работает. только база разделена на две части.


безотносительно проблемы:
почитал бы ты про sweep interval. ставить его в 1 миллион - это
черт знает что.

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: nbackup

[Ovchinnikov Vasily]

Dmitri Kuzmenko пишет:


безотносительно проблемы:
почитал бы ты про sweep interval. ставить его в 1 миллион - это
черт знает что.


Если не знает, лучше уж пусть сразу просто в 0. И мусор собирать вручную.
Да, тут дорога "в библиотеку".

--
Regards,
Ovchinnikov Vasily
ova at tkvc ru

NBACKUP kill

[��������� ������]

ÓÌÕÞÁÊÎÏ ÐÒÅÒ×ÁÌ ÐÒÏÃÅÓÓ ÂÜËÁÐÁ NBACKUP (ÐÏÓÌÅ ÞÅÇÏ ÏÓÔÁÌÓÑ delta-ÆÁÊÌ), É
ÜÔÉÍ ÓÁÍÙÍ ÎÁÖÉÌ ÓÅÂÅ ×ÅÌÉËÉÊ ÇÅÍÏÒÏÊ Ó ÐÏÞÉÎËÏÊ âä. ÓÌÁ×Á ÂÏÇÕ
×ÏÓÓÔÁÎÏ×ÌÅÎÉÅ ÐÒÏÛÌÏ ÕÓÐÅÛÎÏ.
×ÏÐÒÏÓ...
ÜÔÏ ÓÌÕÞÁÊÎÏÓÔØ ÉÌÉ ÚÁËÏÎÏÍÅÒÎÏÓÔØ?
×ÅÄØ ÔÅÏÒÅÔÉÞÅÓËÉ Ñ ÉÍÅÀ ÐÒÁ×Ï ÐÒÅÒ×ÁÔØ ÉÎËÒÅÍÅÎÔÁÌØÎÙÊ ÂÜËÁÐ???

Проблемы с nbackup

[Ivanov E.P]

Hi there,


сервер version LI-V2.1.0.17798 Firebird 2.1 на Linux,
 работаю под рутом один на сервере и один с базой


выполняем команду

/opt/firebird/bin/nbackup -B 0 /d1/gdb/home/MC.gdb

создается файл

MC.gdb-0-20090205-1112.nbk


запускаю программу работы с базой, добавляем данные, blob-ы изображения,
закрываем программу, если запустить повторно, все изменения видны, размер
базы изменяется,
никаких файлов *.delta не появляется, если запустить команду еще раз


/opt/firebird/bin/nbackup -B 1 /d1/gdb/home/MC.gdb

то создастся еще один файл

MC.gdb-1-20090205-1444.nbk размером 213096, тогда как база увеличелась на 3
мега,


если запустить востановление

/opt/firebird/bin/nbackup -R /d1/gdb/home/MC.gdb MC.gdb-0-20090205-1112.nbk
MC.gdb-1-20090205-1444.nbk

то программа молча отработает и, судя по содежанию базы, данные
восстановятся только уровня 0


по описанию nbackup после запуска MC.gdb-1-20090205-1444.nbk должен
фиксироваться размер и создаваться файл delta, так ничего этого не
наблюдается


firebird.conf из дистрибутива, изменены только

ExternalFileAccess = Full

TempDirectories =/d1/gdb


а, впрочем, и без этих изменений ситуация та же


кто подскажет в чем проблема? доку на nbackup читал


Thanks in advance,

Евгений

-- 
View this message in context: 
http://www.nabble.com/%D0%9F%D1%80%D0%BE%D0%B1%D0%BB%D0%B5%D0%BC%D1%8B-%D1%81-nbackup-tp21848503p21848503.html
Sent from the firebird-russian mailing list archive at Nabble.com.

Re: Тормоза nbackup

[Dmitry Yemanov]

12.01.2011 20:31, Viktor Belzetskiy пишет:


Начал тестить nbackup на базе размером в 230Г на FB WI-V2.5.0.26074 CS


Размер страничного кеша какой?


1. В одном коннекте запускаем удаление 100млн записей
2. Запускаем nbackup 0-го уровня (nbackup еле шевелится по диску
{10мб/с} при практически 100% загрузке проца)
3. Удаление зевершено. commit. Коннект продолжает висеть, активных
транзакций нет. Ничего по скорости не меняется.
4. Создаем новый коннект после чего закрываем старый. Все по старому.
5. Закрываем новый коннект - nbackup "взлетает". Загрузка проца падает
до 10% рейд разгоняется до 200-300М/с
6. Создаем новый коннект - полет нормальный.
7. Выполняем в нем запроссы, удаляем данные - полет нормальный.


Ключик -d on/off на ситуацию влияет?


--
Дмитрий Еманов

Re: Тормоза nbackup

[Vlad Khorsun]

"Viktor Belzetskiy" ...

Привет всем!
Начал тестить nbackup на базе размером в 230Г на FB WI-V2.5.0.26074 CS
Возникли следующие непонятки

1. В одном коннекте запускаем удаление 100млн записей
2. Запускаем nbackup 0-го уровня (nbackup еле шевелится по диску {10мб/с} при 
практически 100% загрузке проца)


   Какой процесс грузит процессор ?


3. Удаление зевершено. commit. Коннект продолжает висеть, активных транзакций 
нет. Ничего по скорости не меняется.
4. Создаем новый коннект после чего закрываем старый. Все по старому.
5. Закрываем новый коннект - nbackup "взлетает". Загрузка проца падает до 10% 
рейд разгоняется до 200-300М/с
6. Создаем новый коннект - полет нормальный.
7. Выполняем в нем запроссы, удаляем данные - полет нормальный.

Как это обясняется? Собственно что делает nbackup с процом на первых шагах?


   ALTER DATABASE BEGIN BACKUP
   Бекап 0-го уровня - тупое копирование файла БД.
   ALTER DATABASE END BACKUP

   С блокировками, слиянием дельты в БД и прочим работает движок, а не nbackup.

--
Хорсун Влад

Re: Тормоза nbackup

[Viktor Belzetskiy]

Размер страничного кеша какой?

DefaultDbCachePages = 4096
Да да, это на классике :)


Ключик -d on/off на ситуацию влияет?


Завтра на работе проверю.

Re: Тормоза nbackup

[Viktor Belzetskiy]

2. Запускаем nbackup 0-го уровня (nbackup еле шевелится по диску
{10мб/с} при практически 100% загрузке проца)


Какой процесс грузит процессор ?

Речь именно о nbackup, он и грузит.


ALTER DATABASE BEGIN BACKUP
Бекап 0-го уровня - тупое копирование файла БД.
ALTER DATABASE END BACKUP



С блокировками, слиянием дельты в БД и прочим работает движок, а не
nbackup.


Я это прекрасно понимаю потому и возник вопрос.

Уточню на всякий случай
Операционка Win2008 R2 x64
FB V2.5.0.26074 CS Win32

Re: Тормоза nbackup

[Roman Simakov]

12 января 2011 г. 23:05 пользователь Viktor Belzetskiy
 написал:
>>> 2. Запускаем nbackup 0-го уровня (nbackup еле шевелится по диску
>>> {10мб/с} при практически 100% загрузке проца)
>>
>> Какой процесс грузит процессор ?
>
> Речь именно о nbackup, он и грузит.
>
>> ALTER DATABASE BEGIN BACKUP
>> Бекап 0-го уровня - тупое копирование файла БД.
>> ALTER DATABASE END BACKUP
>
>> С блокировками, слиянием дельты в БД и прочим работает движок, а не
>> nbackup.
>
> Я это прекрасно понимаю потому и возник вопрос.

Гипотез к сожалению пока нет, но я бы еще поэкспериментировал так.

Может попробовать вместо nbackup руками воспроизвести тоже самое?
Т.е. в твоей последовательности пункт 2) развернуть на:
2a. Запускаем в isql alter database begin backup
2b. Когда завершиться 2a, копирование файла на тот же диск где дельта
(можно еще поиграть с расположением после)
потом тоже самое и понаблюдать за процессом копирования вместо nbackup.

Еще было интересно, а если 2) и 1) поменять местами, nbackup
притормозит после начала удаления.

--
Роман Симаков

Фичи NBackup-а

[Janex]

Привет всем.
Пока сижу на Yaffil-е, но скоро будем перебиратся на FB2, и связи с етим
начал почитивать доки про NBackup.
Вчера пришлос у клиента сделать бекап/рестор длинои около часа и начал
задумыватся как ето ускорить в будушем.
Проясните плиз возможно ли с NBackup сотворить следуюшее:
Бекап например из 3 уровнеи.
Первыи делаем раз в месяц, второи раз в день, третии ну хрен знает - 
через каждие пара часов можбить, но неважно...

Шас надо поставить юзерам свежую отрестореную базу.
Делаем рестор до второго уровня (в новую базу) невигоняя юзеров
из рабочеи базы - тоесть они паралельно продолжают работать.
Сделали - выгоняем юзеров ис рабочеи базы, делаем маленькии бекап 3 
уровня. Дополняем большои рестор етим нехватаюшем 3-им куском. Запускаем 
обратно юзеров в отрестореную базу.

Смысл - вместо часа простоя (в маём случае) юзеров выгонять из базы
придётся ну на минут 10 думаю.
Можно такое с NBackup-ом творить ?
Если нет, то думаю идея хорошая и полезная :)

Regards
Janex

Re: NBACKUP kill

[Dmitry Yemanov]

Кравченко Алексей wrote:

случайно прервал процесс бэкапа NBACKUP (после чего остался delta-файл), и
этим самым нажил себе великий геморой с починкой БД. слава богу
восстановление прошло успешно.


В чем заключался геморрой?


--
Дмитрий Еманов

Re: NBACKUP kill

[Vlad Horsun]

"Кравченко Алексей" ...
>
> случайно прервал процесс бэкапа NBACKUP (после чего остался delta-файл), и
> этим самым нажил себе великий геморой с починкой БД. слава богу
> восстановление прошло успешно.

И какой же геморрой ты себе нажил ?

a) процесс бэкапа NBACKUP не делает ничего с данными - всё делает движок сам.
NBACKUP только лочит БД, копирует файл, разблокирует БД
б) nbackup -N вольёт изменения из дельты в основную БД, если дельта не 
повреждена
в) nbackup -F разлочит основной файл БД, если дельта повреждена или её нет

> вопрос...
> это случайность или закономерность?
> ведь теоретически я имею право прервать инкрементальный бэкап???

С перепугу и не то можно натворить :)))

--
Хорсун Влад

PS Читайте внимательнее доку 
http://www.firebirdsql.org/manual/ru/nbackup-ru.html

Re: NBACKUP kill

[��������� ������]

> ÷ ÞÅÍ ÚÁËÌÀÞÁÌÓÑ ÇÅÍÏÒÒÏÊ?
>
Ó ÐÅÒÅÐÕÇÕ ×ÓÅÇÏ ÎÅÐÏÍÎÀ...
ÂÙÌÏ ÐÒÉÍÅÒÎÏ ÔÁË...
ÚÁÐÕÓÔÉÌ Î-ÂÜËÁÐ É ÐÏ ËÁËÉÍÔÏ ÐÒÉÞÉÎÁÍ ÕÂÉÌ ÅÇÏ (ÔÉÐÁ ÎÅ ×ÒÅÍÑ... ÒÅÛÉÌ
ÚÁÐÕÓÔÉÔØ ÐÏÔÏÍ).
ÐÏ×ÔÏÒÎÙÅ ÚÁÐÕÓËÉ ×ÙÄÁ×ÁÌÉ ÓÔÒÁÛÎÏÇÏ ×ÉÄÁ ÏÛÉÂËÕ ÓÏ ÓÍÙÓÌÏÍ "ÕÖÅ × ÐÒÏÃÅÓÓÅ
ÂÜËÁÐÁ"
ÎÏ ÐÏ ÔÅÈÎÏÌÏÇÉÉ ÂÅËÁÐÙ ÄÏÌÖÎÙ ×ÙÐÏÌÎÑÔØÓÑ ÒÅÇÕÌÑÒÎÏ...
ÐÏÜÔÏÍÕ ÓÁÍÙÍ ÒÁÚÕÍÎÙÍ ÎÁ ÔÏÔ ÍÏÍÅÎÔ ÐÏËÁÚÁÌÏÓØ ÓÄÅÌÁÔØ ÃÉËÌ ÏÂÙÞÎÏÇÏ
ÂÁËÁÐ-ÒÅÓÔÏÒÁ...
//ÎÅÚÎÁÀ × ËÁËÏÊ ÍÏÍÅÎÔ × ÌÏÇÁÈ ÐÏÑ×ÉÌÏÓØ ×ÏÔ ÜÔÏ "SCH_validate -- not
entered"
ÓÄÅÌÁÌ ÂÜËÁÐ-ÒÅÓÔÏÒ...
ÐÏÔÏÍ ×ÒÏÄÅ ËÁË ÚÁÐÕÓÔÉÌ ÓÎÏ×Á ÉÎËÒËÍÅÎÔÁÌØÎÙÊ (ÞÔÏ ÄÏÇÎÁÔØÓÑ ÄÏ ÕÒÏ×ÎÑ 3,
ËÏÔÏÒÙÊ ÂÕÄÅÔ ÎÏÞØÀ)
ÎÏ ÐÏÓÌÅ ÎÏÒÍÁÌØÎÏÇÏ ÚÁ×ÅÒÛÅÎÉÑ ÂÜËÁÐÁ delta-ÆÁÊÌ ÐÏÞÅÍÕÔÏ ÎÅ ÉÚÞÅÚ
ÖÄÁÌ ÐÏÌÞÁÓÁ Á ÄÅÌØÔÁ-ÆÁÊÌ ×ÓÅ ÐÕÈ É ÐÕÈ
ÜÔÏ ÎÁÓÔÏÒÏÖÉÌÏ
ÎÉÚÎÁÌ ÞÔÏ ÄÅÌÁÔØ, ÎÏ ÐÏÎÑÌ ÞÔÏ ÞÔÏÔÏ ÚÄÅÓØ ÎÅ ÔÁË
ÖÄÁÔØ ÎÁÄÏÅÌÏ ÔÏÌÉ ÐÅÒÅÚÁÐÕÓÔÉÌ ÓÅÒ×ÉÓ ÔÏÌÉ ËÏÍÐ ÐÅÒÅÇÒÕÚÉÌ... × ÏÂÝÅÍ ÎÅ
ÐÏÍÎÀ
ÔÕÔ ÎÁÞÁÌÓÑ ÇÅÍÏÒ × ÂÁÚÕ ËÏÎÎÅËÔ ÏÂÌÁÍÙ×ÁÅÔÓÑ ÏÛÉÂËÏÊ ÞÔÏÔÏ ÔÉÐÁ (Page
corrupt)
ÎÁÞÁÌ ÐÒÏÃÅÓÓ ÐÏÞÉÎËÉ
ÌÏÇÉ Ó ÐÅÒ×ÏÊ ÏÛÉÂËÉ ÄÏ ÐÏÓÌÅÄÎÅÊ ÐÒÉ×ÅÄÅÎÙ × ÁÔÁÞÅ
ÂÅËÁÐ-ÒÅÓÔÏÒ ÂÙÌ ÐÒÉÍÅÒÎÏ 22-00 - 23-00
ÐÏÞÉÎËÁ ÐÒÉÍÅÒÎÏ × 23-30 - 01-30


begin 666 firebird.zip
M4$L#!!0(`'B!,38[CX5AD@(``!04```,9FER96)I7;TXNS9?DQS2:3XTFE$T4
M/125N2>!#X]M'\A]H IGE!,5*"%Z:7[.?/"HU;,]U[%CA*4E\(,8T(]1H%,:
MNY?*2?W67CN;QC:@$(& \J&/,:>$:16 3N#[V(E=N=(+HIB#+:OLHX#(=1#<
M"!RT1]7&U:,:UY2;>JMV;+?M"#D8W%HV&PUK=65XKZZMKLCO&_8>0JW.U'H=
M7HC WX/X98A0QL-0XJ #NE3M!-UK7= JN1.L^PX>0BUQ[ 1"=,,8Y&;A-9>J
M:00\[*$'2A767$]N8^VVJ>[EMAIL PROTECTED]:8NTB+7K"FR[PJ%6)#K6,^%8H^*XOERHU1F1)<'V04!["5L-H+F^O;VV:4%;46F4"'2[63\O+3[WS"4I-
M\-\.#[E&'=;R:#%C:M$M+EA0T_,0U#G1LPDJMP7+!VX4N7*:9-(*%Z/*'Z"5
M]8T-L[7=7-XTUXQF0L7T]%0*RT9%BZ&J9Z-2"Z&B&4>4%4+%Z&3F*EG8,@W3
M;&UL/91,.OG-=._6!:]?'7W\!!^.W[P].G[W/F$A,+CX?/7C["LL#.-P1UY)
M44D=B'[EMAIL PROTECTED]/ZULZG&]"6)&AL+="*'=C>' %L]E
M[NX*Q%0EZQF>^F2R/PO!+)X>IM\Z4\=TCG%6<*(RQJF2XSNU7U!+`0(4`!0(`'B!,38[CX5A
MD@(``!04```,``$`( " @0!F:7)E8FER9"YL;V=02P4&
/``$``0`ZO (`
`
end

Re: NBACKUP kill

[Dmitry Yemanov]

Кравченко Алексей wrote:


запустил н-бэкап и по какимто причинам убил его (типа не время... решил
запустить потом).
повторные запуски выдавали страшного вида ошибку со смыслом "уже в процессе
бэкапа"


Т.е. доку ты не читал и разлочить базу не догадался?


поэтому самым разумным на тот момент показалось сделать цикл обычного
бакап-рестора...
сделал бэкап-рестор...
потом вроде как запустил снова инкркментальный (чтоб догнаться до уровня 3,
который будет ночью)


После обычного рестора о каком уровне 3 может идти речь? SCN в хидере 
сброшен, все страницы нафиг изменены.



но после нормального завершения бэкапа delta-файл почемуто не изчез


Ты же базу не разлочил. Или речь про рестор?


ждать надоело толи перезапустил сервис толи комп перегрузил... в общем не
помню


Маладца. Так дальше и поступай.


--
Дмитрий Еманов

Re: NBACKUP kill

[Dmitri Kuzmenko]

Hello, Алексей!

Кравченко Алексей wrote:


//незнаю в какой момент в логах появилось вот это "SCH_validate -- not
entered"


udf-ы глючат?

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: NBACKUP kill

[��������� ������]

> ô.Å. ÄÏËÕ ÔÙ ÎÅ ÞÉÔÁÌ É ÒÁÚÌÏÞÉÔØ ÂÁÚÕ ÎÅ ÄÏÇÁÄÁÌÓÑ?
>
ÎÅÁ ÎÅ ÄÏÇÁÄÁÌÓÑ ËÁÚÁÌÏÓØ ÓÄÅÌÁÌ ÕÖÅ ÞÏÔÁ ÓÔÒÁÛÎÏÅ...

> ðÏÓÌÅ ÏÂÙÞÎÏÇÏ ÒÅÓÔÏÒÁ Ï ËÁËÏÍ ÕÒÏ×ÎÅ 3 ÍÏÖÅÔ ÉÄÔÉ ÒÅÞØ? SCN × ÈÉÄÅÒÅ
> ÓÂÒÏÛÅÎ, ×ÓÅ ÓÔÒÁÎÉÃÙ ÎÁÆÉÇ ÉÚÍÅÎÅÎÙ.
ÎÅÅ
ÔÏÅÓÔØ ÐÌÁÎÉÒÏ×ÁÌ ÓÄÅÌÁÔØ ÕÒÏ×ÎÉ 0,1,2 ÎÏ ÕÖÅ ÐÏÓÌÅ 0 ÕÖÅ ÞÏÔÁ ÎÅ ÔÁË
ÐÏÛÌÏ...

> ôÙ ÖÅ ÂÁÚÕ ÎÅ ÒÁÚÌÏÞÉÌ. éÌÉ ÒÅÞØ ÐÒÏ ÒÅÓÔÏÒ?
ÓÄÅÌÁÌ ÂÜËÁÐ-ÒÅÓÔÏÒ. ÐÏÓÌÅ ÜÔÏÇÏ ÄÜÌØÔÙ ÕÖÅ ÎÅÂÙÌÏ... ÂÙÌÁ Ó×ÅÖÁÎØËÁÑ âä
ÎÁ Ó×ÅÖÅÊ âä (ÎÏ ÕÖÅ × ÒÁÂÏÔÅ) ÐÙÔÁÌÓÑ ÓÄÅÌÁÔØ Î-ÂÜËÁÐ 0 ÕÒÏ×ÎÑ.
ÐÏÓÌÅ ÕÓÐÅÛÎÏÇÏ ÚÁ×ÅÒÛÅÎÉÑ ËÏÔÏÒÏÇÏ ÏÓÔÁÌÓÑ ÄÅÌØÔÁ.
ÞÔÏ ÍÅÎÑ É ÎÁÓÔÏÒÏÖÉÌÏ...

>
> > ÖÄÁÔØ ÎÁÄÏÅÌÏ ÔÏÌÉ ÐÅÒÅÚÁÐÕÓÔÉÌ ÓÅÒ×ÉÓ ÔÏÌÉ ËÏÍÐ ÐÅÒÅÇÒÕÚÉÌ... × ÏÂÝÅÍ
ÎÅ
> > ÐÏÍÎÀ
>
> íÁÌÁÄÃÁ. ôÁË ÄÁÌØÛÅ É ÐÏÓÔÕÐÁÊ.
>
ÎÕ ÐÏÎÉÍÁÀ ÞÔÏ ÜÔÏ ÎÅÐÒÁ×ÉÌØÎÏ... Á ÞÔÏ ÄÅÌÁÔØ... ÐÏÞÅÍÕ ÄÜÌØÔÁ ÎÅ ÉÚÞÅÚ?
(Î-ÂÜËÁÐ ÖÅ ÚÁ×ÅÒÛÉÌÓÑ Á Ñ ÔÁË ÐÏÎÉÍÁÀ ÉÈ ÓÌÉ×ÁÅÔ ÐÏ ÚÁ×ÅÒÛÅÎÉÉ)
ÜÔÏ ÍÅÎÑ ÎÁÐÕÇÁÌÏ... ÈÚ... ÍÎÅ ËÁÚÁÌÏÓØ ÞÔÏ ÕÖÅ ÞÔÏÔÏ ÐÏÛÌÏ ÎÅ ÔÁË É
×ÏÚÍÏÖÎÁ ÐÏÔÅÒÑ ÄÁÎÎÙÈ...
ÞÉÔÁÔØ ÄÏËÕ nbackupÁ ÐÏÞÅÍÕÔÏ ÍÙÓÌÉ ÎÅ ×ÏÚÎÉËÌÏ, ÎÁ×ÅÒÎÏ ÐÏ ÐÒÉÞÉÎÅ
ËÁÚÁ×ÛÅÊÓÑ "ÎÅÓÔÁÎÄÁÒÔÎÏÊ ÓÉÔÕÁÃÉÉ"...
nbackup -n ÐÏÍÏÇ ÂÙ?

PS
× ÜËÓÔÒÅÍÁÌØÎÙÈ ÓÉÔÕÁÃÉÑÈ ÌÀÄÉ ×ÅÄÕÔ ÓÅÂÑ ÎÅÁÄÅË×ÁÔÎÏ...

проблемы с nbackup

[Yakov Hrebtov]

Стал разбираться с nbackup, возникли проблемы.
Делаю из под рута:
/opt/firebird/bin/nbackup -L generation_devel

Параллельно подключаюсь к этой же базе, в ответ:

I/O error for file "/home/data/fbdata/generation_devel.fdb.delta".
Error while trying to write to file.
Bad file descriptor.

смотрим права на файлы:
-rw-r--r-- 1 firebird firebird 268320768 2006-04-07 14:52 generation_devel.fdb
-rw-r--r-- 1 root root 16384 2006-04-07 14:52 
generation_devel.fdb.delta

ну естественно, сервер, работающий от firebird не может
писать в этот файл...

Почему дельта имеет неправильные права?

проблемка с nbackup

[Yakov Hrebtov]

Привет!
Nbackup ругается вот таким образом:

[EMAIL PROTECTED] backup]# /opt/firebird/bin/nbackup -B 1 mybase 
/opt/firebird/data/test1.nbk
Fatal lock manager error: invalid lock id (418996), errno: 22
--Invalid argument

C чем это может быть связано и что делать?
(пока приходит в голову только остановить сервер и удалить lock-файл)

Re: Проблемы с nbackup

[Dmitry Yemanov]

Ivanov E.P wrote:


выполняем команду
|/opt/firebird/bin/nbackup -B 0 /d1/gdb/home/MC.gdb|
создается файл
MC.gdb-0-20090205-1112.nbk


Какого размера?

запускаю программу работы с базой, добавляем данные, blob-ы изображения, 
закрываем программу, если запустить повторно, все изменения видны, 
размер базы изменяется, никаких файлов *.delta не появляется


Все как положено.


если запустить команду еще раз

/opt/firebird/bin/nbackup -B 1 /d1/gdb/home/MC.gdb
то создастся еще один файл
MC.gdb-1-20090205-1444.nbk размером 213096, тогда как база увеличелась 
на 3 мега,


213096 - это в байтах? База, кстати, могла увеличиться не на реальные 
данные, если batch extend сработал. Последние неиспользуемые страницы 
вроде не бекапятся.



если запустить востановление
/opt/firebird/bin/nbackup -R /d1/gdb/home/MC.gdb 
MC.gdb-0-20090205-1112.nbk MC.gdb-1-20090205-1444.nbk
то программа молча отработает и, судя по содежанию базы, данные 
восстановятся только уровня 0


Это вряд ли.

по описанию nbackup после запуска MC.gdb-1-20090205-1444.nbk должен 
фиксироваться размер и создаваться файл delta, так ничего этого не 
наблюдается


Ты с ключом -L не перепутал?


--
Дмитрий Еманов

Re: Проблемы с nbackup

[Dmitri Kuzmenko]

Hello, Ivanov!

Ivanov E.P wrote:

запускаю программу работы с базой, добавляем данные, blob-ы изображения, 
закрываем программу, если запустить повторно, все изменения видны, 
размер базы изменяется, никаких файлов *.delta не появляется, если 


а почему файл delta должен появиться? Вы почитайте доку по nbackup
еще раз. Если базу ЗАЛОЧИТЬ, то тогда дельта появится и будет висеть
пока базу не разлочить. А если делать -b, то дельта появляется
на время копирования страниц БД, и затем исчезает.
Т.е. все как должно быть.

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: Проблемы с nbackup

[Ivanov E.P]

главная проблема в том, что после восстановния базы командой, как указано
выше, данные в востановленной базе соответствуют бэкапу 0 уровня


какие есть идеи? (повторить эксперимент, повторить на другой машине,
повторить на другом сервере, указать какие-либо настройки для дополнительной
информации)
-- 
View this message in context: 
http://www.nabble.com/%D0%9F%D1%80%D0%BE%D0%B1%D0%BB%D0%B5%D0%BC%D1%8B-%D1%81-nbackup-tp21848503p21928379.html
Sent from the firebird-russian mailing list archive at Nabble.com.

Re: Проблемы с nbackup

[Vlad Khorsun]

"Ivanov E.P" ...


главная проблема в том, что после восстановния базы командой, как указано
выше, данные в востановленной базе соответствуют бэкапу 0 уровня


какие есть идеи? (повторить эксперимент, повторить на другой машине,
повторить на другом сервере, указать какие-либо настройки для дополнительной
информации)


   Повторить с 2.1.2

--
Хорсун Влад 

Re: Проблемы с nbackup

[Dmitry Yemanov]

Vlad Khorsun wrote:


Повторить с 2.1.2


Достаточно 2.1.1 :-)


--
Дмитрий Еманов

Re: Проблемы с nbackup

[Ivanov E.P]

Dmitry Yemanov-2 wrote:
> 
> Достаточно 2.1.1 :-)
> 

переход на FirebirdCS-2.1.1.17910-0.i686.rpm решил эту проблему

10x

Евгений
-- 
View this message in context: 
http://www.nabble.com/%D0%9F%D1%80%D0%BE%D0%B1%D0%BB%D0%B5%D0%BC%D1%8B-%D1%81-nbackup-tp21848503p21972145.html
Sent from the firebird-russian mailing list archive at Nabble.com.

Re: Проблемы с nbackup

[Kovalenko Dmitry]

Достаточно 2.1.1 :-)


переход на FirebirdCS-2.1.1.17910-0.i686.rpm решил эту проблему
10x


Что лишний раз подтверждает мысль, что не все новое - плохое :-)

Все - FB2.1.x !!! Eusus.

Коваленко Дмитрий. 

Re: Фичи NBackup-а

[Boulitchev Aleksey]

Пока сижу на Yaffil-е, но скоро будем перебиратся на FB2, и связи с етим

начал почитивать доки про NBackup.
Вчера пришлос у клиента сделать бекап/рестор длинои около часа и начал
задумыватся как ето ускорить в будушем.
Проясните плиз возможно ли с NBackup сотворить следуюшее:
Бекап например из 3 уровнеи.
Первыи делаем раз в месяц, второи раз в день, третии ну хрен знает - через 
каждие пара часов можбить, но неважно...


был тут недавно флейм по этому поводу, я для себя получил следующее:

надо не рассуждать, надо пробовать, скорость бакап/рестора примерно равна 
скорости файлового в/в

Влад знает о возможности истории бакапов
прямо сейчас заниматься этим не будет
выгонять юзеров не надо

--
Булычев Алексей
http://www.stella-npf.ru 

Re: Фичи NBackup-а

[Dmitri Kuzmenko]

Hello, Janex!

Janex wrote:


Проясните плиз возможно ли с NBackup сотворить следуюшее:
Бекап например из 3 уровнеи.


доку кто будет читать? на сайте (firebirdsql.org)
в разделе документация, отдельный документ по nbackup
и на русском и на английском, с примерами.

--
Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34

Re: Фичи NBackup-а

[Janex]

доку кто будет читать? на сайте (firebirdsql.org)
в разделе документация, отдельный документ по nbackup
и на русском и на английском, с примерами.


Привет.
Читал. Взял и ешё раз прочитал, но всётаки непонел или то что
неупомянуто автоматически шитать как незя ?
Ок, как понел, то нелязя сделать рестор до 2 уровня, прервать
и потом накатить на его последнии 3 уровень, или можно всётаки ?

И самое главное - если я делаю Lock базе, ето когда юзерские
именения идёт в Дельта фаил, то можно в ето время основную базу
подменить свежеи отресторенои (метаданные не изменённые) ???

Regards
Janex

Re: Фичи NBackup-а

[Dmitry Yemanov]

Janex wrote:


Ок, как понел, то нелязя сделать рестор до 2 уровня, прервать
и потом накатить на его последнии 3 уровень, или можно всётаки ?


Нельзя.


И самое главное - если я делаю Lock базе, ето когда юзерские
именения идёт в Дельта фаил, то можно в ето время основную базу
подменить свежеи отресторенои (метаданные не изменённые) ???


Тоже нельзя.


--
Дмитрий Еманов

восстановление после глюка nbackup

[Trurl]

Когда я делал бакап с помощью nbackup, у меня вышла ошибка.
Fatal lock manager error: invalid lock id (2350928), errno: 22

Почитав эту конференцию понял, что нужно было запускать не из под
рута, а из под юзера firebird.

Теперь у меня база разделена на две части - основной файл и дельту.
Я попытался их объединить с помощью alter database end backup, но
сервер пишет:

This operation is not defined for system tables.
unsuccessful metadata update.
Database is not in the physical backup mode.

У меня такое было и я лечил это с помощью backup-restore через утилиту
gbak.
Можно как-нибудь объединить базы без backup-restore?

Re: проблемы с nbackup

[Yakov Hrebtov]

Стал разбираться с nbackup, возникли проблемы.

P.S. Server Version: LI-T2.0.0.12484 Firebird 2.0 Release Candidate 1

Re: проблемы с nbackup

[Yakov Hrebtov]

Dmitry Yemanov пишет:

Почему дельта имеет неправильные права?


Она в данном случае создается nbackup-ом.

Так... И почему nbackup создает ее с такими правами, что сервер в нее писать не 
может?
Что так и должно быть? Единственное решение запускать nbackup от имени firebird?

Re: проблемы с nbackup

[Yakov Hrebtov]

Dmitry Yemanov пишет:

Что так и должно быть?


А вот с этим будем разбираться с виновными, по результатам отпишусь.


Пока, чтоб работало, поставил на nbackup SUID бит, но это, изврат конечно...

Re: проблемы с nbackup

[Yakov Hrebtov]

Dmitry Yemanov пишет:

Что так и должно быть?


А вот с этим будем разбираться с виновными, по результатам отпишусь.


Кстати, после `nbackup -F` дельта-файл не должен удаляться?
У меня остается лежать на преждем месте.

Re: проблемы с nbackup

[Yakov Hrebtov]

Dmitry Yemanov пишет:

Кстати, после `nbackup -F` дельта-файл не должен удаляться?


Нет. Fixup оперирует только основной базой, про дельты он понятия не имеет.

Тьфу, точно! Я перепутал -F с -N. Думал, что -F - это для unlock.
Понял.

Работа с nbackup (FB2_RC1_12553)

[Sergey Chernyak]

Добрый день.

Пробую работать с nbackup.

Создал резервную копию 0 уровня:
nbackup -U SYSDBA -P masterkey -B 0 localhost:D:\DB\base2005.fdb 
C:\b2005_0_20060407.nbk


Все создалось нормально.

После этого пробую создать резервную копию 1 уровня:
nbackup -U SYSDBA -P masterkey -B 1 localhost:D:\DB\base2005.fdb 
C:\b2005_1_20060407.nbk


Команда начинает выполняться, создается файл C:\b2005_1_20060407.nbk , 
но команда не завершает выполнение, а чего-то ждет. Сервер при этом 
ничего не делает. С базой никто активно не работает. В 
RDB$BACKUP_HISTORY есть только запись о резервной копии 0 уровня.


Можно только снять задачу.

После нескольких попыток решил написать в конференцию, может это баг в 
NBACKUP или я чего-то не так сделал?


Сергей.

Re: проблемы с nbackup

[Yakov Hrebtov]

Продолжим :-) Сервер - классик или супер?

классик


Делаю из под рута:
/opt/firebird/bin/nbackup -L generation_devel

Параллельно подключаюсь к этой же базе, в ответ:


Как подключаешься, локально или через TCP?

Подключаюсь то по TCP (вообще с другой машины)

А вот nbackup, как ты заметил делаю локально!
Если nbackup делать через TCP:
/opt/firebird/bin/nbackup -U SYSDBA -P mypass -N localhost:generation_devel
то всё ок -- дельта создается с нормальными правами
(я так понимаю, в этом случае ее создает сервер).

Так что проблема проявляется только когда nbackup работает локально и сам 
создает дельту.
(установка SUID бита, на nbackup решает проблему)

Re: проблемы с nbackup

[Yakov Hrebtov]

Dmitry Yemanov wrote:
> Когда nbackup работает локально, то ты коннектишья через embedded доступ и
Коннект из-под рута локально позволяет
не указывать имя пользователя и
пароль, по-этому я его и использую,
например, в скритах автоматизации
резервного копирования. Мне кажется,
это самый удобный способ под unix...
(и он сейчас не работает!)

> дельта-файл создается под правами твоего процесса. Есс-но, что
> TCP-доступ не может получить доступ к базе.
С какой целью он создается с
владельцем root, хотя с легкостью может
быть создан с владельцем firebird? Ведь
если всё оставить как сейчас, то
получается что nbackup просто нельзя
использовать в режиме локального
подключения, потому как любая работа с
базой при этом блокируется.

мне кажется, можно либо:
1. влючать в дистрибутив nbackup с
установленным SUID, так как это
полностью решает проблему.
2. попроавить nbackup, чтоб он пылался
выставить на дельту, такие права, с
которыми ее может читать сервер.
(Потому как создание дельты, котрую не
может прочитать сервер не имеет смысла)

Re: проблемы с nbackup

[Yakov Hrebtov]

А чем не устраивает ISC_USER/ISC_PASSWORD?

Да нет особых проблем, я не спорю...

Патамучта так оно работало всегда. Если ты создаешь базу под рутом, то ведь 
не удивляешься, что потом не можешь к ней подключиться по TCP?

Ясно, согласен.

Дельту на самом деле создает сервер, а не nbackup. И он создает ее со своими 
правами. Которые при локальном доступе есть рутовые, т.к. сервер работает в 
адресном пространстве nbackup.
Тогда SUID, наверное, будет правильным решением, потому как делает именно то что требуется: 
ембеддед сервер тоже будет работать под юзером firebird, не зависимо от того, кто его 
запускает. Соответственно дельта будет доступна и TCP серверам.

Re: проблемы с nbackup

[Yakov Hrebtov]

Dmitry Yemanov wrote:
> А про решение - вместо SUID мы будем при создании дельты (и прочих файлов
> базы) устанавливать их права равными правам основного файла базы.
Ага, то, что надо!

Re: проблемы с nbackup

[Yakov Hrebtov]

Стал разбираться с nbackup, возникли проблемы.

Продолжим :-)
Вот другая проблема:

Делаю:
/opt/firebird/bin/nbackup -U SYSDBA -P mypass -B 0 localhost:generation_devel 
/opt/firebird/data/manual-backup/test.nbk

Всё ок.

Но если localhost заменить на 127.0.0.1 то возникает ошибка:
Failure: Error (2) opening database file: 127.0.0.1:generation_devel

Это с чем связано?

Re: проблемы с nbackup

[Yakov Hrebtov]

Стал разбираться с nbackup, возникли проблемы.

Еще один момент.
Любой пользователь сервера БД может сделать инкрементальный бэкап!
Это ведь неправильно.

Re: проблемы с nbackup

[Yakov Hrebtov]

> Но если localhost заменить на 127.0.0.1 то возникает ошибка:
> Failure: Error (2) opening database file: 127.0.0.1:generation_devel
>
> Это с чем связано?
В документике Firebird-nbackup.pdf в разделе
"Limitations of nbackup" наткнулся на краткое:
- nbackup can only backup local databases.

Не уж то из-за этого?

Re: проблемы с nbackup

[Horsun Vlad]

"Yakov Hrebtov" ...

> В документике Firebird-nbackup.pdf в разделе
> "Limitations of nbackup" наткнулся на краткое:
> - nbackup can only backup local databases.

А как ты себе представляешь _физический_ бекап не
локальной БД ? Только через службы, которых для него не
делали


-- 
Хорсун Влад