date:20070614

Re: 1-я часть статьи Firebird 2.0 на полную катушку

2007-06-14 Пенетрантность Alexander A. Venikov



Hello, Dmitri!
You wrote  on Wed, 13 Jun 2007 23:17:50 +0400:

 Постараюсь, согласно советам Дмитрия Кузьмука,
  DK кого-кого??? :-F
А ещё они обзвывали тебя жёлтым земляным червяком! Да-да, червяком (с)
--
Удач
Alexander A. Venikov, Tobolsk, Russia

Re: 1-я часть статьи Firebird 2.0 на полную катушку

2007-06-14 Пенетрантность PEAKTOP



 А в чем сакральный смысл писать статью по теме, которая может быть (и будет) 
 изменена в последующих сборках сервера?

Кстати, у меня что-то оператор delete from mon$statements st where
(st.mon$statement_id = ...) работает только для записей, у которых mon
$transaction_id = NULL.

1) Я так понимаю, что это записи ранних (fbclient.dll  2.1)
клиентов ?

2) Это так и должно быть ?

OFF: Разгон машины тьюринга :)))

2007-06-14 Пенетрантность Kovalenko Dmitry

Привет всем.

... Не все таки меня здорово подкололи насчет моей реализации
управления деревом, хранящимся в файле. Ржунемогу. Респект шутнику :)

Вообщем, к своему великому огорчению, я так и не смог сдвинутся с
места со своей идеей текстовой индексации. Бьюсь головой апстену, но
это факт. Заклинило на механизме регистрации комбинаций. Который я
пытался реализовать на базе AVL дерева. Натурального дерева - с Left,
Right, Parent, Key. Дерево хранится в страничном файле. На каждой
странице (4K) помещалось 88 нодов.

Вывод который я сделал своей новизной особо не отличается - что
русскому хорошо... то есть, что хорошо для конструкций в оперативной
памяти, то для внешних хранилищ - смерть. Гы. Я знаю, что этому еще в
школе учат, но вот проверил на своей шкуре :)

Тормоза на этапе балансировки. Если эти самые left,right,parent
(заголовок элемента дерева) всегда держать в памяти, то дикого падения
производительности не наблюдается. Как только заканчивается место в
кэше (начинается обмен с диском) то моск у этого дерева заклинивает
напрочь. И ничего его не спасает. Все из-за того, что ноды,
задействованные при балансировке, разбросаны по разным страницам.
Короче, при добавлении одного нода, который весит всего-то ~50 байт,
меняется до 10 страниц данных. Это для тех маленьких объемов данных,
которые я пытался обработать.

Если убрать балансировку - моск залинивает сразу. И бесповоротно.

-
Единственное что утешает, что я действительно смог разогнать
первоначальную реализацию почти в два раза
- ноды помещаются целиком на странице. Раньше они могли
размазываться
- убрал проверки внутренней целостности
- прикрутил кэш для заголовков нодов.

Еще пытался развалить индекс на секции (думал, это уменьшит число
коллизий в многопоточной программе) - но толку мало.

Пока все данные в кэше - ускорение действительно было заметно. Как
только начинается обмен с диском - приходит добрый, пушистый зверь.

Есть конечно еще идея - радикально увеличить размер кэша для
заголовков нодов и упорядочить их выгрузку в файл (начать с тех,
страницы которых сейчас в кэше, а потом группировать по страницам) -
но я думаю это тоже нифига не поможет :))

-
Я посмотрел как сделано в FB 1.5 (tree.h). Но, боюсь, я такую
реализацию пока не осилю. Нужно пересматривать реализацию свего кэша,
а это достаточно рискованное мероприятие.

... Самофатова надо придушить за оформление иходников.

Вообщем, буду пытаться заюзать хеширование. Идея такая. Хеш таблица
оформляется в виде набора страниц файла. Справочник страниц будет
всегда хранится в памяти. На странице хранится указатели на списки
данных.

Указатель на список - 6 байт. Получается что на странице (4K) будет
хранится свыше 650 указателей. Если заюзать хеш-таблицу размером 5
млн, то размер справочника будет в районе 7700 страниц.

Каждый элемент списка должен хранить явно больше одного элемента. Но
тут я по-эксперементирую. Гы.

Да. Размер самого описателя комбинации - 22 байта.

Всего-то нужно 350 млн комбинаций обработать. Хотя, судя по той
статистике которую я лицезрел во время этого секс-марафона - число
повторений 2. Так что, если быть оптимистом - то 175 млн
максимум :)))

Коваленко Дмитрий.

целая часть числа

2007-06-14 Пенетрантность Alexey Popov



Имеем следующие результаты округления:
cast(0.5 as integer)=1
cast(-0.5 as integer)=-1
По большому счёту это пофиг, но как тогда безопасно
выделить целую часть числа?
сast(x-0.5 as integer) может привести к ошибке.

--
--- Home Page http://ok.novgorod.net/ap ---

Re: 1-я часть статьи Firebird 2.0 на полную катушку

2007-06-14 Пенетрантность PEAKTOP


Прошу прощения, очепятка

 ... работает только для записей, у которых mon$transaction_id NOT
NULL ...

версия 2.1.0.15972

Re: целая часть числа

2007-06-14 Пенетрантность Кузнецов Евгений



Доброго времени суток!

Alexey Popov wrote:


По большому счёту это пофиг, но как тогда безопасно
выделить целую часть числа?


case when (:alpha  0) then cast(:alpha+0.5 as integer)
 when (:alpha  0) then cast(:alpha-0.5 as integer)
 else 0
end

С уважением, Евгений

Re: 1-я часть статьи Firebird 2.0 на полную катушку

2007-06-14 Пенетрантность Andrei Yeryomin



Alexander A. Venikov пишет:


Hello, Dmitri!
You wrote  on Wed, 13 Jun 2007 23:17:50 +0400:

  Постараюсь, согласно советам Дмитрия Кузьмука,
   DK кого-кого??? :-F
А ещё они обзвывали тебя жёлтым земляным червяком! Да-да, червяком (с)

Ну, такая аналогия скорее всего Деду бы подошла. ;-)
А Дима у нас скорее Балу, который раздает подзатыльники своей тяжелой 
... битой.


--
С уважением,
 Андрей Еремин.

Re: OFF: Разгон машины тьюринга :)))

2007-06-14 Пенетрантность Kovalenko Dmitry


 И всё же не понятно...
 Вот есть специально оптимизированные для блочных манипуляций Б и Б+
 дерева 
 (http://en.wikipedia.org/wiki/B-tree,http://en.wikipedia.org/wiki/B%2B_tree)
 Алгоритмы балансировки даже проще чем AVL | RB.
 Библиотек и отдельных исходников в сети - пруд пруди...

 Нет, ты доблестно шагаешь по лесу граблей тобой же и разбросанных! ;-)

Вот такой я бледнолицый товарищ :)

Спасибо.

Коваленко Дмитрий

Firebird и наследование

2007-06-14 Пенетрантность PEAKTOP


Хотел задать вопрос разработчикам о будующем :)

Нет ли у Вас в планах доработки механизма наследования таблиц ?

Например, есть у меня некая автоматизированная система учета (наш
маркетолог ее с гордостью называет ERP, но здесь взрослые люди,
поэтому мы будем называть вещи своими именами :)

Основа идеологии системы - система документооборота или журналы
документов. Как реализовано сейчас:
Есть таблица ГЛАВНЫЙ ЖУРНАЛ, в которой регистрируются все документы
(шапочная часть) и хранящая общие для всех документов атрибуты (дата
создания, пользователь, флаг-проведения, коментарии и т.д.) Есть куча
таблиц по отношению один-к-одному с главным журналом, которые хранят
специфические для данного вида документов атрибуты (например, расход
по кассе, хранящий там счет, субконто, вид ВД/ВР и т.д.) То есть,
чтобы получить выборку документов в GIU-интерфейс, делается join этих
таблиц. А иногда и нескольких, т.к. конечные документы имеют третье
поколение наследования.

Отсюда и возникла хотелка конструкции а-ля CREATE TABLE ЖУРНАЛ
РАСХОДА EXTENDS ГЛАВНЫЙ ЖУРНАЛ (  ).
Пускай, например, с ограничением, что в наследуемой таблице не может
быть доменов с такими же именами, как в родительской. Хотелось, чтобы
можно было делать INSERT-UPDATE-DELETE в дочернюю, с автоматической
вставкой записей в родительскую.

Сама мысль не бредовая ?

Re: ��

2007-06-14 Пенетрантность ��


Hello, Dmitri!
You wrote  on Wed, 13 Jun 2007 11:07:42 +0400:

  Это решается с помощью генератора. Можно с использованием пары
  генераторов.
 DK Это решается отдельным тредом, который выдает остальным записи
 DK на обработку. т.е. читать данные должен кто-то один, а обрабатывать -
 DK сколько угодно.

Не, оно решается оракловыми SAQ :

--
-=Особенности статистики: о добрых дельфинах сообщают те, кого дельфины толкали 
к берегу...=-
With best regards,  Nikolay Ponomarenko

Re: Разгон машины тьюринга :)))

2007-06-14 Пенетрантность Мадорский Г . В .

Каждый элемент списка должен хранить явно больше одного элемента. Но
тут я по-эксперементирую. Гы.

Да. Размер самого описателя комбинации - 22 байта.

Интересно будет о результатах услышать. Хотя, честно говоря, я окончательно
идею не понял. Я, похоже, как-то по другому это все представляю или ты мутно
изложил.

With b/r. Gleb.

1 2 >

Результаты 1 - 100 из 104 matches

Mail list logo