Привет всем.
... Не все таки меня здорово подкололи насчет моей реализации
управления деревом, хранящимся в файле. Ржунемогу. Респект шутнику :)
Вообщем, к своему великому огорчению, я так и не смог сдвинутся с
места со своей идеей текстовой индексации. Бьюсь головой "апстену", но
это факт. Закл
И всё же не понятно...
Вот есть специально оптимизированные для блочных манипуляций Б и Б+
дерева (http://en.wikipedia.org/wiki/B-tree,
http://en.wikipedia.org/wiki/B%2B_tree)
Алгоритмы балансировки даже проще чем AVL | RB.
Библиотек и отдельных исходников в сети - пруд пруди...
Нет, ты добле
> И всё же не понятно...
> Вот есть специально оптимизированные для блочных манипуляций Б и Б+
> дерева
> (http://en.wikipedia.org/wiki/B-tree,http://en.wikipedia.org/wiki/B%2B_tree)
> Алгоритмы балансировки даже проще чем AVL | RB.
> Библиотек и отдельных исходников в сети - пруд пруди...
>
> Не
Привет.
> > Отследить такое не сложно. Но вопрос - а что делать? Формально это
>
> Видал в логе IB сообщения от блокировщика о то что "жопа" ;-), вот и ты также
> пиши в лог.
Посколько в этой ветке только ты (да DED) не отговаривают меня возится
с этой затеей, собственно с тобой и буду дели
> Тока не file_handle а скорее набор OVERLAPPED объектов отвечающих за текущее
> состояние процесса асинхронного I/O кэша.
Ну да. Тока у меня (после прочтения третьего издания Рихтера) осталась
какая-та фобия. Может я чего не так понял.
В частности - требования к выравниванию на границе 64K. Ти
Kovalenko Dmitry wrote:
Сегодня прочитал в новоcтях - у "Электронной России" опять будет новый
координатор. Текущий свалил в IBM. @[EMAIL PROTECTED], уродство какое-то.
Расстраиваешься, что сам не первый додумался? :-D
--
Regards. Ded.
Kovalenko Dmitry wrote:
Посколько в этой ветке только ты (да DED) не отговаривают меня возится
с этой затеей, собственно с тобой и буду делиться мыслями :))
Это правильно, что с ним. Потому что ты понимаешь, что я понимаю,
что отговаривать всё равно бесполезно - не построили ещё такой сте
> что значит нормальный код, потоки ведь от этого не изменятся, они все равно
> останутся все в том же процессе. А передача процесса от одного процессора к
> другому - это функция ОС. Так как достичь выйгрыша от много процессорности в
> пределах одного процесса?? (это вопрос, а не подколка)
Выигр
> > другому - это функция ОС. Так как достичь выйгрыша от много процессорности в
> > пределах одного процесса?? (это вопрос, а не подколка)
>
> Пример - криво написанный супер не может использваоть многопроцессорыне
> мощности. А правильная лаба по сортировке на потоках может :-):-):-)
Все, пере
Kovalenko Dmitry wrote:
PS. А в это время Дима Еманов думает - "как вы меня задрали, клоуны".
Не, ты меня искренне веселишь :-)
--
Дмитрий Еманов
Dmitri Kuzmenko wrote:
Word тоже не используешь совсем :-)
с какого рожна он два ядра будет использовать?
От скорости тайпинга сильно зависит. Сам видишь - у Олега по три
очепятки в предложении минимум, 3500 знаков в минуту - эт те не хрен
собачий ;)
--
Regards. Ded.
> >>художества - может быть. А вот у меня на компе вообще ничего нет
> >>кроме IB/FB что могло бы многоядерность использовать.
>
> > Word тоже не используешь совсем :-)
>
> с какого рожна он два ядра будет использовать?
Чтобы врагу не достались :)
Коваленко Дмитрий.
Hello, Aleksey!
Aleksey Karyakin wrote:
А у тебя одно ядро на сколько процентов используется, интегрально за сутки?
у меня то оба на 100% используются круглые сутки :-)
потому что у меня работает boinc, считает seti_at_home
и Эйнштейна.
кроме того, система ведь треды и приложения кидает на я
Hello,
Oleg LOA said the following on 20.06.2007 12:36:
Пример - криво написанный супер не может использваоть
многопроцессорыне мощности. А правильная лаба по сортировке на
потоках может :-):-):-)
Плохому программисту ядра мешают...
--
Oleg
Dmitri Kuzmenko пишет:
но я это к тому, что на десктопе загрузить оба ядра пока реально
нечем (кроме всяких видео-дел). А на десктоп уже по 4 ядра суют.
и кто их будет грузить, я вообще не понимаю.
ИГРЫ. ты совсем забыл про игры. Вот им 4 ядра уже хорошо.
--
Кочмин Александр
Oleg Deribas wrote:
Плохому программисту ядра мешают...
А у хорошего, вона, 24 часа в сутки работают 8-O
--
Regards. Ded.
Hello, Alexandr!
Kochmin Alexandr wrote:
но я это к тому, что на десктопе загрузить оба ядра пока реально
нечем (кроме всяких видео-дел). А на десктоп уже по 4 ядра суют.
и кто их будет грузить, я вообще не понимаю.
ИГРЫ. ты совсем забыл про игры. Вот им 4 ядра уже хорошо.
Александр, вот ч
Hello, Alexandr!
Kochmin Alexandr wrote:
> ИГРЫ. ты совсем забыл про игры. Вот им 4 ядра уже хорошо.
и как раз вот в играх-то до сих пор разрабам не совсем ясно,
чего можно распараллеливать.
Были когда-то эксперименты, еще при появлении двухпроцессорных
машин, доступных для десктопов. И то разра
Hello, Oleg!
You wrote on Thu, 21 Jun 2007 12:30:36 +0400:
OL> Осталось найти точную границу между "обычной" и "необычной"
OL> работой, и наступит эра "сплошного телевидения". :)
OL> Обычная работа, это работа без постоянного изменения
OL> метаданных. Помоему в контексте обсуждения кэша
OL> мет
> > ИГРЫ. ты совсем забыл про игры. Вот им 4 ядра уже хорошо.
>
> и как раз вот в играх-то до сих пор разрабам не совсем ясно,
> чего можно распараллеливать.
> Были когда-то эксперименты, еще при появлении двухпроцессорных
> машин, доступных для десктопов. И то разрабы отказались.
> Необходимость
On Fri, 22 Jun 2007 10:14:28 +0400, Kovalenko Dmitry <[EMAIL PROTECTED]> wrote:
> Я так понимаю, "параллельные" вычисления ИГР переместиласть на уровень
> видеокарт...
AI и физику пока видеокарты не считают.
--
Сергей Смирнов.
> > Я так понимаю, "параллельные" вычисления ИГР переместиласть на уровень
> > видеокарт...
>
> AI и физику пока видеокарты не считают.
Я про обсчет графики.
Коваленко Дмитрий.
> > Отследить такое не сложно. Но вопрос - а что делать? Формально это
>
> Видал в логе IB сообщения от блокировщика о то что "жопа" ;-), вот и ты также
> пиши в лог.
Вот еще вопросик по существу ...
Я так понимаю, в архитектуре супер сервера нет жесткой привязки потока
к коннекту.
То бишь
Hello, WilSery!
WildSery wrote:
Я так понимаю, "параллельные" вычисления ИГР переместиласть на уровень
видеокарт...
AI и физику пока видеокарты не считают.
физику уже считают. на картах NVidla уже можно считать
распространение звуковых волн и др. задачи.
Причем в десятки если не в сотни ра
Hello, Sergey!
Sergey Mereutsa wrote:
контра - не может. только что запустил - перебрасывается с одного проца
на другой, аки суперсервер. макс загрузка каждого проца - ~50%.
Там 16 тредов. Ты точно сурсовую запустил? Которая на HL2&?
натюрлих. у меня она уже давно купленная, именно вместе
Roman Rokytskyy wrote:
Хммм... а где этот мистический scheduler живет? Это наши "любимые"
THREAD_EXIT() и THREAD_ENTER()?
Именно. Сам код в /jrd/sch.cpp.
--
Дмитрий Еманов
> Гы-гы-гы. В 99 мой товарищ защищал диплом по теме "Параллельные
> алгоритмы". Ему 1 балл сняли за "неактуальность" и отсутствие
> практических применений непосредственно в области информационных
> технологий - он выпуклую оболочку в тредах считал.
Это типичная проблема, когда люди не могут объя
On Sat, 23 Jun 2007 15:23:46 +0400, Dmitri Kuzmenko <[EMAIL PROTECTED]> wrote:
> perfmon, разумеется. включаешь показ загрузки каждого проца, и смотришь.
Т.е. признак только один - что оба проца загружены на 50% ?
--
Сергей Смирнов.
> Это ведь тот же самый вопрос, который я задавал по поводу
> реализации доступа к одному коннекту из разных тредов в IBProvider.
> В общем случае такая задача бессмыслена, т.к. все упрется в
> синхронизацию доступа к коннекту, и аналогичное происходит
> в супере FB, играх и т.п.
Дим, это вообще
Hello, WildSery!
WildSery wrote:
On Sat, 23 Jun 2007 15:23:46 +0400, Dmitri Kuzmenko <[EMAIL PROTECTED]> wrote:
perfmon, разумеется. включаешь показ загрузки каждого проца, и смотришь.
Т.е. признак только один - что оба проца загружены на 50% ?
признак "пилообразной" загрузки обоих ядер/
Dmitri Kuzmenko wrote:
правда, если честно, вот сейчас у себя попробовал, что-то FB
суперсервер никак не хочет "перескакивать", все время одно ядро
грузит.
У него же affinity по дефолту включен.
--
Дмитрий Еманов
> > правда, если честно, вот сейчас у себя попробовал, что-то FB
> > суперсервер никак не хочет "перескакивать", все время одно ядро
> > грузит.
>
> У него же affinity по дефолту включен.
Хитрый Еманов :)
Коваленко Дмитрий.
Hello, Dmitry!
Dmitry Yemanov wrote:
правда, если честно, вот сейчас у себя попробовал, что-то FB
суперсервер никак не хочет "перескакивать", все время одно ядро
грузит.
У него же affinity по дефолту включен.
дык я аффинити менял на 1, 2 и 3. все время только одно
ядро занято. правда, я на
"Kovalenko Dmitry" <[EMAIL PROTECTED]> wrote in message news:[EMAIL PROTECTED]
>
>> > правда, если честно, вот сейчас у себя попробовал, что-то FB
>> > суперсервер никак не хочет "перескакивать", все время одно ядро
>> > грузит.
>>
>> У него же affinity по дефолту включен.
>
> Хитрый Еманов :)
Д
> >> У него же affinity по дефолту включен.
>
> > Хитрый Еманов :)
>
> Дима этой фичи сто лет в обед ;-)
Да понятно, понятно. Это я так, стебаюсь... в перерывах между
сражениями.
Вчера вечером, на домашнем компе (прескотт 2.8) добился генерации 170
тыс комбинаций за первые 5 сек.
Утром на работ
> > Чую, без тюнера, не одалею я демона :)
>
> Угу, смотри профайлером кто в ожидании толкается.
Вот еще одно интересное наблюдение. Прескотт 2.8 (стартует с 318408
уникальных комбинаций за 5 сек) работает медленее чем обычный P4-2.8
(у этого - 342917).
Его не спасает даже мегабайтный кэш (у обы
Kovalenko Dmitry wrote:
Двухпоточный вариант на обычном 2.8 стартует с 178247 уникальных
комбинаций. Это перекрывает желания двухдневной давности, но ну никак
не соизмеримо с текущими достижениями однопоточного варианта. На
реальной двухпроцессорной машине - результаты такие же. В однопоточны
> На одном проце по определению однопоточный вариант будет выигрывать.
Смотря какая природа у этого варианта. У меня сейчас два потока
работают
- один грузит данные из базы
- второй эти данные обрабатывает.
У этих потоков одна точка соприкосновения - буфер обмена, в которых
каждый проводит не оч
Kovalenko Dmitry wrote:
Смотря какая природа у этого варианта. У меня сейчас два потока
работают
- один грузит данные из базы
- второй эти данные обрабатывает.
В идеале первый поток не нужен. Например, если коннектится к серверу
через асинхронный сокет, то достаточно обрабатывать сообщения
> > Смотря какая природа у этого варианта. У меня сейчас два потока
> > работают
> > - один грузит данные из базы
> > - второй эти данные обрабатывает.
>
> В идеале первый поток не нужен.
Странные у тебя идеалы :)
> Я бы сделал работу следующим образом: поток-читатель считывает из базы
> блок
"Kovalenko Dmitry" ...
> После заполнения кэша (я эксперементирую с кэшем на 120 тыс четырех
> килобайтных страниц) производительность падает до копеечных размеров.
Грязные страницы на диск идут в каком порядке ? Как попало ?
--
Хорсун Влад
> > После заполнения кэша (я эксперементирую с кэшем на 120 тыс четырех
> > килобайтных страниц) производительность падает до копеечных размеров.
>
> Грязные страницы на диск идут в каком порядке ? Как попало ?
Угу.
- Беру последнюю страницу из очереди "грязных" страниц.
- Блокирую её от запи
Oleg LOA wrote:
"Kovalenko Dmitry" <[EMAIL PROTECTED]> wrote in message news:[EMAIL PROTECTED]
как завещал Великий LOA :)
Недождётесь :-)
Оффну слегонца. Ты, помнится, пару раз на работу людей брал. Не сдашь
координаты двойки-тройки лучших из худщих, в смысле непрошедших отбор? У
мен
Oleg LOA wrote:
Бюджет-то какой? Может кого сам порекомендую из знакомых.
3 месяца испытательного - $800, потом - 1500 с гарантированным
ростом в обозримое время по успехам. Если всё пойдёт - до 2000 точно, а
дальше уже будет зависеть не только от успешности деятельности и от
меня, а и
Kovalenko Dmitry wrote:
Я бы сделал работу следующим образом: поток-читатель считывает из базы
блок данных и передаёт его на обработку второму потоку через
PostThreadMessage (по старинке) или QueueUserAPC (по современному).
Размер блока данных подбирается чтобы его обработка занимала примерно
> Тогда не понятно в чём может быть затык. Ты бы лучше куски кода
> постил, а то телепатия нынче редкость.
На текущий момент - затык с диском.
> > - Послушал как работает машина (в натуре на слух), и понял - нужно
> > нафиг отключить буферизацию файловых операций. То бишь указал флаги
> > FILE_F
Kovalenko Dmitry wrote:
Люди, скажите что нибудь. Хотя бы такую вещь - FB может параллельно
добавлять новые ключи в индексы?
Может. Затык будет в менеджере блокировок на EX-локах, если параллельные
потоки полезут на одну и ту же страницу.
--
Дмитрий Еманов
"Kovalenko Dmitry" ...
>
> > Тогда не понятно в чём может быть затык. Ты бы лучше куски кода
> > постил, а то телепатия нынче редкость.
>
> На текущий момент - затык с диском.
Я же говорил - пиши последовательно, а не абы как. И как можно
бОльшими кусками
...
> Я тут поприкладывал умную книгу
Спасибо, пацаны, что не забыли :)
> > На текущий момент - затык с диском.
>
> Я же говорил - пиши последовательно, а не абы как. И как можно
> бОльшими кусками
> ...
Видно деваться будет некуда. Щас буду пытаться систематизировать
сделанные изменения, я же сломал все что только можно сломать
"Oleg LOA" ...
> "Horsun Vlad" ...
> >
> >Кстати - префиксная компрессия ключей в этом смысле очень даже
> > рулит. Хотя кодировать это - ужас один
> >
>
> А чего-нибудь гтового OS на эту тему нету случаем?
Смеёсся ? Напомнить, где btr.cpp лежит ? :)
> А то вдруг мы туту велосипед проект
"Kovalenko Dmitry" ...
>
> Спасибо, пацаны, что не забыли :)
Тебя забудешь ;)
> > > На текущий момент - затык с диском.
> >
> > Я же говорил - пиши последовательно, а не абы как. И как можно
> > бОльшими кусками
> > ...
>
> Видно деваться будет некуда. Щас буду пытаться систематизировать
Вот статистика по проведенному эксперименту
overflow [4] - число переполнений буфера входящих данных
flush [4879] - число опустошений этого буфера
words [102104] - число слов, из которых потом генерировались
комбинации
ip [17758789] - число уникальных комбинаций. Это то, что как раз
помещается
> А в памяти и не надо. См. WriteFileGather API (в posix'е, кстати,
> оно на порядок удобнее).
Вот ... падла. Я про Рихтера. Влад, спасибо. Я и не знал про эту пару
функций.
> > Читать-то все равно только по одной странице за раз надо ?
>
> Почему ?
А что я могу за два раза прочитать? Е
"Aleksey Karyakin" ...
> Я так понимаю что после отсеивания уникальных ключей еще нужно потом по этим
> ключам искать?
> Ты расматривал внешнюю сортировку? Я думаю 3.5 гига можно за час
> отсортировать. Потом, по отсортированному файлу делаешь поиск.
Можно и быстрее. У меня FB 2.1 строил инд
> Я наверное не понимаю чего-то... Эти ID1, ID2 ты ж ведь из базы выбираешь.
Часть выбираю - это идентификаторы слов. Часть генерирую внутрях -
слова комбинируются в пары и этой паре назнается ID.
То есть я
- беру слова из базы
- их внешние идентификаторы тификаторы отображаю на внутренние
идент
"Kovalenko Dmitry" <[EMAIL PROTECTED]> wrote in message >
> Слушай, я вот все не фтыкаю. Как вы работает на 75 страницах классика?
> Это же ахтунг натуральный.
Гм, там вообще-то файловый кэш ОС во всю работает. Никакаими граблями там и не
пахнет ;-)
> сподвигул меня к OVERLAPPED-операциям, в ра
Oleg LOA пишет:
_asm
маньяк, однозначно.
Это с нуля писалось, или дисассемблер обточенный-оптимизированный?
--
Кочмин Александр
Oleg LOA пишет:
маньяк, однозначно.
Это с нуля писалось, или дисассемблер обточенный-оптимизированный?
С нуля ес-но, все asm вставки писались с нуля с целью все локальные перменные
запихать в регистры, а циклы по возможности заменить на префиксные команды.
P.S. Страдаю этим заболеванием с 9
> Я так понимаю что после отсеивания уникальных ключей еще нужно потом по этим
> ключам искать?
Поиск осуществляется и во время отсеивания. Когде генерируется
комбинации для трех слов, нужно знать идентификаторы комбинаций для
двух слов ((wordID1,wordID2),(wordID2,wordID3)) -> (pairID1,pairID2)
> > Кстати, всего получается надо сгенерировать не 350 млн, а 470 млн. Но,
> > думаю, уникальных будет не больше 100 млн.
>
> Пляя, ну и трава у вас тут растет...
Тут такая трава, что кто вдохнет - сразу кончает от радужных
перспектифф... Уборщица потом косо смотрит на пятна.
Только злобного Ков
> > Да пока все "в лоб" хочу сделать. Что ввели, то и проиндексировали.
>
> Фи, батенька, да вы мазохист. Прикрути словарик - у тебя задача проще,
Сережа, я за последний месяц уже столько вещей прикрутил - что
крутилка требует перерыва :)
Легко рассуждать о вещах, которые уже сделал :)
Коваленк
Фи, батенька, да вы мазохист. Прикрути словарик - у тебя задача проще,
тебе явно только для русского языка делать надо. Возьми от опенофиса -
он нашару и довольно-таки полный. У нас с дохлым словариком от ispell
для русского и румынского языков для 70к документов (примерно 700
метров чистого неф
Sergey Mereutsa wrote:
З.Ы. 2 ДЕ или Влад - а лимит на количество записей в одной таблице
сейчас какой?
Большой. Очень :-) Единственная реальная проблема - после 2 млрд записей
завернется результат count-а, который пока еще 4-байтовый.
--
Дмитрий Еманов
А идея вашей проги такая же как у Димы? Т.е. если идет поиск по фразе,
то делается джойн таблицы на себя саму? Или же немного хитрее?
Ща спою :)
...
Спасибо! Вопрос - ты считал количество колизий для CRC32? Большое оно?
Если кто сможет указать более оптимальный вариант запроса - и
такой же
On 2 июл, 16:58, Kovalenko Dmitry <[EMAIL PROTECTED]> wrote:
> Есть множество пар (ID1, ID2). Их общее число где-то 350 лимонов.
> Уникальных - 100 лимонов.
>
> Нужно получить это множество уникальных пар. ID это целые числа.
> Начинаются с 1 и заканчиваются, полагаю, в районе 100 лимонов. Есть
> > Есть множество пар (ID1, ID2). Их общее число где-то 350 лимонов.
> > Уникальных - 100 лимонов.
>
> Звучит как "отсортировать 350М 64-битных значений и выкинуть
> дубликаты" - я правильно понял?
Нет не правильно. Точнее правильно, но не совсем.
Для пар слов - так оно и есть.
Для комбинаций
> Машина PIV 4 GHz с включёным гипертредингом.
~~~
Гы. А штатная частота какая?
Коваленко Дмитрий.
Сергей, текст очень сильный, прочитал пока только треть - дальше страшно.
Скачал словари из ОО. Возник вопрос - где бы почитать про их формат? А
то схожу не разберусь. Меня интересует процесс приведения слова в его
"нормальную форму". Или можно на пальцах, если несложно.
On 3 июл, 13:08, "Alex V. Skvortsov" <[EMAIL PROTECTED]> wrote:
> другой, получил 50 минут (если не считать генерацию файла). Машина PIV
> 4 GHz с включёным гипертредингом. Можно параллельно закачивать и
Чёрт, палец не к той клавише прилип. :-) 3ГГц, конечно.
> сортировать в памяти 2 куска, а в
Hello, Alex!
Alex V. Skvortsov wrote:
делала, а RELEASE со всеми оптимизациями по скорости - результат в
разы быстрее! ;-). Приложение по прежнему однопоточное, гипертрединг
по прежнему включён. Загрузка выше 52% не поднимается. :-)
с гипертредингом-то - разумеется. Он же показывает одно ядр
On 3 июл, 13:42, Kovalenko Dmitry <[EMAIL PROTECTED]> wrote:
> Нет не правильно. Точнее правильно, но не совсем.
> Для пар слов - так оно и есть.
> Для комбинаций из трех слов, сначало формируется две пары
> (WordID1,WordID2), (WordID2,WordID3)
> потом этим парам назначается идентификатор pair
On 3 июл, 13:45, Kovalenko Dmitry <[EMAIL PROTECTED]> wrote:
> > Машина PIV 4 GHz с включёным гипертредингом.
> ~~~
> Гы. А штатная частота какая?
Да перепутал я клавиши. :-( 3 ГГц всего.
> > Для комбинаций из трех слов, сначало формируется две пары
> > (WordID1,WordID2), (WordID2,WordID3)
> > потом этим парам назначается идентификатор pairID1, pairID2
>
> Они ж вроде уже должны быть сформированы и назначены уже? Это же
> добавление к _уже_имеющейся_паре_ (word2, word3) слова word1
"Dmitri Kuzmenko" <[EMAIL PROTECTED]> сообщил/сообщила в
новостях следующее: news:[EMAIL PROTECTED]
делала, а RELEASE со всеми оптимизациями по скорости - результат в
разы быстрее! ;-). Приложение по прежнему однопоточное, гипертрединг
по прежнему включён. Загрузка выше 52% не поднимается. :-
"Alexander V. Skvortsov" ...
>
> "Dmitri Kuzmenko" ...
>
> >> делала, а RELEASE со всеми оптимизациями по скорости - результат в
> >> разы быстрее! ;-). Приложение по прежнему однопоточное, гипертрединг
> >> по прежнему включён. Загрузка выше 52% не поднимается. :-)
И что из этого ?
> > с ги
On 14 июн, 10:14, Kovalenko Dmitry <[EMAIL PROTECTED]> wrote:
> Привет всем.
>
> ... Не все таки меня здорово подкололи насчет моей реализации
> управления деревом, хранящимся в файле. Ржунемогу. Респект шутнику :)
Вообщем, не асилил :(
Вчера понял, что я уже забыл ради чего я затеял кэш - решил
> Только вот неймется им искать по части слова хоть тресни. Придется
> делать фулскан по заголовку как в старой системе.
По моему такая "деградация" поиска возникает если они не знают начало
слова. Типа "*нный".
Если же "госуда*", то можно построить список слов, которые
удовлетворяют этому шабло
"Vlad Horsun" <[EMAIL PROTECTED]>
сообщил/сообщила в новостях следующее: news:[EMAIL PROTECTED]
>> по прежнему включён. Загрузка выше 52% не поднимается. :-)
И что из этого ?
Да ничего особенного. Резервы есть, значит.
Ты для начала сравни время собственно сортировки и чтения с ди
Как только закончим - напишу полностью про все с примерами кода. Мне
не жалко, а эти чайники не удосужились в контракте указать ничего о
нераспространении кода. Тем более, что это наш собственный велосипед.
Спасибо, буду ждать! а то я только начинаю этот велосипед придумывать и
хочется его р
"Alexander V. Skvortsov" ...
>
> "Vlad Horsun" ...
>
> >Ты для начала сравни время собственно сортировки и чтения с диска
> > соответствующей порции данных. А потом уже проценты вычисляй ;)
> Чтение с диска соответствующей порции данных - от 16 секунд (для 1-й порции)
> до 31 сек. (для предпос
Здравствуйте, Сергей!
Sergey Mereutsa wrote:
Подсчет количества найденных документов (ну вот захотелось им
такую фичу и все):
select count(d.id) from t_documents d,
(select w.document_id, count(1) as cnt from t_search_words w,
( select 2624961196 as wrd from rdb$database
Доброго времени суток!
Sergey Mereutsa wrote:
Это публичная конференция, тут каждый сам решает - присоединяться к
ветке или нет. :)
Просто Ваша задача существенно превосходит мой уровень - решил немного
самообразованием заняться :)
"order by 2 desc" - сортировка по второму полю (количество
Sergey Mereutsa wrote:
Да, действительно. Я предположил, что может быть некоторое различие в
быстродействии между отбором через where во внешнем запросе и having в
derived table, не отражаемое в плане - было бы интересно узнать, не
домыслы ли это.
Вот тут надо к поставщикам тяжелых... медпр
Доброго времени суток!
Sergey Mereutsa wrote:
Нифига, тут есть товарищи, которые курят куда более тяжелую траву :))
За полетом их мысли я даже следить не пытаюсь :)
Правильно. Но я исходил из того соображения, что количество записей в
"виртуальной" таблице, с которой происходит объединение
Доброго времени суток!
Dmitry Yemanov wrote:
Не должно быть разницы, это ведь по большому счету одно и то же.
ЗЫ. Насколько я помню, в природе есть только одна операция, не
отражаемая в плане. Это DISTINCT внутри агрегатной функции. Там
сортировка выполняется для каждой группы отдельно (для
Привет!
>> Я так понимаю, "параллельные" вычисления ИГР переместиласть на уровень
>> видеокарт...
> AI и физику пока видеокарты не считают.
По поводу AI - да, а по поводу физики мусье глубоко заблуждается :)
--
Best regards,
Sergeymailto:[EMAIL PROTECTED]
Привет!
> я имел в виду совсем другие игры - action, fps, tps и так далее.
>> З.Ы. Кстати, квака третья была чуть ли не первой игрой, которая могла
>> юзать 2 проца. Контра сурсовая может. :)
> контра - не может. только что запустил - перебрасывается с одного проца
> на другой, аки суперсервер.
Привет!
> число объектов: 1100403
> 14786203
> 92189456 - две слова
>380927263 - три слова
> 1137077468
> 2618853571
> 4870046956
> 7588537049
> 1028171
> 12670250189
> 15072709841
> [54726933567]
> Кстати, всего получается надо сгенерировать не 350 млн, а 470 млн. Но,
Привет!
> Да пока все "в лоб" хочу сделать. Что ввели, то и проиндексировали.
Фи, батенька, да вы мазохист. Прикрути словарик - у тебя задача проще,
тебе явно только для русского языка делать надо. Возьми от опенофиса -
он нашару и довольно-таки полный. У нас с дохлым словариком от ispell
для ру
Привет!
> А идея вашей проги такая же как у Димы? Т.е. если идет поиск по фразе,
> то делается джойн таблицы на себя саму? Или же немного хитрее?
Не-а. Я тут "изобрел" временные таблицы в памяти. Как освобожусь -
через час-два напишу чуть подробнее :)
--
Best regards,
Sergey
Привет!
> А идея вашей проги такая же как у Димы? Т.е. если идет поиск по фразе,
> то делается джойн таблицы на себя саму? Или же немного хитрее?
Ща спою :)
Так вот, вкратце о задаче: имеется база нормативных актов (ну
вообще-то это типа эталон, но у меня волосы дыбом встали, когда я
увидел дан
Привет!
> Спасибо! Вопрос - ты считал количество колизий для CRC32? Большое оно?
Мы как-то попробовали подсчитать - и забили. Для осмысленного теста -
исчезающе мало. Даже если и вдруг - то пусть обращаются :)
Только вот неймется им искать по части слова хоть тресни. Придется
делать фулскан по з
Привет!
> Сергей, текст очень сильный, прочитал пока только треть - дальше страшно.
> Скачал словари из ОО. Возник вопрос - где бы почитать про их формат? А
> то схожу не разберусь. Меня интересует процесс приведения слова в его
> "нормальную форму". Или можно на пальцах, если несложно.
Как тол
Привет!
> Это пробовали ?
Попробовал. (с переконнектом между запросом, так что если и затесался кэш - то
только
от операционки, знаю, что в идеале надо бы сервак перегрузить, но
правов нету. Кстати, даже после переконнекта кэш операционки вносит
лепту - мой повторный запрос исполняется мен
Привет!
>> select count(d.id) from t_documents d,
>>(select w.document_id, count(1) as cnt from t_search_words w,
>>( select 2624961196 as wrd from rdb$database union
>> select 1902388292 as wrd from rdb$database union
>> select 1228066
Привет!
>> Это публичная конференция, тут каждый сам решает - присоединяться к
>> ветке или нет. :)
> Просто Ваша задача существенно превосходит мой уровень - решил немного
> самообразованием заняться :)
Нифига, тут есть товарищи, которые курят куда более тяжелую траву :))
>> "order by 2 desc"
> Подсчет количества найденных документов (ну вот захотелось им
> такую фичу и все):
>
> select count(d.id) from t_documents d,
>(select w.document_id, count(1) as cnt from t_search_words w,
>( select 2624961196 as wrd from rdb$database union
> select 1902
97 matches
Mail list logo
