- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Михаил
Subject: Re: Построение рефератов
Section sea x y
Какие оптимальные знаечния нужно поставить, что бы в результатах мне не
выдавалось мню сайтов.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Построение рефератов
Возможно, вам все-таки нуно включить поддержку базы stored, для этого добавьте
команду
DoStore yes
в indexer.conf и в search.htm (searchd.conf, если используется stored).
Для секции sea, x - об
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Михаил
Subject: Re: Построение рефератов
Простите, я не совсем понимаю что такое Номер секции
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=0
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Построение рефератов
Номер по порядку нумерации в sections.conf, см. sections.conf-dist в качестве
примера.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearc
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Sergey
Subject: Re: Не выполняется search.cgi, через apache.
В каталоге /tmp создается один файл dps_agent.0.trace.
Вот его содержимое, после выполнения search.cgi из-под апача:
Sep 7 09:29:36 [0] in DpsFind at db.c:1356
Sep 7 09:29
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не выполняется search.cgi, через apache.
Покажите, пожалуйста, содержимое секции variables вашего поискового шаблона
search.htm
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Sergey
Subject: Re: Не выполняется search.cgi, через apache.
В принципе search.cgi должен выдавать какую либо информацию и без правильно
настроеного dpsearch. Например, если вообще удалить search.htm, то он через
апач должен выдавать
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не выполняется search.cgi, через apache.
Попробуйте закоментарить команду
Cache yes
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforu
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Sergey
Subject: Re: Не выполняется search.cgi, через apache.
Закоментировал. Результат тот же, в dps_agent.0.trace тоже самое пишет.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparks
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не выполняется search.cgi, через apache.
Компилировали ли вы dpsearch с поддержкой aspell ? Если да, попробуйте
перекомпилировать без, указав ключ --without-aspell для configure.
- - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Sergey
Subject: Re: Не выполняется search.cgi, через apache.
Компилировалось без поддержки aspell.
Вот параметры компиляции:
./configure --prefix=/home/users/hostuser/htdocs/dpsearch --with-mysql
--without-aspell --enable-trace
- -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не выполняется search.cgi, через apache.
Попробуйте в src/search.c, в самом низу, найти и закоментарить строчку:
if (httpd) fflush(NULL); else fclose(stdout);
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
INDEXER падает, в файле /tmp/dps_agent.0.trace, заканчивается такими записями.
thread stack: system: 8388608 our: 10485760
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topi
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Сколько индексирующих нитей запускается одновременно (параметр -N для indexer) ?
Попробуйте уменьшить это число.
Есть ливозможность включить создание посмертного дампа и сделать отчет по нему,
чтоб
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Sergey
Subject: Re: Не выполняется search.cgi, через apache.
Закоментировал, никаких изменений.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Andrew
Subject: Re: Имена папок
Почему-то не получается :(. А у вас получается? Может я что-то не так делаю.
Секции:
Section url.file 6 128 strict
Section url.directory 9 128 strict
indexer -a -m -v 5 выдает:
indexer[17465]: {01} T
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не выполняется search.cgi, через apache.
Соберите с этими версиями файлов:
http://dataparksearch.googlecode.com/svn/trunk/include/dps_common.h
http://dataparksearch.googlecode.com/svn-history/r62/trunk/src/search.c
Д
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Sergey
Subject: Re: Не выполняется search.cgi, через apache.
Вот, что пишет в лог сейчас:
Sep 8 15:48:38 [0] in search.cgi at search.c:349
Sep 8 15:48:38 [0] in -DpsFind at db.c:1356
Sep 8 15:48:38 [0] in --DpsFindWords at db.c:974
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не выполняется search.cgi, через apache.
Судя по этому трейсу должно выдаваться либо сообщение о пустом запросе, либо о
пустом ответе (ничего не найдено).
Возможно, у вас где-то опечатка в шаблоне search.htm, из-за
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Имена папок
Простите, опечатка вышла. Пересоберите с исправленым src.url.c:
http://dataparksearch.googlecode.com/svn-history/r63/trunk/src/url.c
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Sergey
Subject: Re: Не выполняется search.cgi, через apache.
Пробовал удалить search.htm, сообщение об ошибке не выдается, скопировал из
search.htm-dist изменил только параметры конекта к базе, остальное всё по
умолчанию. Тоже ничего
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
-N11 (33)
для создание посмертного дампа, с какой опцией надо собрать DPS,
"--enable-memdebug" ?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparks
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
warning: Can't read pathname for load map: Input/output error.
Reading symbols from /home/indexer/dpsearch/lib/libdpsearch-4.so...done.
Loaded symbols for /home/indexer/dpsearch/lib/libdpsearch-4.so
Re
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Пересоберите, пожалуйста, с поправленой версией src/url.c:
http://dataparksearch.googlecode.com/svn-history/r63/trunk/src/url.c
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Andrew
Subject: Re: Имена папок
Теперь работает.
У вас отличная техподдержка! Спасибо.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;top
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Andrew
Subject: Не ищет файлы с русскими именами
У меня индексируются имена файлов. Но поиск по русским именам не работает. При
том что поиск по содержанию с русским текстом работает. Что может быть не так в
настройках? У вас работает
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Neo
Subject: 2 quick stupid questions
Ohhh :) I love dataparksearch engine.I make my homepage 43n39.I love this site
ok 2 quick questions.
1.What will be the result If I release the crawler with a single seed
say"wikipedia" site
2.Dat
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
MemDebug Exiting: mprotect() failed: Cannot allocate memory
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Вам нужно увеличить размер памяти mmap, для FreeBSD достаточно в 10 раз от
значния по умолчанию.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.datapa
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не ищет файлы с русскими именами
Если речь идет об URL серверов, задаваемых командами Server, ServerDB, URL,
URLDB, то кодировку для таких URL можно задавать командой URLCharset:
http://www.dataparksearch.org/dpsear
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Sergey
Subject: Re: Не выполняется search.cgi, через apache.
Большое спасибо за попытку помочь и за быстрое реагирование.
Было принято решение не использовать dpsearch на этом хостинге, поэтому вопрос
снимается.
- - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
Увеличил, "echo 655360 > /proc/sys/vm/max_map_count"
indexer забирает больше 1G памяти и продолжает расти...
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://ww
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Да, при сбоке с опцией --enable-memdebug для configure память потребляется в
значительно большем объеме, в этом случае нжо запускать indexer с минимальным
числом нитей, 1-2.
Эта опция используетс
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: 2 quick stupid questions
1. It depends what sorting switches you would use with indexer, i.e. -o switch
instructs to sort targets by hops ("mouse clicks" from seeding URLs), -e switch
instructs to sort targets by
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Neo
Subject: Re: 2 quick stupid questions
thanks for the reply :)
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=03;topic_id=1220985782
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Andrew
Subject: Re: Не ищет файлы с русскими именами
Нет, дело не в URLCharset.
Пробовал 3 варианта настройки опций LangMapFile и RemoteCharset:
1. Если включено автоматическое распознавание кодировки (LangMapFile) и не
задана опция
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: adel
Subject: dictionary tables
Hi
i am using dpsearch to index large number of web sites
i am using dbmode multi
i see that i have dict tables and it is growing in size dramatically
what i need is to let dpsearch store urls and page
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: dictionary tables
To prevent dpsearch write data into dict tables, put 0 (zero) as section number
for all section defined in your sections.conf file.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read th
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sh1ny
Subject: Writing a search frontend
Hello. First of all i really like dpsearch, as i am currently in the process of
building my own web portal, and searching would be one of the main features.
However, i am going to use pure php
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mike
Subject: Re: getting closer to my end result
Hi.
Me again, in regards to the following below.. how can I scan not on single
words but on two words together, for example not on Hiram and Abiff but also on
Hiram Abiff?
IndexIf re
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: getting closer to my end result
If you mean both words "Hiram" and "Abiff" are next to each other, then try
IndexIf regex body [Hh]iram[\ ]+[Aa]biff
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mike
Subject: Re: getting closer to my end result
That worked fine, thanks!
I think my last 2 questions,
1) If I want to index the way I am now, only indexing on those keywords, but I
also want to index 1 entire book or website witho
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: getting closer to my end result
1. Pt the following Server commands into your indexer.conf:
Server http://www.biblegateway.com/
Server http://www.lolcatbible.com/
Then put the following IndexIf commands before any ot
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mike
Subject: Re: getting closer to my end result
For whatever reason according to my sys-adm my server came to a crawl and all
users had trouble with indexer using a massive amount of cpu power away !
Please some advise how to remedy
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: getting closer to my end result
Try to reduce the number of language maps used in your langmap.conf excluding
all presumed irrelevant.
Also try to put a pause of 100 milliseconds after each URL indexing by adding
-
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mike
Subject: Re: getting closer to my end result
Sorry, of course also -TZ
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=01;topic_id=1217914
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
Как определить причину падения кроме сборки DPS с опцией "--enable-memdebug". В
режиме memdebug неделю индексировал и не падал, в нормальном режиме 10 мин. и
indexer[2623]: segfault at 80 ip 7f125d35
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Можно собрать dpsearch указав в CFLAGS ключ -g, для компиляции с отладочной
информации. После этого можно получить информативный отчет по посмертному
дампу, как написано здесь:
http://www.datapar
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: dearste
Subject: 1 frontend and 4 DB server
Hi all, this is my situation:
I have one Frontend server, this one is only use for show the result
and 4 backend machines database ( mysql ) in cached mode.
I have add all 4 DBaddr on search.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: 1 frontend and 4 DB server
Please show the content of variables section of your search template.
Also, you can add the command
LogLevel 5
into you search template and show the output to stderr or server error_log.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: dearste
Subject: Re: 1 frontend and 4 DB server
> At 16:50:42 22/09/08, Maxime wrote:
>Please show the content of variables section of your search template.
>
>Also, you can add the command
>LogLevel 5
>into you search template and sh
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Возможен ли запрет переиндексации по статусу
Возможен ли запрет на переиндексацию выбранных статусов(в индексаторе или при
компиляции)?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Возможен ли запрет переиндексации по статусу
Прямого запрета нет, но при помощи ключа -s для indexer вы можете явно
указывать только те статусы, которые можно переиндексировать, можно указывать
несколько ключей -s
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: 1 frontend and 4 DB server
Are these four databases different ones from others with each own configs
running indexer separately on appropriate PC ?
If yes, you must setup searchd at every search PC and change mysql
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: dearste
Subject: Re: 1 frontend and 4 DB server
> At 18:56:14 23/09/08, Maxime wrote:
>Are these four databases different ones from others with each own configs
>running indexer separately on appropriate PC ?
>If yes, you must setup
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: 1 frontend and 4 DB server
Try to disable clones detection in your multi DBAddr search template by adding
the following command into search template:
DetectClones no
- - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: dearste
Subject: Re: 1 frontend and 4 DB server
> At 00:04:54 24/09/08, Maxime wrote:
>Try to disable clones detection in your multi DBAddr search template by adding
>the following command into search template:
>DetectClones no
>
a
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: betty
Subject: Can dataparksearch handle large database
I have a total of 5 million files and I wonder if dataparksearch has the
capacity to index them?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Can dataparksearch handle large database
It depends how big those documents are and what hardware you use. I know the
installation which handle over 20 mln. documents indexed with average size of
3-5 kilobytes each
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: betty
Subject: Re: Can dataparksearch handle large database
My file size on average is 5.8 kilobytes. I have a server with Intel Core 2 Duo
E6600 2.40G CPU, 6G DDR 800 RAM, Seagate SATA2 500G 32MB installed. Can this do
the work? Do I
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Can dataparksearch handle large database
Yes, it seems you hardware is suitable for you task. So you may try dpsearch.
It have been successfully compiled on Ubuntu 32x and on FreeBSD 64x, thus it
should work on Ubu
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Не находит
Ищем Cezaris
http://www.zoooz.ru/cgi-bin/search.cgi?q=Cezaris&np=0&dt=back&tmplt=search-zoo.htm&m=all&GroupBySite=yes&sy=0&wf=33F37F73&dp=0&sp=1&c=
в результатах видим Cezaris iz Ringo
Ищем Cezaris iz Ringo
h
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не находит
По слову "iz" не находится ни одного документа. Занесено ли это слово как
стоп-слово при индексировании ? Если да, точно такой же список стоп-слов должен
использоваться при поиске.
- - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Не находит
Проверил все файлы со стоп словами - мимо
есть внутри слов пр. biz
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fi
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не находит
Если используется dbmode cache и cached, осуществлялся ли по окончании
индексирования/переиндексирования сброс неполных буферов командой
./indexer -TH
?
Если используется dbmode cache, осущесвлялась ли
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не находит
Также проверьте значения MinWordLength, они должны быть одинаковыми в
indexer.conf и в search.htm (searchd.conf). Если значение MinWordLength
меняется в indexer.conf, то вам необходимо переиндексировать
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Не находит
cache и cached - ДА
-H -W - ДА
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=150567
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Не находит
> At 15:45:19 24/09/08, Maxime wrote:
>Также проверьте значения MinWordLength, они должны быть одинаковыми в
>indexer.conf и в search.htm (searchd.conf). Если значение MinWordLength
>меняется в indexer.c
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Не находит
хм, а это находит
Vanbox La Primavera
http://www.zoooz.ru/cgi-bin/search.cgi?q=Vanbox+La+Primavera&np=0&dt=back&tmplt=search-zoo.htm&m=all&GroupBySite=yes&sy=0&wf=33F37F73&dp=0&sp=1&c=
- - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: 1 frontend and 4 DB server
Put this command into you searchd.conf configuration files:
PreloadURLData yes
and restart searchd. You need to restart search after each run of
./indexer -TW
command.
As well, you can pr
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не находит
Артикль la есть в некоторых списках стоп-слов.
Помогло ли правильное указание MinWordLength в search.htm/searchd.conf ?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
h
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Не находит
> Помогло ли правильное указание MinWordLength в search.htm/searchd.conf ?
жду остановки индексаторов, по результатам сразу сообщу
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full t
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: betty
Subject: Re: Can dataparksearch handle large database
Thank you for your reply. I read through the manual last night, but I am not
sure which database to choose, oracle database 10g express, mysql or postgesql?
Would you please
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Can dataparksearch handle large database
PostgreSQL is the SQL-server using in the development, MySQL is frequently used
SQL-server by dpsearch's users, Oracle is rare used with dpsearch. So the order
of SQL-server
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: dearste
Subject: Re: 1 frontend and 4 DB server
Thx Maxime, now is a little better.
How is the conf for 43n39e.ru? how many server it use?
I try to make an Italian Search engine and I need the best configuration.
Thx
- - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Segmentation fault
FreeBSD 7
dpsearch-4.51-23092008
cache cached mysql
Core was generated by `indexer'.
Program terminated with signal 11, Segmentation fault.
Reading symbols from /lib/libthr.so.3...(no debugging symbols
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: 1 frontend and 4 DB server
43n39e uses 3 servers: one for SQL-server, one for indexing, one for query
answering.
Some configuration files from this installation you can get from doc/samples
directory of latest sna
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Segmentation fault
Пожалуста выполните эту команду в командной строку gdb:
thread apply all bt
она выдаст backtrace для всех нитей программы.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full top
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: dearste
Subject: Re: 1 frontend and 4 DB server
Thx , just check it.
I have see that in the search template DBAddr is: searchd://localhost/
this mean that the cache data is stored on the server for query & answering?
- - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Segmentation fault
сделал поотдельности для каждой нити т.к. полный результат не знаю как захватить
в работе было 20 нитей
(gdb) thread 1
[Switching to thread 1 (Thread 0x704100 (LWP 100570))]#0 0x000800e5e6bc i
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: 1 frontend and 4 DB server
Yes, cache data stores on the PC where searchd is running and which answers
search queries.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.d
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Segmentation fault
К сожалению отчет не информативен, возможно у вас dpsearch собран без
отладочной информации. Чтобы собрать отладочной информацией нужно к фагам
компиляции CFLASG добавить флаг -g.
Попробуйте ум
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Segmentation fault
Добавлю!
ранее без проблем работало
indexer -N 5
и
indexer -r -N 15
без проблем
решил переключиться(временно)
indexer -N 20 -s0
на этом варианте и произошла ошибка
- - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Segmentation fault
Скорее всего проблемма именно в количестве одновременно работающих нитей. Если
работает с 15 нитями, запускайте 15.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic her
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Возврат на Goo
> At 14:54:43 20/07/08, Maxime wrote:
>Попробуйте отказаться от ссылок внутри одного сайта, используя команду
>PopRankSkipSameSite yes
Максим, прописав данную команду и произведя перерасчет рейтинга -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Возврат на Goo
Спасибо за разъяснение!
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1216530887
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Возврат на Goo
Изменения в таблицу "links" вносятся только при
индесировании/переиндексировании. Однако с указанием этой опции при расчете
индекса популярности используются только ссылки, ей соответствующие.
- - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Зависимость оперативки от кол-ва сайтов
Ради теста собрал поисковик на 4 адресов запустил в режиме Goo cache cached
mysql без сбора ссылок
4 гигов оперативки со скрипом хватает лишь на 3 нити, при нулевой базе скорос
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Зависимость оперативки от кол-ва сайтов
Что имеется в виду под 4 адресов ? Общее число проиндексированных
доументов, или число записей Server/Realm/Subnet в конфиге ?
Используете ли вы библиотеку асинхронного р
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Зависимость оперативки от кол-ва сайтов
кол-во сайтов
c-ares - использую
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Amit
Subject: Re: 1 frontend and 4 DB server
I have a setup for a very large collection with a near real-time feed and
multiple search engines. I have begun to describe it in the Wiki at:
http://www.dataparksearch.org/wiki/index.php/S
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Зависимость оперативки от кол-ва сайтов
Попробуйте новый снапшот:
http://www.dataparksearch.org/dpsearch-4.51-27092008.tar.bz2
там сделаны некоторы изменения в обработке сервера для каждого индексируемого
документа.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Зависимость оперативки от кол-ва сайтов
> At 00:16:36 28/09/08, Maxime wrote:
>Попробуйте новый снапшот:
>http://www.dataparksearch.org/dpsearch-4.51-27092008.tar.bz2
>там сделаны некоторы изменения в обработке серве
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Зависимость оперативки от кол-ва сайтов
Количество нитей не влияет на скорость запуска напрямую, чтение конфига
осуществляется одной нитью.
Если в таблицу серверов не вносилось изменений, запускайте indexer с ключо
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Зависимость оперативки от кол-ва сайтов
-q и 3 нити стартовал примерно за 5 минут
Чуть позже проверю скорость, но судя по монитору - низкая
last pid: 97665; load averages: 1.23, 1.38, 1.55
103 processes: 2 runni
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Зависимость оперативки от кол-ва сайтов
[97623]{01} Done (2144 seconds, 909 documents, 20324618 bytes, 9.26
Kbytes/sec.)
[97623]{03} Done (2143 seconds, 924 documents, 20238282 bytes, 9.22
Kbytes/sec.)
[97623]{02}
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Miguel
Subject: search.cgi does not dump results
Hi I have "successfully" installed dpsearch on ubuntu hardy.
I am able tu tun the indexer and my sql databases is populated by lots of data,
I can query it, so index is working.
but whe
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Miguel
Subject: Re: Writing a search frontend
I would like to know this too
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1221411
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: search.cgi does not dump results
What dbmode do you use with dpsearch ?
If it's dbmode cache, the default dbmode, have you done "indexer -TW" command
after indexing/reindexing had finished ?
- - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Парсер swf
Из описания по парсерам
swf2html из Flash Search Engine SDK
Максим, подскажите как его ставить? в портах нет, а на сайте макромедиа - не
нашел
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read th
Результаты 801 - 900 из 1663 matches
Mail list logo
