- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
indexer -r -N5 -b
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1220183285;page=5
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
Падает (indexer -r -b)
#0 0x7f1a47038091 in dps_isApostropheBreak (c=value optimized out,
n=8220) at unidata.c:335
335 dec = (uni_decomp_plane[plane])[character].decomp[0];
- - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
К сожалению в этой версии файла также есть ошибки, исправленные в последнем
снапшоте:
http://dataparksearch.googlecode.com/files/dpsearch-4.51-19122008.tar.bz2
- - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
С какими ключами запускается indexer на индексирование, сколько нитей
используется для индексирования (ключь -N) ? Попробуйте уменьшить число
одновременно работающих нитей.
- - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
снапшот: dpsearch-4.51-17122008
Индексирует уже 6 часов до падения.
without enable-memdebug
gdb indexer core.22191
GNU gdb 6.8
Copyright (C) 2008 Free Software Foundation, Inc.
License GPLv3+: GNU
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Попробуйте последний снапшот, с некоторыми предыдущими снапшотами были
проблемы, в том числе они трапались при некоторых условиях.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
snapshot: 4.51-01112008
./configure --enable-memdebug --enable-shared --enable-pthreads
--disable-parser --without-aspell --enable-file --enable-http --enable-ftp
--disable-news --with-pgsql
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Пересоберите, пожалуйста, с новой версией src/parsehtml.c:
http://dataparksearch.googlecode.com/svn/trunk/src/parsehtml.c
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
версия 4.51-17102008
падает: MemDebug Aborting: DpsFree(41316890): address not from DpsMalloc() at
url.c:56.
gdb indexer core.3634
выдает Cannot access memory at address 0x7f1f38762c48
- - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
Как определить причину падения кроме сборки DPS с опцией --enable-memdebug. В
режиме memdebug неделю индексировал и не падал, в нормальном режиме 10 мин. и
indexer[2623]: segfault at 80 ip
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Можно собрать dpsearch указав в CFLAGS ключ -g, для компиляции с отладочной
информации. После этого можно получить информативный отчет по посмертному
дампу, как написано здесь:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
Увеличил, echo 655360 /proc/sys/vm/max_map_count
indexer забирает больше 1G памяти и продолжает расти...
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Сколько индексирующих нитей запускается одновременно (параметр -N для indexer) ?
Попробуйте уменьшить это число.
Есть ливозможность включить создание посмертного дампа и сделать отчет по нему,
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
Первый вариант прошел удачно, ух можно запускать индексер. Было бы хорошо это в
документации добавить.
Только вот storedoc.cgi[13921]: segfault иногда но может это связано с
изменениями в
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
Limit c:category
Limit site:siteid
Прописано в indexer.conf и search.htm.
записи в таблицы CATEGORIES
1;AA;'';AA
2;BB;'';BB
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Теперь судя по логу лимит по категориям создается. Используется ли у вас
кэширование поисковых запросов (указана команда Cache yes в search.htm или
searchd.conf) ? Если да, то необходимо очищать
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Возможно вы не обновили search.cgi на вашем веб-сервере после перекомпиляции, с
раскоментареным DEBUG_SEARCH в src/cache.c вывод должен быть более подробным,
например:
search.cgi[65783]: {00}
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
in DpsFind at db.c:1375
in -DpsFindWords at db.c:974
in --DpsPrepare at searchtool.c:862
out--at searchtool.c:1596
in --DpsFindWordsCache at cache.c:1792
in ---DpsPrepare at searchtool.c:862
out---at
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
По категориям: а у вас таблица categories в базе поисковика заполнена ?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Её нужно заполнить. Для этого можно воспользоваться CGI-скриптом cat_ed.pl и
директории perl/cat_ed дистрибутива dpsearch. Можно соответсвующиезаписи
добавить вручную.
После заполнения таблицы
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
собрал DPS, без --enable-trace все работает без падений. Проблема была в том
что файл /tmp/dps_agent.0.trace использует indexer и search.cgi они
запущены из под разных пользователей.
categories
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Вывод для ./indexer -TWv5 как теперь выглядит ?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
[3313]{00} DpsOpenCache:
[3313]{00} i:0 cached_sd:0 sin_port:0
[3313]{00} wrd_buf: 28153010
[3313]{00} Done.
[3313]{00} indexer from dpsearch-4.51-01092008-pqsql, config test OK with
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Fox
Subject: Re: Оптимальная среда
limits: command not found
в каком пакете находится limits команда?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Оптимальная среда
Да, простите, именно
ulimit -c unlimited
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
25 matches
Mail list logo
