- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Поэтапное индексирование
Что бы не было индексации, нужно добавить ключ -T:
./indexer -THW
Команда ./indexer -TZZZ слущит для исправления ошибок в базе cached после
авостов, при обычной работе она не нужна.
- - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Wrong Search-Results
Please explain what is wrong with search results, what are you expecting as
correct results ?
What dbmode you use ?
Would you upgrade to the latest version of dpsearch released (it's 4.47) ?
-
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: can
What dbmode you use ? If it's dbmode cache, please verify access to the
/usr/local/dpsearch/var directory and to all files under it.
If you include some files from your search template or specify files as
para
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Re: Поэтапное индексирование
Огромнейшее спасибо.
А еще вопрос. Если я проиндексировал, к примеру, 1000 документов и при этом в
базу на индексацию добавилось еще 5000. Они уже помечены на индексацию через
Period? Т.е.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Thomas Pajonk
Subject: Wrong Search-Results
Hi all,
i´ve big trouble with dpsearch 4.45.1 on an opensuse 10.1 with mysql
connection. I´ve indexed about 1.5 million url´s. using the search interface,
the result are everything, but no
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Поэтапное индексирование
Новые документы добавляются в базу со временем очередной индексации, равным
времени индексиования документа, гда найдена ссылка, которая добавляется в
базу. Т.е. приповторном запуске сразу,
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: saung
Subject: Re: can
I'm using single dbmode. I'm also using the default search.htm supplied, with
only the DBAddr variable changed.
Looking at the suexec log, I found something like this:
[2007-09-26 17:35:41]: info: (target/act
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Безконечная индексация
Добрый день!
Ситуация.
Я проиндексировал сайты, затем удалил все с статусами кроме 200 и 2200
запускаю индексатор , а он начинает индексировать , не все , некоторые , но
всетаки
1. Скажите где и
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Безконечная индексация
Верный способ прекратить индексацию - перестать запускать indexer. Period
задает интервал для нормально проиндексированых страниц, если происходит
ошибка, то используется NetErrorDelayTime со
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Re: Безконечная индексация
пожелания, по возможности сделайте в будущем ограничитель на количество страниц
с сайта.
Спасибо!
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.d
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Владимир
Subject: Re: странный proc title у cached
Можно не парится, и прикрутить библиотечку setproctitle-0.3.1-alt1.src.rpm
собирается везде. Все ставит без всяких ограничений.
http://sisyphus.ru/srpm/setproctitle
- - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Владимир
Subject: Re: Detect clone algoritm
>Клоны -- документы, имеющие одинаковые значения Hash32 вычисляемой по всем
>секциям документа. Копии одного и того же документа имеют одинаковые значения
>Hash32. Это позволяет не индексиро
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: saung
Subject: Re: can
Wow I can't believe it was that simple. Thank you very very much!
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;top
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Re: Поэтапное индексирование
В продолжение темы. Я запускаю кратковременно
./indexer -r -с600 -U -N10
./kill -HUP `cat /usr/local/dpsearch/var/cached.pid`
./indexer -THW
Но последняя команда выполняется очень долго :(
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Thomas Pajonk
Subject: Re: Wrong Search-Results
Themeaning of "wrong result" ist, that the results are mostely not containing
the search criteria.
If it´s not a "must" i don´t want to upgrade
> At 00:18:09 27/09/07, Maxime wrote:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Thomas Pajonk
Subject: How to Upgrade 4.45.1 to 4.47?
Hi all,
I need help to upgrade my current 4.45.1 to 4.47? What is the easiest way
without loosing configuration and data?
Cheers, Thomas
- - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Re: Не подгружаются листы стопслов
Вот пришлось вернуться к старому топику. Неправильно определяется язык
документа. :( Где может быть ошибка?
В индексере установлены:
DefaultLang en
LocalCharset utf-8
Include langmap.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Re: Поэтапное индексирование
С этим понятно. Спасибо.
К примеру, я решил индексить по 500 документов за раз. И так несколько раз в
день. Стоит ли после каждого акта индексирования запускать ./indexer -THW или
это лучше
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Несколько PID при запуске searchd
Максим, запускаю поискового демона, а смотрю pidof searchd. Наблюдается 3 PID.
Так и должно быть?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Поэтапное индексирование
Команды kill и ./indexer -THW делают одно и тоже, скорее всего команда kill вам
не нужна.
При насктроенном соединении с cached, последняя команда не дожидается
завершения всего процесса, та
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: How to Upgrade 4.45.1 to 4.47?
The simplest way - setup new version over installed. It's compatible.
But if you can make backup - make backup anyway.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Не подгружаются листы стопслов
А зачем вам карты болгарского языка ?
На качество определения из русского, украинского, болгарского и белорусского
влияет больше степень замусоренности индексируемой страницы англоязыч
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Wrong Search-Results
Do you use crosswords ? What dbmode do you use ?
With crosswords enabled, it's possible that a page is found by words in links
to it at other pages.
With dbmode cache, crc and crc-multi, a hash3
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Re: Не подгружаются листы стопслов
Дело в том, что каталог предполагается многоязычный. Поэтому я не знаю на каких
языках будут в базе документы. Наверное для этого нужны карты для всех языков.
Я так понимаю, что если
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Re: Не подгружаются листы стопслов
А еще вопрос. Если база уже есть, но языки некоторых документов определены
неправильно. Допустим это было связано с отсутствием необходимых карт языков. Я
сейчас поставил LangMapUpdate
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Compdude
Subject: Result Descriptions
I was wondering if anyone had an suggestions on how to make my search result
descriptions more relevant. I am not sure if it has to do with the amount the
indexer puts in or the amount that search
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Result Descriptions
If no stored database is used, then only few first bytes of text of a page is
used to construct excerpts (this amount is defined in section.conf file as
maximum length of "body" section, this is
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: BubbaQ
Subject: Override last-modified date
I have a collection of documents on my website that are from several different
sources and formats. When I get them, I extract all the pure text, store it in
a separate file named "document
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Override last-modified date
Did you configure DataparkSearch to parse document_no.text files as HTML, is
that correct ?
If so, you may use meta tags like
in these files to specify desired dates.
- - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Множественный поиск по категориям
Скажите а возможно искать сразу по нескольким категориям ?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simplefo
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: BubbaQ
Subject: Re: Override last-modified date
> At 23:23:11 02/10/07, Maxime wrote:
>Did you configure DataparkSearch to parse document_no.text files as HTML, is
>that correct ?
Yes,
[quoted]
If so, you may use meta tags like
in th
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Множественный поиск по категориям
Да, если одна категория вложена в другую. Если не вложена - можете создать
ссылку в одной из категорий на другую категорию.
В любом случае в CGI-параметре &c= можно передавать толь
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: SkyRender
Subject: Modify the DataparkSearch Indexer?
I'm looking for a webcrawler which can be easily modified (via programming).
Does anyone have experience with coding the DataparkSearch indexer? I'm just
enrolled in a dataminnin
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Modify the DataparkSearch Indexer?
Take look on IndexIf/NoIndexIf commands, they allow/disallow indexing by regex
match.
See http://www.dataparksearch.org/dpsearch-indexcmd.en.html#indexif_cmd
You may be also inter
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: BubbaQ
Subject: Re: Override last-modified date
> At 23:23:11 02/10/07, Maxime wrote:
>Did you configure DataparkSearch to parse document_no.text files as HTML, is
>that correct ?
>If so, you may use meta tags like
>
>in these files t
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: seirge
Subject: Re: Проблема с отображением результатов поиска
Аналогичная проблема. Количество результатов показывается, сами результаты -
нет.
./search.cgi site
search.cgi[14766]: {00} search.cgi started with
'/hsphere/local/home/i
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Проблема с отображением результатов поиска
Выполните команду "indexer -TW"
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: seirge
Subject: Re: Проблема с отображением результатов поиска
Всё чудесатее и страньше. После удаления всего в var и пересоздания стали
показываться некоторые результаты.
Т.е. Search for site. Search results: site: 93 / 93.
А показыв
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: seirge
Subject: Re: Проблема с отображением результатов поиска
indexer -TW ничего не меняет. Версия 4.47-mysql
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simp
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: BubbaQ
Subject: Re: Override last-modified date
> At 13:50:20 05/10/07, Maxime wrote:
>It's not important what schema has been used to retrieve a document.
>It's important what parser has been used to parse this document.
>Did you conf
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: BubbaQ
Subject: Re: Override last-modified date
> At 21:17:03 07/10/07, Maxime wrote:
>Please try fresh snapshot:
>http://www.dataparksearch.org/dpsearch-4.48-07102007.tar.gz
>
>I have fixed META processing for Last-Modified.
Seems to
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Marko
Subject: UTF-8 encoding problems
Hi!
I am having problems with indexing some characters used in Slovenian language.
I have pages in UTF-8. I am using MySQL support.
čČ is decoded correctly
šŠ and žŽ are not decoded correctly
W
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Отсутствие документов в stored
Если в индексируемом документе в META ROBOTS указано слово NOARCHIVE, то такой
документ не сохраняется в базе stored.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Compdude
Subject: Re: ServerDB help
> At 17:14:56 13/10/07, Maxime wrote:
>Do you have 'url' section with maximum length of 64 defined in your
>sections.conf file ?
>If so, try to specify maximum length with higher value, 128 or even
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Jim
Subject: lib error being seen in Apache logs
I am running dpsearch across 2 machines. I have the CGI on the machine running
the webserver and the database/indexer processes etc. running on another
machine where the mysql server is
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Отсутствие документов в stored
Попробуйте последний снапшот:
http://www.dataparksearch.org/dpsearch-4.48-10102007.tar.gz
Он совместим с версией 4.47, можно просто поставить поверх и выполнить команду
./indexer -Ecr
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: lib error being seen in Apache logs
Even if you have an SQL server on an another PC, you still require to have
MySQL client library on PC where search.cgi is running.
- - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: indexing a very large number of urls
DataparkSearch is able to index up to several million documents, depending on
average document size and hardware used (this is for cache dbmode).
I don't' know any provider with
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: RageLT
Subject: Tag & ServerWeight
Доброе вермя суток.
Застрял на Tag и ServerWeight.
Вот мои конфиги:
dpsearch-4.48-24102007
./configure \
--with-mysql \
--with-openssl \
--with-extra-charsets=all \
--with-zlib
***cached.conf***
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Tag & ServerWeight
Выполните команду
./indexer -TW
после этого должны появится не нулевые файлы var/tree/lim_tag*, по прошествии
какого-то времени, т.к. при использовании cached, indexer только отправляет ему
коман
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: RageLT
Subject: Re: Tag & ServerWeight
перезапустил с выводом логов
./cached -v 5
Далее выполнил
./indexer -TW
вот что получил в консоль:
myserver# ./indexer -TW
cached[18098]: {00} [127.0.0.1] Connected. PORT: 210,158
indexer[18143]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Tag & ServerWeight
Общая статистика "./indexer -S" что показывает ?
Что выдает запрос к базе данных поиска:
SELECT u.url, u.status, s.tag, s.url FROM url u, server s WHERE u.status>0 AND
s.rec_id=u.server_id LIMIT 2
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: RageLT
Subject: Re: Tag & ServerWeight
./indexer -S
Database statistics
StatusExpired Total
-
0 0 92 Not indexed yet
200 0 10 OK
302
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: RageLT
Subject: apache-module
Установил dpsearch-4.49-26102007 с поддержкой mod_dpsearch.
Всё работает прекрасно, за исключением одного, запрос с кириллицей
не выдаёт никакого результата, хотя в базе данные точно есть, через search.cgi
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: apache-module
Конфигурирование mod_dpsearch немного отличается, какие файлы конфигураци вы
включаете в вашем httpd.conf ?
В какой кодировке работает ваш сервер ? Кодировка задается директивой
AddDefaultCharset (Cha
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: RageLT
Subject: Re: apache-module
apache_1.3.39
./configure \
--enable-module=rewrite \
--disable-module=imap \
--disable-module=userdir \
--disable-module=autoindex \
--enable-module=so
Конфиг дефолтный
***httpd.conf***
ServerType st
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: RageLT
Subject: Re: apache-module
> At 11:34:23 26/10/07, RageLT wrote:
>apache_1.3.39
>./configure \
>--enable-module=rewrite \
>--disable-module=imap \
>--disable-module=userdir \
>--disable-module=autoindex \
>--enable-module=so
>
>
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: apache-module
Добавьте команду "LogLevel 5" в файл modsearch.htm и покажите вывод в error_log
при выполнении запроса с кирилицей.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
ht
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: RageLT
Subject: Re: apache-module
Запрос, слово "Поиск"
Кодировка putty cp-1251, переключал на UTF-8 тоже "казявки".
***error_log***
mod_dpsearch[16230]: {00} SetLogLevel: 5
mod_dpsearch[16230]: {00} LocalCharset: 'UTF-8' BrowserChars
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Filbert Minj
Subject: No Result displays
Hi,
We are trying to use DataparkSearch Engine 4.48 for indexing documents. The
installation is successful. Also it is able to index the web site. Now the
problem is, it does not display any se
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: RageLT
Subject: Re: apache-module
Максим, простите, в прошлый раз смотрел под MC, сейчас просто cat-ом в utf-8,
вот вывод (но поиск по прежнему не работает):
mod_dpsearch[19759]: {00} dpsearch_handler:
q=%D0%BF%D0%BE%D1%80%D1%82%D0%B0
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: RageLT
Subject: Re: apache-module
Поменял, не помогло.
Удалил это переменные из кофигурации, проиндексировал всё ещё раз с такими
конфигами, не помогло.
./indexer -a -N 10 -WH
./apachectl restart
***cached.conf***
DBAddr mysql://[EMAI
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: apache-module
Давайте проверим, правильно ли определяется кодировка документа при
индексировании. Для этого переиндексируйте любой документ, который содержит
слово "портал" таким образом:
./indexer -qamv4 -u _URL_
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Ошибка конфигурирования
Появился ли у вас файл install.options ? Если да, покажите его содержимое.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Вывод категории
Мета-переменная $(DY) выводит категорию вместе со ссылкой, определена для
секции шаблона RES.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksea
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: not indexing full text
"indexer -TW" dooesn't index, it simple writes url data and cache mode limits,
so this output is normal.
What sections do you have defined in your sections.conf file ?
Is sections.conf files
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Вывод категории
Что значит ограничил 10 символами ?
в config.pl переменной $path_base можно задавать какого вида будут категории,
16-ричными или 36-ричными. По дефолту - 16-ричные.
- - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Re: Вывод категории
Странно но уменя в таблице categories и поле link стоит ограничительна 10
символов..
понял, посмотрю.. возможно чтото нетак сделал..
Спасибо
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Re
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Re: Вывод категории
Нет , но после вбивания категорий посредством перл скрипта ,они были помещены в
эту таблицу
в самой программе ПЕРЛ я ненашел где вносить ссылки на каталоги категорий,
только код
там вводится только и
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Re: Вывод категории
Я вводил уже код 2 символьный , получается при поиске он все равно должен
выводится..так ведь?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksear
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Roman
Subject: Re: Ошибка конфигурирования
Все выполнил как вы написали. После make install вышло сообщение
===> Running ldconfig
/sbin/ldconfig -m /usr/local/lib
===> Registering installation for dpsearch-4.47
===> SECURITY REPORT:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Re: Вывод категории
спасибо, она и нужна мне была
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1193411098
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Roman
Subject: Re: Ошибка конфигурирования
Не успел изменить прошлый пост.
Базу создал, таблици создались. Только вот немогу найти фаил search.cgi
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: RageLT
Subject: Re: apache-module
Максим, так и не получилось у меня. Будут ли у вас ещё догадки в чём может быть
пролема?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: RageLT
Subject: Re: apache-module
Указал
LocalCharset UTF-8
BrowserCharset UTF-8
Никаких изменений. :(
Самое инетересное, что через search.cgi всё прекрасно работает.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: seirge
Subject: Как искать по точному совпадению
Не могу заставить search.cgi возвращать результаты для точного совпадения фразы.
Т.е. необходимо, чтобы результаты поиска возвращались например для "latest
history", где оба слова были б
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Как искать по точному совпадению
Для поиска фразы ее нужно взять в кавычки. Для поиска без учета словоформ нужно
передавать CGI-параметр &sp=0.
Если есть возможность, обновитесь до последней выпущенной версии, 4.48
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: seirge
Subject: Re: robots.txt:
The same issue.
here is -v5 output
indexer[13496]: {00} indexer from dpsearch-4.48-mysql started with
search/4.48//etc/indexer.conf'
indexer[13496]: {00} Chinese dictionary with 0 entries
indexer[13496]
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: seirge
Subject: segfault на 4.48
Версия 4.48, indexer падает в segfault при запуске такой командой:
./indexer -o -U -N 30 -z 16 -c 600 -n 1000
(количество потоков просто увеличивает шанс на segfault).
Последняя фраза:
*** glibc detecte
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: hs
Subject: Индексация по IP
Не подскажете, как разрешить индексацию сайтов только в определенных подсетях?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simplef
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: hs
Subject: Re: Индексация по IP
Указал:
Subnet 172.16.1.0/24
URL http://servername/
Рузельтат нулевой...
indexer[1512]: {00} indexer from dpsearch-4.48-mysql started with
'/usr/local/dpsearch/etc/indexer.conf'
indexer[1512]: {01} D
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: hs
Subject: Re: Индексация по IP
Да, если указываю Server http://servername/ то индексирует, но только этот
сервер, а с него есть ссылки на другие серверы в сети 172.16.1.0/24. Цель -
проиндексироваать их все без описания в indexer.co
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: hs
Subject: Re: Индексация по IP
прописано так:
Subnet 172.16.1.0/24
Server http://servername/
Он просто проиндексировал сайт servername (все сего подкаталоги и т.д.) и на
этом все:
indexer[3104]: {01} Done (11 seconds, 35 documents
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: hs
Subject: Re: Индексация по IP
indexer[2988]: {00} DpsOpenCache:
indexer[2988]: {00} i:0 cached_sd:0 sin_port:0
indexer[2988]: {00} wrd_buf: 8666000
indexer[2988]: {00} Done.
indexer[2988]: {00} indexer from dpsearch-4.48-mysql star
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: hs
Subject: Re: Индексация по IP
Пробовал, не помогло тоже. Да и разве в сегменте дело? Разве нормально что
индексация не выходит за пределы Server ?
Вот с Server world все нормально, но Subnet тогда явно игнорируется, или вообще
иг
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Неработает ограничение на размер
подскажите пожалуйсто , неотрабатывает ограничитель на размер индексированого
файла
И подскажите может несовсем верна последовательность инструкций ?
Вот мой indexer
снапшот 48
вариант х
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Re: Неработает ограничение на размер
Вопрос об огарничении снят, это оказалось ошибка в моем запросе и выводились
как я понял все старницы даже те что с ошибками
Но всеже прошу посмотреть и сказать , может несовсем корре
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Неработает ограничение на размер
Последовательность комманд вполне корректна (надеюсь, что список команд
Server/Realm идет в конфиге ниже).
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topi
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Andrew
Subject: Re: использование BodyPattern
Может я криво сформулировал вопрос. Переформулирую:
Шаблон,внутри которого нужно индексировать, находится не на первой странице
индексируемого сайта.
indexer не доходит до этой страницы. И
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Re: Неработает ограничение на размер
да он сразу под списком инструкций
Спасибо, большое
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Индексация по IP
Работа команды Subnet исправлена в новом снапшоте:
http://www.dataparksearch.org/dpsearch-4.49-09112007.tar.gz
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http:
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: использование BodyPattern
Если заданый командой BodyPattern шаблон не находится на странице, то должен
индексироваться весь контент страницы. Приведите полный вывод indexer с ключом
-v5 для заглавной страницы.
- -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Andrew
Subject: Re: использование BodyPattern
[EMAIL PROTECTED] sbin]$ ./indexer -C
You are going to delete content from database(s):
pgsql://postgres@/search/?dbmode=multi
Are you sure?(YES/no)YES
Deleting...Done
[EMAIL PROTECTED] sbin
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Andrew
Subject: Re: использование BodyPattern
я просто скопировал документацию DataparkSearch в корень apache
Далее переименовал ваш index.ru.html в index.html
После вашего ответа, дописал "Include langmap.conf" в indexer.conf.
Резуль
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: hs
Subject: Re: Индексация по IP
Работает. Спасибо.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1194526207;page=2
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: hs
Subject: Зациклился indexer
При индексации форума на движке phpBB3 indexer циклится, т.е. бесконечно
скачивает повторный контент.
Когда indexer заходит на форум, все сcылки имеют примерно такой вид:
/viewtopic.php?bla-bla&sid=67ee
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Зациклился indexer
С помощью команды Disallow вы можете запретить индексирование страницы
delete_cookie.php:
Disallow regex delete_cookie\.php
С помощью команды ReverseAlias - вырезать sid из индексируемых URL:
Rev
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mike
Subject: Не индексируется сайт
Приветствую! Я чайник в этом ПО, поставил в первый раз, помогите плз решить
проблему,
не индексируется сайт:
./indexer -v5 -m
indexer[5886]: {00} DpsOpenCache:
indexer[5886]: {00} i:0 cached_sd:0
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Eduard
Subject: Re: шаблон в формате XML
$&(Body)
При некоторых запросах в XML попадает управляющий символ "ACK" (ord("ACK")==6)
В результате этого выдаётся не валидный XML
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
R
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mike
Subject: Re: Не индексируется сайт
у меня собрано с odbc ./configure --with-iodbc=/usr/local/
/etc/odbc.ini:
search = Postgres
[search]
Driver=/usr/local/lib/psqlodbc.so
Servername=localhost
UserName=postgres
Password=
Database=sea
Результаты 101 - 200 из 1663 matches
Mail list logo
