- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Зависимость оперативки от кол-ва сайтов
Что есть взаимодействие с параметрами ?
Часть схемы базы данных описана в документации:
http://www.dataparksearch.org/dpsearch-dbschema.ru.html
- - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Михаил
Subject: Re: Зависимость оперативки от кол-ва сайтов
Максим а есть шансы на документацию по коду и схеме базы данных - интересует
алгоритмика (взаимодействие с параметрами и т.д.) ?
- - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Зависимость оперативки от кол-ва сайтов
В принципе абсолютно новые ссылки можно добавлять напрямую в таблицу url со
статусом=0 и next_index_time=0 минуя все проверки.
Но удалять документы таким образом противопоказа
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Михаил
Subject: Re: Зависимость оперативки от кол-ва сайтов
В dpsearch очень странно реализован алгоритм добавления новых url.
При добавлении 10 URL через файл или urldb каждый процесс начинает занимать
по 200 метров. Мы решили про
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Зависимость оперативки от кол-ва сайтов
> At 21:57:52 29/09/08, Maxime wrote:
>Попробуйте новый снапшот
>http://www.dataparksearch.org/dpsearch-4.51-29092008.tar.bz2
>и укажите команду
>FastHrefCheck yes
>она выключи
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Зависимость оперативки от кол-ва сайтов
Попробуйте новый снапшот
http://www.dataparksearch.org/dpsearch-4.51-29092008.tar.bz2
и укажите команду
FastHrefCheck yes
она выключить проверку ссылок против списка серверов н
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Зависимость оперативки от кол-ва сайтов
[97623]{01} Done (2144 seconds, 909 documents, 20324618 bytes, 9.26
Kbytes/sec.)
[97623]{03} Done (2143 seconds, 924 documents, 20238282 bytes, 9.22
Kbytes/sec.)
[97623]{02}
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Зависимость оперативки от кол-ва сайтов
-q и 3 нити стартовал примерно за 5 минут
Чуть позже проверю скорость, но судя по монитору - низкая
last pid: 97665; load averages: 1.23, 1.38, 1.55
103 processes: 2 runni
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Зависимость оперативки от кол-ва сайтов
Количество нитей не влияет на скорость запуска напрямую, чтение конфига
осуществляется одной нитью.
Если в таблицу серверов не вносилось изменений, запускайте indexer с ключо
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Зависимость оперативки от кол-ва сайтов
> At 00:16:36 28/09/08, Maxime wrote:
>Попробуйте новый снапшот:
>http://www.dataparksearch.org/dpsearch-4.51-27092008.tar.bz2
>там сделаны некоторы изменения в обработке серве
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Зависимость оперативки от кол-ва сайтов
Попробуйте новый снапшот:
http://www.dataparksearch.org/dpsearch-4.51-27092008.tar.bz2
там сделаны некоторы изменения в обработке сервера для каждого индексируемого
документа.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: zabar
Subject: Re: Зависимость оперативки от кол-ва сайтов
кол-во сайтов
c-ares - использую
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Зависимость оперативки от кол-ва сайтов
Что имеется в виду под 4 адресов ? Общее число проиндексированных
доументов, или число записей Server/Realm/Subnet в конфиге ?
Используете ли вы библиотеку асинхронного р
13 matches
Mail list logo
