- - - - - - - - - - - - - - - - - - - - - - - - - - - - Name: vdb Subject: Список ссылок для индексирования
Добрый день! Подскажите, пожалуйста, можно ли в таблицу servers добавить стартовый URL во время работы краулера? Т.е. обратит ли он на это внимание по окончанию разбора текущей страницы? И возможно ли для некоторых серверов указать, что индексировать разрешено только документы с этого се сервера, а для каких-то - все ссылки? - - - - - - - - - - - - - - - - - - - - - - - - - - - - Read the full topic here: http://dataparksearch.com/cgi-bin/simpleforum.cgi?fid=05;post=
