Hi Markus, Thanks for your answer.
2016-06-21 13:59 GMT+02:00 Markus Jelsma <markus.jel...@openindex.io>: > > Have you set this parameter to 182? Probably not but anyway. > > <property> > <name>db.max.outlinks.per.page</name> > <value>100</value> > No, I set it to 5000 (just to be on safe side). I'm beginning to think it might simply be a very long document that exceeds the page size limit. I'll test this when I have time for this project in my planning. > <description>The maximum number of outlinks that we'll process for a > page. > If this value is nonnegative (>=0), at most db.max.outlinks.per.page > outlinks > will be processed for a page; otherwise, all outlinks will be processed. > </description> > </property> > > Markus > > > > -----Original message----- > > From:Jigal van Hemert | alterNET internet BV <ji...@alternet.nl> > > Sent: Thursday 16th June 2016 16:56 > > To: user <user@nutch.apache.org> > > Subject: Number of crawled links from seed page > > > > Hi, > > > > On the seed page there are a few hundred links (approx. 400) in a large > > list of items that must be indexed. I already made sure that the number > of > > inbound and outbound links in the settings are large enough (10000 and > > 5000), but unfortunately only the first 182 links are fetched for > crawling > > in the second iteration (the first is only the seed page). > > > > url regex filter is already in place to ignore all distracting URLs on > the > > page and these work correctly. > > > > Which other settings affect the number of links that are followed on a > seed > > page? > > > > -- > > > > > > Met vriendelijke groet, > > > > > > Jigal van Hemert | Ontwikkelaar > > > > > > > > Langesteijn 124 > > 3342LG Hendrik-Ido-Ambacht > > > > T. +31 (0)78 635 1200 > > F. +31 (0)848 34 9697 > > KvK. 23 09 28 65 > > > > ji...@alternet.nl > > www.alternet.nl > > > > > > Disclaimer: > > Dit bericht (inclusief eventuele bijlagen) kan vertrouwelijke informatie > > bevatten. Als u niet de beoogde ontvanger bent van dit bericht, neem dan > > direct per e-mail of telefoon contact op met de verzender en verwijder > dit > > bericht van uw systeem. Het is niet toegestaan de inhoud van dit bericht > op > > welke wijze dan ook te delen met derden of anderszins openbaar te maken > > zonder schriftelijke toestemming van alterNET Internet BV. U wordt > > geadviseerd altijd bijlagen te scannen op virussen. AlterNET kan op geen > > enkele wijze verantwoordelijk worden gesteld voor geleden schade als > gevolg > > van virussen. > > > > Alle eventueel genoemde prijzen S.E. & O., excl. 21% BTW, excl. > reiskosten. > > Op al onze prijsopgaven, offertes, overeenkomsten, en diensten zijn, met > > uitzondering van alle andere voorwaarden, de Algemene Voorwaarden van > > alterNET Internet B.V. van toepassing. Op al onze domeinregistraties en > > hostingactiviteiten zijn tevens onze aanvullende hostingvoorwaarden van > > toepassing. Dit bericht is uitsluitend bedoeld voor de geadresseerde. Aan > > dit bericht kunnen geen rechten worden ontleend. > > > > ! Bedenk voordat je deze email uitprint, of dit werkelijk nodig is ! > > > -- Met vriendelijke groet, Jigal van Hemert | Ontwikkelaar Langesteijn 124 3342LG Hendrik-Ido-Ambacht T. +31 (0)78 635 1200 F. +31 (0)848 34 9697 KvK. 23 09 28 65 ji...@alternet.nl www.alternet.nl Disclaimer: Dit bericht (inclusief eventuele bijlagen) kan vertrouwelijke informatie bevatten. Als u niet de beoogde ontvanger bent van dit bericht, neem dan direct per e-mail of telefoon contact op met de verzender en verwijder dit bericht van uw systeem. Het is niet toegestaan de inhoud van dit bericht op welke wijze dan ook te delen met derden of anderszins openbaar te maken zonder schriftelijke toestemming van alterNET Internet BV. U wordt geadviseerd altijd bijlagen te scannen op virussen. AlterNET kan op geen enkele wijze verantwoordelijk worden gesteld voor geleden schade als gevolg van virussen. Alle eventueel genoemde prijzen S.E. & O., excl. 21% BTW, excl. reiskosten. Op al onze prijsopgaven, offertes, overeenkomsten, en diensten zijn, met uitzondering van alle andere voorwaarden, de Algemene Voorwaarden van alterNET Internet B.V. van toepassing. Op al onze domeinregistraties en hostingactiviteiten zijn tevens onze aanvullende hostingvoorwaarden van toepassing. Dit bericht is uitsluitend bedoeld voor de geadresseerde. Aan dit bericht kunnen geen rechten worden ontleend. ! Bedenk voordat je deze email uitprint, of dit werkelijk nodig is !
