I have the index locally ... but it's really impractical to send it especially if you already have the source text locally.
Maybe index directly from the source text instead of via a database? Lucene's benchmark contrib/module has code to decode the XML into documents... Mike McCandless http://blog.mikemccandless.com On Tue, Jun 19, 2012 at 6:27 PM, Elshaimaa Ali <elshaimaa....@hotmail.com> wrote: > > Thanks Mike for the prompt replyDo you have a fully indexed version of the > wikipedia, I mainly need two fields for each document the indexed content of > the wikipedia articles and the title.if there is any place where I can get > the index, that will save me great time > regardsshaimaa > >> From: luc...@mikemccandless.com >> Date: Tue, 19 Jun 2012 16:29:39 -0400 >> Subject: Re: Wikipedia Index >> To: java-user@lucene.apache.org >> >> Likely the bottleneck is pulling content from the database? Maybe >> test just that and see how long it takes? >> >> 24 hours is way too long to index all of Wikipedia. For example, we >> index Wikipedia every night for our trunk/4.0 performance tests, here: >> >> http://people.apache.org/~mikemccand/lucenebench/indexing.html >> >> The export is a bit old now (01/15/2011) but it takes just under 6 >> minutes to fully index it. This is on a fairly beefy machine (24 >> cores)... and trunk/4.0 has substantial concurrency improvements over >> 3.x. >> >> You can also try the ideas here: >> >> http://wiki.apache.org/lucene-java/ImproveIndexingSpeed >> >> Mike McCandless >> >> http://blog.mikemccandless.com >> >> On Tue, Jun 19, 2012 at 12:27 PM, Elshaimaa Ali >> <elshaimaa....@hotmail.com> wrote: >> > >> > Hi everybody >> > I'm using Lucene3.6 to index Wikipedia documents which is over 3 million >> > article, the data is on a mysql database and it is taking more than 24 >> > hours so far.Do you know any tips that can speed up the indexing process >> > here is mycode: >> > public static void main(String[] args) { á á á á á á String indexPath = >> > INDEXPATH; á á á á á IndexWriter writer = null; á á á >> > DatabaseConfiguration dbConfig = new DatabaseConfiguration(); á á á á á >> > dbConfig.setHost(host); á á á á dbConfig.setDatabase(data); á á á á á á >> > dbConfig.setUser(user); á á á á dbConfig.setPassword(password); á á á á >> > dbConfig.setLanguage(Language.english); >> > á á á á á á á á átry { á á á á á Directory dir = FSDirectory.open(new >> > File(indexPath)); á á á á á á á á áAnalyzer analyzer = new >> > StandardAnalyzer(Version.LUCENE_31); á á á áIndexWriterConfig iwc = new >> > IndexWriterConfig(Version.LUCENE_31, analyzer); á á á á á á >> > iwc.setOpenMode(OpenMode.CREATE); á á á writer = new IndexWriter(dir, >> > iwc); á á á á á á á á á á á á } á á á á á á á catch (IOException e) { á á >> > á á á á á á á á System.out.println(" caught a " + e.getClass() + á á á á á >> > á á á "\n with message: " + e.getMessage()); á á á á á á á } á á á á á á á >> > á á á á á á á try { á á á á á á á á á á á á Wikipedia wiki = new >> > Wikipedia(dbConfig); á á á á á á á á á á á á á á á Iterable<Page> >> > wikipages = wiki.getPages(); //get wikipedia articles from the database á >> > á á á á á á á á á á á áIterator iter = wikipages.iterator(); á á á á á á á >> > á á á á á á while(iter.hasNext()){ á á á á á á á á á á á á áPage p = >> > (Page)iter.next(); á á á á á á á á á á á á á á >> > System.out.println(p.getTitle().getPlainTitle()); á á á á á á á á á á á á >> > á á á á á Document doc = new Document(); á á á á á á á á á á á á á á á á >> > áField contentField = new Field("contents", p.getPlainText(), >> > Field.Store.NO, Field.Index.ANALYZED); á á á á á á á á á á á á á á Field >> > titleField = new Field("title", >> > p.getTitle().getPlainTitle(),Field.Store.YES, Field.Index.NOT_ANALYZED ); >> > á á á á á á á á á á á á á á á á doc.add(contentField); // wiki page text á >> > á á á á á á á á á á á á á á ádoc.add(titleField); // wiki page title á á á >> > á á á á á á á á á á á á á writer.addDocument(doc); á á á á á á á á á á á á >> > á á} á á á á á á á á á á á } catch (Exception e) { á á á á á á á á á á á á >> > e.printStackTrace(); á á á á á á á á á á} á á á á á á á á á á á á á á á á } >> > >> >> --------------------------------------------------------------------- >> To unsubscribe, e-mail: java-user-unsubscr...@lucene.apache.org >> For additional commands, e-mail: java-user-h...@lucene.apache.org >> > --------------------------------------------------------------------- To unsubscribe, e-mail: java-user-unsubscr...@lucene.apache.org For additional commands, e-mail: java-user-h...@lucene.apache.org
