Re: Sorl
__ I'm using this express-made address because personal addresses aren't masked enough at this mail public archive. Public archive administrator should fix this against automated addresses collectors. El 14/10/19 a les 23:30, Adrià ha escrit: > On Mon, Oct 14, 2019 at 07:48:05PM +0200, Narcis Garcia wrote: >> >> Així que no es pot obtenir un programari DDG amb el qual muntar-te el >> teu propi sistema d'indexació i cerca del web general, amb el teu propi >> fons de dades web. >> Amb Gigablast si, i això és el què busco amb més alternatives. > > I amb Lok lak també! https://loklak.org >> Gràcies Adrià; és complicat obrir aquest portal de loklak amb seguretat perquè està farcit de components i rastrejadors de Google. La part servidor és interessant perquè sembla federable i hom es pot fer la pròpia interfície o portal web (com amb Gigablast). De tota manera sembla enfocat a indexar missatges de Twitter i similars; no pas el web general. Gigablast està compilat i empaquetat (.deb) i cerca tot el web (o allò que se seleccioni).
Re: Sorl
On Mon, Oct 14, 2019 at 07:48:05PM +0200, Narcis Garcia wrote: > > Així que no es pot obtenir un programari DDG amb el qual muntar-te el > teu propi sistema d'indexació i cerca del web general, amb el teu propi > fons de dades web. > Amb Gigablast si, i això és el què busco amb més alternatives. I amb Lok lak també! https://loklak.org > signature.asc Description: PGP signature
Re: Sorl
__ I'm using this express-made address because personal addresses aren't masked enough at this mail public archive. Public archive administrator should fix this against automated addresses collectors. El 14/10/19 a les 19:14, Alex Muntada ha escrit: > No sé com de difícil deu ser de muntar, però diria que el > DuckDuckGo és programari lliure i a github hi ha una pila de > repositoris a la seva organització. Espero que et serveixi. Els projectes que veig a Github són per a utilitzar els serveis de DuckDuckGo (API), apart d'elements del seu web, com són la documentació i la traducció a idiomes (que els va molt bé la mà d'obra gratis). El seu programari essencial és privatiu, apart de què no és descarregable https://en.wikipedia.org/wiki/DuckDuckGo (igual com passa amb Google, Bing, etc.) Així que no es pot obtenir un programari DDG amb el qual muntar-te el teu propi sistema d'indexació i cerca del web general, amb el teu propi fons de dades web. Amb Gigablast si, i això és el què busco amb més alternatives.
Re: Sorl
Hola Narcis, > Entenc que Xapian és programari auxiliar per a dotar una > aplicació a fer cerques sobre les seves pròpies dades Efectivament, jo entenc el mateix. > Gigablast és un programari per a posar en marxa un cercador > equivalent al DuckDuckGo, Google, Bing, etc: Amb la seva > interfície web, API, el seu robot per a explorar el web > d'Internet, etc. No sé com de difícil deu ser de muntar, però diria que el DuckDuckGo és programari lliure i a github hi ha una pila de repositoris a la seva organització. Espero que et serveixi. Salut! Alex -- ⢀⣴⠾⠻⢶⣦⠀ ⣾⠁⢠⠒⠀⣿⡁ Alex Muntada ⢿⡄⠘⠷⠚⠋ Debian Developer log.alexm.org ⠈⠳⣄ signature.asc Description: PGP signature
Re: Sorl
__ I'm using this express-made address because personal addresses aren't masked enough at this mail public archive. Public archive administrator should fix this against automated addresses collectors. El 10/10/19 a les 22:46, Alex Muntada ha escrit: > Hola Narcis, > >> Algú coneix alternatives (lliures, és clar) a Gigablast i del >> mateix tipus? > > Del mateix tipus no t'ho sabria dir però diversos serveis de > debian.org utilitzen https://xapian.org/ com a indexador per a > les cerques. Entenc que Xapian és programari auxiliar per a dotar una aplicació a fer cerques sobre les seves pròpies dades (?). Gigablast és un programari per a posar en marxa un cercador equivalent al DuckDuckGo, Google, Bing, etc: Amb la seva interfície web, API, el seu robot per a explorar el web d'Internet, etc.
Re: Sorl
Hola Joan, > la sol·lució natural és deixar de banda la cerca en BBDD i > usar Apache Sorl. Veig que poses Sorl en diversos llocs i en realitat és Solr (Solar però amb l'a muda). Ho comento perquè si busques referències i informació sobre sorl potser no trobis gaires resultats. > D'entrada pensava simplement agafar un servidor Vols dir que no hi ha coses més lleugeres que puguis tenir al mateix servidor on hi ha el drupal? La primera que em ve al cap és la que comentava fa una estona: xapian. Salut, Alex -- ⢀⣴⠾⠻⢶⣦⠀ ⣾⠁⢠⠒⠀⣿⡁ Alex Muntada ⢿⡄⠘⠷⠚⠋ Debian Developer log.alexm.org ⠈⠳⣄ signature.asc Description: PGP signature
Re: Sorl
Hola Narcis, > Algú coneix alternatives (lliures, és clar) a Gigablast i del > mateix tipus? Del mateix tipus no t'ho sabria dir però diversos serveis de debian.org utilitzen https://xapian.org/ com a indexador per a les cerques. Salut, Alex -- ⢀⣴⠾⠻⢶⣦⠀ ⣾⠁⢠⠒⠀⣿⡁ Alex Muntada ⢿⡄⠘⠷⠚⠋ Debian Developer log.alexm.org ⠈⠳⣄ signature.asc Description: PGP signature
Re: Sorl
Algú coneix alternatives (lliures, és clar) a Gigablast i del mateix tipus? __ I'm using this express-made address because personal addresses aren't masked enough at this mail public archive. Public archive administrator should fix this against automated addresses collectors. El 7/10/19 a les 17:26, Narcis Garcia ha escrit: > En això del programari de cerca web, jo només he tocat Gigablast. > Malgrat que no està gaire mantingut, segueix funcionant i fa el què se > li demana. > > > > __ > I'm using this express-made address because personal addresses aren't > masked enough at this mail public archive. Public archive administrator > should fix this against automated addresses collectors. > El 7/10/19 a les 16:21, Joan Cervan ha escrit: >> Hola, >> >> En una web que porto, amb drupal, les cerques son molt lentes, i la >> sol·lució natural és deixar de banda la cerca en BBDD i usar Apache >> Sorl. >> >> D'entrada pensava simplement agafar un servidor (VPS o cloud), amb 8Gb >> de RAM, 4 o 8 processadors i 100 o 200Gb de disc SSD, bàsicament perquè >> em penso que son els paràmetres que li van bé a java i Sorl (no hi ha >> formules màgiques de "requeriments mínims, etc.", perquè depèn molt de >> la quantitat d'info a indexar, el volum de cerques a fer, etc. Els meus >> requisits, potser amb excepció de la quantitat d'info, i ni això, no >> son molt alts (em penso), i per tant volia tirar de la configuració >> superior i plantejar-me el servidor per donar servei a clients >> diversos... >> >> Però el que estic veient és que, com tot, això del Sorl és una ciència >> i no tinc clar si optar per un SaaS (acostumen a ser cars) o opcions >> preinstal·lades / modulars (he vist per sobre Bitnami). De moment >> encara vaig una mica peix, i només us ho comentava per si algú de >> valtros en te experiència, en això del Sorl, o les JVE i em podia >> orientar (per acabar-ho d'adobar he descobert per a què serveix Tomcat, >> i ara tinc un dubte més: muntar Sorl sobre Tomcat a Debian? Te sentit, >> això? És una alternativa més lliure que muntar-ho amb el java >> d'Oracle?? >> >> Apa, ja em direu, >> >> Salutacions, >> >
Re: Sorl
De fet no necessito una eina tant potent com per treballar en cluster. Simplement voldria algo més potent que una cerca en BBDD. I he vist que Sorl és relativament complexa d'instal·lar i administrar (o més ben dit de configurar/afinar). Possiblement per l'ús que li vull donar no caldria ni afinar massa, si la màquina te recursos de sobres, però vaja, veig que no és un instal·la i funciona, sinó un intal·la, analitza el funcionament, i ves afinant... Si és que vols millorar el rendiment, clar... igual això és com compilar-se a ma un kernel, que en general, no fem :-p (Gentoo a banda, si no ho tinc mal entès). -- Joan Cervan Andreu Desenvolupament web / Web developer Drupal - Moodle - CiviCRM +34 635 40 31 04 https://www.calbasi.net El Tue, 08 Oct 2019 20:00:14 +0200 roger.sic...@gmail.com va escriure: > Bones, > > com a motor d'indexació també hi ha Elasticsearch, que està pensat > per treballar en mode clúster. Sinó també pots mirar de configurar > algun sistema de caché aplicatiu amb redis o memcache. Les dues > solucions són complementàries. > > Salut ! > > On October 7, 2019 8:17:31 PM GMT+02:00, Antoni Villalonga > wrote: > >On Mon, Oct 07, 2019 at 04:21:54PM +0200, Joan Cervan wrote: > >> Hola, > >> > >> En una web que porto, amb drupal, les cerques son molt lentes, i la > >> sol·lució natural és deixar de banda la cerca en BBDD i usar Apache > >> Sorl. > > > >Hola, > > > >Com a alternativa pots provar sphinx. És un motor full-text search. > > > >Jo vaig fer un petit script que recull dades de la bd i les volca al > >sphinx (un > >cop cada hora, amb el cron). > > > >La cerca es pot fer amb comandes sql, emprant el connector mysql cap > >al sphinx. > > > >Salut! > > > >-- > >Antoni Villalonga > >http://friki.cat/ > -- Joan Cervan Andreu Desenvolupament web / Web developer Drupal - Moodle - CiviCRM +34 635 40 31 04 https://www.calbasi.net
Re: Sorl
Em descuidava de dir que elasticsearch si que està molt suportat per drupal, i pel que veig, molt usat... M'ho he apuntat com a opció a analitzar i tenir en compte. Merci! -- Joan Cervan Andreu Desenvolupament web / Web developer Drupal - Moodle - CiviCRM +34 635 40 31 04 https://www.calbasi.net El Tue, 08 Oct 2019 20:00:14 +0200 roger.sic...@gmail.com va escriure: > Bones, > > com a motor d'indexació també hi ha Elasticsearch, que està pensat > per treballar en mode clúster. Sinó també pots mirar de configurar > algun sistema de caché aplicatiu amb redis o memcache. Les dues > solucions són complementàries. > > Salut ! > > On October 7, 2019 8:17:31 PM GMT+02:00, Antoni Villalonga > wrote: > >On Mon, Oct 07, 2019 at 04:21:54PM +0200, Joan Cervan wrote: > >> Hola, > >> > >> En una web que porto, amb drupal, les cerques son molt lentes, i la > >> sol·lució natural és deixar de banda la cerca en BBDD i usar Apache > >> Sorl. > > > >Hola, > > > >Com a alternativa pots provar sphinx. És un motor full-text search. > > > >Jo vaig fer un petit script que recull dades de la bd i les volca al > >sphinx (un > >cop cada hora, amb el cron). > > > >La cerca es pot fer amb comandes sql, emprant el connector mysql cap > >al sphinx. > > > >Salut! > > > >-- > >Antoni Villalonga > >http://friki.cat/ > -- Joan Cervan Andreu Desenvolupament web / Web developer Drupal - Moodle - CiviCRM +34 635 40 31 04 https://www.calbasi.net
Re: Sorl
Sphinx em sonava, però els mòduls per drupal estan majoritàriament en desús, el que no em donava gaire confiança... De fet, hi ha mòdul per la versió 8 de drupal. Merci igualment! -- Joan Cervan Andreu Desenvolupament web / Web developer Drupal - Moodle - CiviCRM +34 635 40 31 04 https://www.calbasi.net El Mon, 7 Oct 2019 18:17:31 + Antoni Villalonga va escriure: > On Mon, Oct 07, 2019 at 04:21:54PM +0200, Joan Cervan wrote: > > Hola, > > > > En una web que porto, amb drupal, les cerques son molt lentes, i la > > sol·lució natural és deixar de banda la cerca en BBDD i usar Apache > > Sorl. > > Hola, > > Com a alternativa pots provar sphinx. És un motor full-text search. > > Jo vaig fer un petit script que recull dades de la bd i les volca al > sphinx (un cop cada hora, amb el cron). > > La cerca es pot fer amb comandes sql, emprant el connector mysql cap > al sphinx. > > Salut! > -- Joan Cervan Andreu Desenvolupament web / Web developer Drupal - Moodle - CiviCRM +34 635 40 31 04 https://www.calbasi.net
Re: Sorl
Bones, com a motor d'indexació també hi ha Elasticsearch, que està pensat per treballar en mode clúster. Sinó també pots mirar de configurar algun sistema de caché aplicatiu amb redis o memcache. Les dues solucions són complementàries. Salut ! On October 7, 2019 8:17:31 PM GMT+02:00, Antoni Villalonga wrote: >On Mon, Oct 07, 2019 at 04:21:54PM +0200, Joan Cervan wrote: >> Hola, >> >> En una web que porto, amb drupal, les cerques son molt lentes, i la >> sol·lució natural és deixar de banda la cerca en BBDD i usar Apache >> Sorl. > >Hola, > >Com a alternativa pots provar sphinx. És un motor full-text search. > >Jo vaig fer un petit script que recull dades de la bd i les volca al >sphinx (un >cop cada hora, amb el cron). > >La cerca es pot fer amb comandes sql, emprant el connector mysql cap al >sphinx. > >Salut! > >-- >Antoni Villalonga >http://friki.cat/ -- Roger Sicart Rams
Re: Sorl
On Mon, Oct 07, 2019 at 04:21:54PM +0200, Joan Cervan wrote: > Hola, > > En una web que porto, amb drupal, les cerques son molt lentes, i la > sol·lució natural és deixar de banda la cerca en BBDD i usar Apache > Sorl. Hola, Com a alternativa pots provar sphinx. És un motor full-text search. Jo vaig fer un petit script que recull dades de la bd i les volca al sphinx (un cop cada hora, amb el cron). La cerca es pot fer amb comandes sql, emprant el connector mysql cap al sphinx. Salut! -- Antoni Villalonga http://friki.cat/
