Už mi na serveru běhá PSQL. Nevím sice úplně dobře proč, ale funguje a
dělám testy výkonu. Zatím to vypadá velice slibně a i přes slušnou zátěž DB
reaguje velice svižně. Zkusím do DB dát 100 mega řádků a uvidíme jak se
bude tvářit pak. Pokud klienta trochu ukrotím v pohledu na "nutně"
MySQL je super - když si do ní chceš naprogramovat vlastní engine.
Takže asi tak :)
PM
pá 30. 11. 2018 v 14:02 odesílatel Jan Walter napsal:
> Nevim jak dneska, ale mysql nebyla pred lety dobra (plnohodnotna) relacni
> db, postgres je naopak supr uz hodne dlouho. Svyho casu jsem si napr.
Nevim jak dneska, ale mysql nebyla pred lety dobra (plnohodnotna) relacni
db, postgres je naopak supr uz hodne dlouho. Svyho casu jsem si napr. delal
benchmarky rychlosti beznych r/w operaci pro vetsi stromovy struktury
(postgres, mssql, neo4j) a postgres vychazel v podstate nejlip.
Plus indexace
Tri miliony radku jsou jen drobne, pokud spravne pouzijes indexy. Mel bys
byt na zlomcich sekund pro jeden dotaz (a pokud ten dotaz nevraci tisice
zaznamu)...
Jirka
On Fri, 30 Nov 2018 at 10:34, Stanislav Vasko
wrote:
> V mezičase jsem si napsal miniaplikaci, která natahala nějaká data z
>
Pokud jde o "mezitabulky" tak by mohly pomoct SQL View
--
Radim
On Fri, Nov 30, 2018 at 10:37 AM starenka . wrote:
> Nevim jesli to tady zaznelo, ale postgres ma JSON field (podpora i v
> djangu), kterej se da rozumne indexovat...
>
> https://www.postgresql.org/docs/10/datatype-json.html
>
>
Nevim jesli to tady zaznelo, ale postgres ma JSON field (podpora i v
djangu), kterej se da rozumne indexovat...
https://www.postgresql.org/docs/10/datatype-json.html
https://docs.djangoproject.com/en/2.1/ref/contrib/postgres/fields/#jsonfield
---
In Perl you shoot yourself in the foot, but nobody
V mezičase jsem si napsal miniaplikaci, která natahala nějaká data z
Heureky a pak jsem skriptem začal soubor dat duplikovat. Aktuálně mám v
SQLite asi 3 milióny řádků vše běží, jen tedy vyhledat data s jedinou WHERE
podmínkou a sortem je cca 10s (45000 výsledků), s limitem na 10 pak cca
6,5s.
Určitě scrapy může i v tomto případě pomoct např. s tím jak pracuje s
concurrent requests a třebas autothrottle - to záleží na pravidlech toho API
které se bude konzumovat, co je dovoleno/jaké jsou limity. Pokud není dovoleno
dělat víc požadavků najednou tak bych tam asi scrapy ani netahal…
Já bych řekl, že se specializuje na těžení a že má dost věci, které ti to
těžení usnadní, pokud jde o HTML. Pokud jde o JSON, nic usnadňovat
nepotrebujes, mas json.loads(), a pak ale pořad stavis na tom těžení.
HJ
On Thu, 29 Nov 2018 at 21:05, Petr Messner wrote:
> Ahoj,
>
> myslel jsem, že
Ahoj,
myslel jsem, že scrapy se specializuje na těžení dat z HTML. Říkáš, že se
hodí i na JSON API?
Petr
čt 29. 11. 2018 v 20:47 odesílatel Honza Javorek
napsal:
> Ahoj,
>
> mirne offtopic, ale pokud muzu komentovat tu cast kde budes bombardovat to
> API, tak bych zvazil https://scrapy.org/
Ahoj,
mirne offtopic, ale pokud muzu komentovat tu cast kde budes bombardovat to
API, tak bych zvazil https://scrapy.org/ On si clovek casto nemysli ze neco
takovyho potrebuje, az kdyz do toho zabredne a trva to misto tri dnu mesic,
tak si uvedomi, ze misto requests mohl pouzit nejaky framework.
29. 11. 2018 v 20:19, Stanislav Vasko :
> Díky za info. Jen zopakuji, že počet dotazů je pro Heureku skoro nic, proti
> jiným partnerům. Současné scrapování mám nejen povolené, ale hlavně tuto
> novou aplikaci budu napojovat (základní skripty jsou už hotové) přes API
Super :) Díky za info o
Díky za info. Jen zopakuji, že počet dotazů je pro Heureku skoro nic, proti
jiným partnerům. Současné scrapování mám nejen povolené, ale hlavně tuto
novou aplikaci budu napojovat (základní skripty jsou už hotové) přes API,
které Heureka nedávno uvolnila, zpoplatnila přístup a je na toto přímo
Ahoj,
tohle scrapování určitě vidí Heureka strašně ráda. Ale to je tvůj boj :)
60 tisíc záznamů denně? Hm, na to by stačil i JSON soubor. Paradoxně by jeho
zpracování mohlo být i rychlejší, než ze špatně navržené databáze.
Což ostatně není špatný nápad, si ta data vylít a zpracovávat mimo. Je
Ahoj,
ja bych neco takoveho nacpal do Elasticsearch. Zadarmo k tomu dostanes
kibanu kde si muzes naklikat jakekoliv ad-hoc dashboardy se kterymi se
nemusis pak trapit rucne (idealne kibana jako prototyp a pak vytvorit
vlastni aplikaci pro lepsi UI/UX) a zaroven se nemusis strachovat o zadne
Zdravím,
pár let si v Django píšu menší aplikace pro svou práci a napsal jsem pár
řešení pro své klienty. Pro tyto účely používám SQLite a nikdy jsem
nenarazil na problém, navíc si mohu DB se zdrojákem snadno verzovat v GITu.
Nyní ale chci jeden ze svých projektů (analýza produktů na
16 matches
Mail list logo
