Určitě scrapy může i v tomto případě pomoct např. s tím jak pracuje s
concurrent requests a třebas autothrottle - to záleží na pravidlech toho API
které se bude konzumovat, co je dovoleno/jaké jsou limity. Pokud není dovoleno
dělat víc požadavků najednou tak bych tam asi scrapy ani netahal…
Já bych řekl, že se specializuje na těžení a že má dost věci, které ti to
těžení usnadní, pokud jde o HTML. Pokud jde o JSON, nic usnadňovat
nepotrebujes, mas json.loads(), a pak ale pořad stavis na tom těžení.
HJ
On Thu, 29 Nov 2018 at 21:05, Petr Messner wrote:
> Ahoj,
>
> myslel jsem, že
Ahoj,
myslel jsem, že scrapy se specializuje na těžení dat z HTML. Říkáš, že se
hodí i na JSON API?
Petr
čt 29. 11. 2018 v 20:47 odesílatel Honza Javorek
napsal:
> Ahoj,
>
> mirne offtopic, ale pokud muzu komentovat tu cast kde budes bombardovat to
> API, tak bych zvazil https://scrapy.org/
Ahoj,
mirne offtopic, ale pokud muzu komentovat tu cast kde budes bombardovat to
API, tak bych zvazil https://scrapy.org/ On si clovek casto nemysli ze neco
takovyho potrebuje, az kdyz do toho zabredne a trva to misto tri dnu mesic,
tak si uvedomi, ze misto requests mohl pouzit nejaky framework.
29. 11. 2018 v 20:19, Stanislav Vasko :
> Díky za info. Jen zopakuji, že počet dotazů je pro Heureku skoro nic, proti
> jiným partnerům. Současné scrapování mám nejen povolené, ale hlavně tuto
> novou aplikaci budu napojovat (základní skripty jsou už hotové) přes API
Super :) Díky za info o
Díky za info. Jen zopakuji, že počet dotazů je pro Heureku skoro nic, proti
jiným partnerům. Současné scrapování mám nejen povolené, ale hlavně tuto
novou aplikaci budu napojovat (základní skripty jsou už hotové) přes API,
které Heureka nedávno uvolnila, zpoplatnila přístup a je na toto přímo
Ahoj,
tohle scrapování určitě vidí Heureka strašně ráda. Ale to je tvůj boj :)
60 tisíc záznamů denně? Hm, na to by stačil i JSON soubor. Paradoxně by jeho
zpracování mohlo být i rychlejší, než ze špatně navržené databáze.
Což ostatně není špatný nápad, si ta data vylít a zpracovávat mimo. Je
Ahoj,
ja bych neco takoveho nacpal do Elasticsearch. Zadarmo k tomu dostanes
kibanu kde si muzes naklikat jakekoliv ad-hoc dashboardy se kterymi se
nemusis pak trapit rucne (idealne kibana jako prototyp a pak vytvorit
vlastni aplikaci pro lepsi UI/UX) a zaroven se nemusis strachovat o zadne
Zdravím,
pár let si v Django píšu menší aplikace pro svou práci a napsal jsem pár
řešení pro své klienty. Pro tyto účely používám SQLite a nikdy jsem
nenarazil na problém, navíc si mohu DB se zdrojákem snadno verzovat v GITu.
Nyní ale chci jeden ze svých projektů (analýza produktů na
