Re: [python] table querying

2018-03-05 Tema obsahu Petr Viktorin 

Nebo s Pandas...

import pandas
pandas.Series(range(10)).map('map mame {}'.format)


On 03/05/18 16:23, starenka . wrote:

In [2]: list(map(lambda x: 'map mame %s' % x, range(10)))
Out[2]:
['map mame 0',
  'map mame 1',
  'map mame 2',
  'map mame 3',
  'map mame 4',
  'map mame 5',
  'map mame 6',
  'map mame 7',
  'map mame 8',
  'map mame 9']


---
In Perl you shoot yourself in the foot, but nobody can understand how 
you did it. Six months later, neither can you. | print 'aknerats'[::-1]


2018-03-05 16:02 GMT+01:00 Petr Messner >:


No, je na to jeden takový super jazyk - Python :)

I když teda existuje jazyk, ve kterém se nějaké adhoc datové
transformační pipelines dělají ještě lépe - Javascript. Škoda, že
Python list nemá metodu map, musí se to dělat minimálně přes list
comprehensions, což je sice obecnější, ale o něco pomaleji se to píše.

Pro old-schoolery potom grep, sed a awk.


Dne 5. března 2018 14:31 Vláďa Macek > napsal(a):

Zdar,

mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
elegantním nástroji (modulu) pro Python implementujícím jednoduchý
dotazovací jazyk?

Jako "dej mi všechny řádky, které mají ve sloupci B hodnotu V (příp.
regexp), ve sloupci C nemají hodnoty V1 ani V2" atd.

Jde mi o etablovanou věc. Ne něco spíchnutého pro vlastní
potřebu a hrdě
zveřejněného, aby si autor otestoval psaní setup.py. :-)

Díky,

V.


___
Python mailing list
python@py.cz 
http://www.py.cz/mailman/listinfo/python


Visit: http://www.py.cz



___
Python mailing list
python@py.cz 
http://www.py.cz/mailman/listinfo/python


Visit: http://www.py.cz




___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz


___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz

Re: [python] table querying

2018-03-05 Tema obsahu starenka . 
In [2]: list(map(lambda x: 'map mame %s' % x, range(10)))
Out[2]:
['map mame 0',
 'map mame 1',
 'map mame 2',
 'map mame 3',
 'map mame 4',
 'map mame 5',
 'map mame 6',
 'map mame 7',
 'map mame 8',
 'map mame 9']


---
In Perl you shoot yourself in the foot, but nobody can understand how you
did it. Six months later, neither can you. | print 'aknerats'[::-1]

2018-03-05 16:02 GMT+01:00 Petr Messner :

> No, je na to jeden takový super jazyk - Python :)
>
> I když teda existuje jazyk, ve kterém se nějaké adhoc datové transformační
> pipelines dělají ještě lépe - Javascript. Škoda, že Python list nemá metodu
> map, musí se to dělat minimálně přes list comprehensions, což je sice
> obecnější, ale o něco pomaleji se to píše.
>
> Pro old-schoolery potom grep, sed a awk.
>
>
> Dne 5. března 2018 14:31 Vláďa Macek  napsal(a):
>
> Zdar,
>>
>> mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
>> elegantním nástroji (modulu) pro Python implementujícím jednoduchý
>> dotazovací jazyk?
>>
>> Jako "dej mi všechny řádky, které mají ve sloupci B hodnotu V (příp.
>> regexp), ve sloupci C nemají hodnoty V1 ani V2" atd.
>>
>> Jde mi o etablovanou věc. Ne něco spíchnutého pro vlastní potřebu a hrdě
>> zveřejněného, aby si autor otestoval psaní setup.py. :-)
>>
>> Díky,
>>
>> V.
>>
>>
>> ___
>> Python mailing list
>> python@py.cz
>> http://www.py.cz/mailman/listinfo/python
>>
>> Visit: http://www.py.cz
>>
>
>
> ___
> Python mailing list
> python@py.cz
> http://www.py.cz/mailman/listinfo/python
>
> Visit: http://www.py.cz
>
>
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz

Re: [python] table querying

2018-03-05 Tema obsahu Petr Messner 
Pokud si CSV převedeš do JSONL, což je podle mě vhodnější formát pro data,
tak potom doporučuji utilitu jq, je to něco jako XPath pro JSON:
https://stedolan.github.io/jq/ A díky streamování můžeš i zpracovávat data,
která se ti nevejdou ani do paměti, a paralelizovat přes všechna CPU (nebo
si CPU vypůjčit z cloudu), kdyby náhodou někdy bylo potřeba.

Dne 5. března 2018 16:02 Petr Messner  napsal(a):

> No, je na to jeden takový super jazyk - Python :)
>
> I když teda existuje jazyk, ve kterém se nějaké adhoc datové transformační
> pipelines dělají ještě lépe - Javascript. Škoda, že Python list nemá metodu
> map, musí se to dělat minimálně přes list comprehensions, což je sice
> obecnější, ale o něco pomaleji se to píše.
>
> Pro old-schoolery potom grep, sed a awk.
>
>
> Dne 5. března 2018 14:31 Vláďa Macek  napsal(a):
>
> Zdar,
>>
>> mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
>> elegantním nástroji (modulu) pro Python implementujícím jednoduchý
>> dotazovací jazyk?
>>
>> Jako "dej mi všechny řádky, které mají ve sloupci B hodnotu V (příp.
>> regexp), ve sloupci C nemají hodnoty V1 ani V2" atd.
>>
>> Jde mi o etablovanou věc. Ne něco spíchnutého pro vlastní potřebu a hrdě
>> zveřejněného, aby si autor otestoval psaní setup.py. :-)
>>
>> Díky,
>>
>> V.
>>
>>
>> ___
>> Python mailing list
>> python@py.cz
>> http://www.py.cz/mailman/listinfo/python
>>
>> Visit: http://www.py.cz
>>
>
>
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz

Re: [python] table querying

2018-03-05 Tema obsahu Matěj Cepl 
On 2018-03-05, 13:34 GMT, Ales Zoulek wrote:
> in-memory sqlite?

Natáhnout celou tabulku do SQLite a zpracovávat SQL příkazy.  
A SQLite umí pracovat nejenom nad souborem, ale i nad daty jenom 
v paměti.

Matěj
-- 
https://matej.ceplovi.cz/blog/, Jabber: mc...@ceplovi.cz
GPG Finger: 3C76 A027 CA45 AD70 98B5  BC1D 7920 5802 880B C9D8
 
To the well-organized mind, death is but the next great adventure.
  -- Albus Dumbledore
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz

Re: [python] table querying

2018-03-05 Tema obsahu Petr Messner 
No, je na to jeden takový super jazyk - Python :)

I když teda existuje jazyk, ve kterém se nějaké adhoc datové transformační
pipelines dělají ještě lépe - Javascript. Škoda, že Python list nemá metodu
map, musí se to dělat minimálně přes list comprehensions, což je sice
obecnější, ale o něco pomaleji se to píše.

Pro old-schoolery potom grep, sed a awk.


Dne 5. března 2018 14:31 Vláďa Macek  napsal(a):

> Zdar,
>
> mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
> elegantním nástroji (modulu) pro Python implementujícím jednoduchý
> dotazovací jazyk?
>
> Jako "dej mi všechny řádky, které mají ve sloupci B hodnotu V (příp.
> regexp), ve sloupci C nemají hodnoty V1 ani V2" atd.
>
> Jde mi o etablovanou věc. Ne něco spíchnutého pro vlastní potřebu a hrdě
> zveřejněného, aby si autor otestoval psaní setup.py. :-)
>
> Díky,
>
> V.
>
>
> ___
> Python mailing list
> python@py.cz
> http://www.py.cz/mailman/listinfo/python
>
> Visit: http://www.py.cz
>
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz

Re: [python] table querying

2018-03-05 Tema obsahu starenka . 
pandas

---
In Perl you shoot yourself in the foot, but nobody can understand how you
did it. Six months later, neither can you. | print 'aknerats'[::-1]

2018-03-05 14:51 GMT+01:00 Jirka Vejrazka :

> Ja si tohle vetsinou pisu na kolene, byva to rychlejsi nez pouzit nejaky
> hotovy nastroj. Vetsinou potrebuju jen dve nebo tri podminky a je pro mne
> jednodussi to pomoci "csv" modulu napsat, nez se zabyvat nejakym importem.
> Pokud je to hodne dat, poustim to pod pypy.
>
> Ale YMMV :)
>
>   Jirka
>
> 2018-03-05 14:31 GMT+01:00 Vláďa Macek :
>
>> Zdar,
>>
>> mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
>> elegantním nástroji (modulu) pro Python implementujícím jednoduchý
>> dotazovací jazyk?
>>
>> Jako "dej mi všechny řádky, které mají ve sloupci B hodnotu V (příp.
>> regexp), ve sloupci C nemají hodnoty V1 ani V2" atd.
>>
>> Jde mi o etablovanou věc. Ne něco spíchnutého pro vlastní potřebu a hrdě
>> zveřejněného, aby si autor otestoval psaní setup.py. :-)
>>
>> Díky,
>>
>> V.
>>
>>
>> ___
>> Python mailing list
>> python@py.cz
>> http://www.py.cz/mailman/listinfo/python
>>
>> Visit: http://www.py.cz
>>
>
>
> ___
> Python mailing list
> python@py.cz
> http://www.py.cz/mailman/listinfo/python
>
> Visit: http://www.py.cz
>
>
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz

Re: [python] table querying

2018-03-05 Tema obsahu Jirka Vejrazka 
Ja si tohle vetsinou pisu na kolene, byva to rychlejsi nez pouzit nejaky
hotovy nastroj. Vetsinou potrebuju jen dve nebo tri podminky a je pro mne
jednodussi to pomoci "csv" modulu napsat, nez se zabyvat nejakym importem.
Pokud je to hodne dat, poustim to pod pypy.

Ale YMMV :)

  Jirka

2018-03-05 14:31 GMT+01:00 Vláďa Macek :

> Zdar,
>
> mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
> elegantním nástroji (modulu) pro Python implementujícím jednoduchý
> dotazovací jazyk?
>
> Jako "dej mi všechny řádky, které mají ve sloupci B hodnotu V (příp.
> regexp), ve sloupci C nemají hodnoty V1 ani V2" atd.
>
> Jde mi o etablovanou věc. Ne něco spíchnutého pro vlastní potřebu a hrdě
> zveřejněného, aby si autor otestoval psaní setup.py. :-)
>
> Díky,
>
> V.
>
>
> ___
> Python mailing list
> python@py.cz
> http://www.py.cz/mailman/listinfo/python
>
> Visit: http://www.py.cz
>
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz

Re: [python] table querying

2018-03-05 Tema obsahu Petr Viktorin 

On 03/05/2018 02:31 PM, Vláďa Macek wrote:

Zdar,

mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
elegantním nástroji (modulu) pro Python implementujícím jednoduchý
dotazovací jazyk?

Jako "dej mi všechny řádky, které mají ve sloupci B hodnotu V (příp.
regexp), ve sloupci C nemají hodnoty V1 ani V2" atd.

Jde mi o etablovanou věc. Ne něco spíchnutého pro vlastní potřebu a hrdě
zveřejněného, aby si autor otestoval psaní setup.py. :-)


Pandas umí věci jako:

table = pandas.read_csv('foo.csv')
print(table[(table['B'].str.match(V_regex)) && (table['C'] != V1) && 
(table['C'] != V2)])


(Nevyzkoušeno; jestli tě zradí Google, dej vědět.)
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz

Re: [python] table querying

2018-03-05 Tema obsahu Jakub Vysoky 
in-memory sqlite se ti nezamlouva?

2018-03-05 14:31 GMT+01:00 Vláďa Macek :

> Zdar,
>
> mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
> elegantním nástroji (modulu) pro Python implementujícím jednoduchý
> dotazovací jazyk?
>
> Jako "dej mi všechny řádky, které mají ve sloupci B hodnotu V (příp.
> regexp), ve sloupci C nemají hodnoty V1 ani V2" atd.
>
> Jde mi o etablovanou věc. Ne něco spíchnutého pro vlastní potřebu a hrdě
> zveřejněného, aby si autor otestoval psaní setup.py. :-)
>
> Díky,
>
> V.
>
>
> ___
> Python mailing list
> python@py.cz
> http://www.py.cz/mailman/listinfo/python
>
> Visit: http://www.py.cz
>
> 
> Freehosting PIPNI - http://www.pipni.cz/
>
>


-- 
Jakub Vysoky

mob: +420 605 852 377
jab: jakub.vys...@gmail.com
twit: https://twitter.com/kvbik
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz

Re: [python] table querying

2018-03-05 Tema obsahu Ales Zoulek 
Hola,

in-memory sqlite?


A.

On Mon, Mar 5, 2018 at 2:32 PM Vláďa Macek  wrote:

> Zdar,
>
> mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
> elegantním nástroji (modulu) pro Python implementujícím jednoduchý
> dotazovací jazyk?
>
> Jako "dej mi všechny řádky, které mají ve sloupci B hodnotu V (příp.
> regexp), ve sloupci C nemají hodnoty V1 ani V2" atd.
>
> Jde mi o etablovanou věc. Ne něco spíchnutého pro vlastní potřebu a hrdě
> zveřejněného, aby si autor otestoval psaní setup.py. :-)
>
> Díky,
>
> V.
>
>
> ___
> Python mailing list
> python@py.cz
> http://www.py.cz/mailman/listinfo/python
>
> Visit: http://www.py.cz
>
___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz

[python] table querying

2018-03-05 Tema obsahu Vláďa Macek 
Zdar,

mějme tabulková data načtená třeba z CSV nebo Google Tabulku. Víte o
elegantním nástroji (modulu) pro Python implementujícím jednoduchý
dotazovací jazyk?

Jako "dej mi všechny řádky, které mají ve sloupci B hodnotu V (příp.
regexp), ve sloupci C nemají hodnoty V1 ani V2" atd.

Jde mi o etablovanou věc. Ne něco spíchnutého pro vlastní potřebu a hrdě
zveřejněného, aby si autor otestoval psaní setup.py. :-)

Díky,

V.


___
Python mailing list
python@py.cz
http://www.py.cz/mailman/listinfo/python

Visit: http://www.py.cz