Re: [pgbr-geral] Regressão linear, derivadas no postgres

[Dickson S . Guedes]

Em  4 de maio de 2017, as 13:54 BRT, Artur Zanini  
escreveu:
> Alguém pode indicar exemplos e material como o postgres trabalha Regressão
> linear.
> Funções matemáticas para Data Mining.


Se a intenção é para trabalhar com PLs e funções "dentro" do banco, para
regressão linear eu costumo utilizar as funções regr_* [1] nativas do 
PostgreSQL mesmo utilizando o próprio SQL em primeiro lugar, e quando
necessário algo com pl/Python [2] onde uso numpy [3] e as vezes
pandas [4].

Um exemplo em que uso é na analise estatística das coletas de dados sobre
os objetos do banco, em que armazeno os dados em tabelas para
consultá-las depois, de modo que consigo observar alguns comportamentos
sem mesmo ter que criar um gráfico para isto.

A vantagem é o gerenciamento da memória durante o processamento, que no
banco ocorre no lado, erh... do banco :D, ou seja, na memória dele,
permitindo processar algumas dezenas de gigas, coisa que num PC ou
Laptop pode não ser viável já que é padrão você ter que carregar todos
os dados para a memoria antes de processar, levando você a ter que
trabalhar com DataFrames complexos e libs especificas da linguagem
escolhida para compensar.


[1] 
https://www.postgresql.org/docs/current/static/functions-aggregate.html#FUNCTIONS-AGGREGATE-STATISTICS-TABLE
[2] https://www.postgresql.org/docs/current/static/plpython.html
[3] http://www.numpy.org
[4] http://pandas.pydata.org


Att.
-- 
Dickson S. Guedes
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] Conteúdo de logs para arquivo CSV

[Tiago José Adami]

Bom dia!

Em um servidor na Amazon rodando PostgreSQL 9.4.9 apresenta um
comportamento estranho - ao menos para mim: ao invés de gravar todo o
conteúdo em um arquivo com extensão "log", um arquivo sem extensão é
criado com tamanho 0 bytes e tudo é redirecionado para um outro
arquivo com extensão "csv".

Não devo estar percebendo corretamente o valor de alguma configuração,
mas tenho outros servidores com os mesmos parâmetros (aparentemente) e
estão armazenando os logs corretamente.

Alguém poderia revisar minhas configurações, por gentileza?


log_destination = 'stderr'
logging_collector = on
log_directory = '/pg_log'
log_filename = 'postgresql-%a.log'
log_truncate_on_rotation = on

client_min_messages = log
log_min_messages = warning

log_min_error_statement = error
log_min_duration_statement = 1
log_connections = on
log_disconnections = on
log_lock_waits = on
log_timezone = 'UTC'


Lista de arquivos na pasta /pg_log de hoje:

-rw--- 1 postgres postgres  402K May 10 14:04 postgres-2017-05-10_00.csv
-rw--- 1 postgres postgres 0 May 10 00:00 postgres-2017-05-10_00



TIAGO J. ADAMI
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Conteúdo de logs para arquivo CSV

[Sebastian Webber]

Em 10 de maio de 2017 11:11, Tiago José Adami  escreveu:

> Bom dia!
>
> Bom dia!


> Em um servidor na Amazon rodando PostgreSQL 9.4.9 apresenta um
> comportamento estranho - ao menos para mim: ao invés de gravar todo o
> conteúdo em um arquivo com extensão "log", um arquivo sem extensão é
> criado com tamanho 0 bytes e tudo é redirecionado para um outro
> arquivo com extensão "csv".
>

Roda no psql:


\x
select * from pg_settings where name = 'log_destination';



>
> Não devo estar percebendo corretamente o valor de alguma configuração,
> mas tenho outros servidores com os mesmos parâmetros (aparentemente) e
> estão armazenando os logs corretamente.
>
> Alguém poderia revisar minhas configurações, por gentileza?
>
>
> log_destination = 'stderr'
> logging_collector = on
> log_directory = '/pg_log'
> log_filename = 'postgresql-%a.log'
> log_truncate_on_rotation = on
>
> client_min_messages = log
> log_min_messages = warning
>
> log_min_error_statement = error
> log_min_duration_statement = 1
> log_connections = on
> log_disconnections = on
> log_lock_waits = on
> log_timezone = 'UTC'
>
>
> Lista de arquivos na pasta /pg_log de hoje:
>
> -rw--- 1 postgres postgres  402K May 10 14:04
> postgres-2017-05-10_00.csv
> -rw--- 1 postgres postgres 0 May 10 00:00
> postgres-2017-05-10_00
>
>
>
> TIAGO J. ADAMI
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral




-- 
Sebastian Webber
Chegou a ver o meu blog ?  Dá uma olhada no que eu ando
aprontando: http://swebber.me
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Regressão linear, derivadas no postgres

[Artur Zanini]

Obrigado  Dikson.

Estou levantando as minhas possibilidades.
Ainda estou trabalhando com as minhas amostras. Classificando as minhas
amostras é fazendo testes manuais para verificar os meus parâmetros e suas
variações.
Tenho um longo caminho pela frente a  tua dica vai ajudar bastante.



=
Ass.:
Artur Gnecco Zanini
Fone.:  51 92232129
Gtalk: artur.zan...@gmail.com
=

Em 10 de maio de 2017 10:23, Dickson S. Guedes 
escreveu:

>
> Em  4 de maio de 2017, as 13:54 BRT, Artur Zanini 
> escreveu:
> > Alguém pode indicar exemplos e material como o postgres trabalha
> Regressão
> > linear.
> > Funções matemáticas para Data Mining.
>
>
> Se a intenção é para trabalhar com PLs e funções "dentro" do banco, para
> regressão linear eu costumo utilizar as funções regr_* [1] nativas do
> PostgreSQL mesmo utilizando o próprio SQL em primeiro lugar, e quando
> necessário algo com pl/Python [2] onde uso numpy [3] e as vezes
> pandas [4].
>
> Um exemplo em que uso é na analise estatística das coletas de dados sobre
> os objetos do banco, em que armazeno os dados em tabelas para
> consultá-las depois, de modo que consigo observar alguns comportamentos
> sem mesmo ter que criar um gráfico para isto.
>
> A vantagem é o gerenciamento da memória durante o processamento, que no
> banco ocorre no lado, erh... do banco :D, ou seja, na memória dele,
> permitindo processar algumas dezenas de gigas, coisa que num PC ou
> Laptop pode não ser viável já que é padrão você ter que carregar todos
> os dados para a memoria antes de processar, levando você a ter que
> trabalhar com DataFrames complexos e libs especificas da linguagem
> escolhida para compensar.
>
>
> [1] https://www.postgresql.org/docs/current/static/functions-
> aggregate.html#FUNCTIONS-AGGREGATE-STATISTICS-TABLE
> [2] https://www.postgresql.org/docs/current/static/plpython.html
> [3] http://www.numpy.org
> [4] http://pandas.pydata.org
>
>
> Att.
> --
> Dickson S. Guedes
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Regressão linear, derivadas no postgres

[Leandro Guimarães Faria Corcete DUTRA]

Le 10 mai 2017 11:24:44 GMT-03:00, Artur Zanini  a 
écrit :
>Obrigado  Dikson.
>
>Estou levantando as minhas possibilidades.

O Python é excelente, mas se precisar de algo mais específico de estatística​, 
tem o PL/R.



-- 
skype:leandro.gfc.dutra?chat  Yahoo!: ymsgr:sendIM?lgcdutra
+55 (61) 3546 7191 (Net)gTalk: xmpp:leand...@jabber.org
+55 (61) 9302 2691 (Vivo) ICQ/AIM: aim:GoIM?screenname=61287803
BRAZIL GMT−3  MSN: msnim:chat?contact=lean...@dutra.fastmail.fm
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Conteúdo de logs para arquivo CSV

[Tiago José Adami]

Em 10 de maio de 2017 11:16, Sebastian Webber  escreveu:
>
>
> Roda no psql:
>
>
> \x
> select * from pg_settings where name = 'log_destination';

Bingo!

Agradeço, Sebastian. Alguém criou um arquivo adicional em
data/conf.d/production.conf (agora começa a caça às bruxas) e com o
retorno deste comando eu o encontrei.

Falhei em não lembrar de procurar outro arquivo fazendo _override_ das
configurações.

Agora já está resolvido. Muito obrigado!

Este foi o retorno:

  name   | setting | unit |   category
  | short_desc  |
  extra_desc
 | context | vartype |
source   | min_val | max_val | enumvals | boot_val | reset_val |
sourcefile| sourceline
-+-+--+--+-+--
-+-+-++-+-+--+--+---+-+
 log_destination | csvlog  |  | Reporting and Logging / Where to
Log | Sets the destination for server log output. | Valid values are
combinations of "stderr", "syslog", "csvlog", and "e
ventlog", depending on the platform. | sighup  | string  |
configuration file | | |  | stderr   | csvlog
  | /pgsql/data/conf.d/production.conf  | 13
(1 row)


Adami
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Como instalar extensão no postgresql 9.4.4 Windows

[Bruno Pio]

>
> > Senhores preciso instalar a função crosstab que esta na extensão
> tablefunc
> > no PostgreSql 9.4.4 Windows.
> >
> > E não sei como proceder, preciso de sua ajuda.
> >
>

Boa tarde João


> Veja:
> https://www.postgresql.org/docs/9.4/static/contrib.html
>
> Provavelmente você utilizará CREATE EXTENSION:
> https://www.postgresql.org/docs/9.4/static/sql-createextension.html
>
>
Além das dicas do Osvaldo sobre utilizar o CREATE EXTENSION, eu já precisei
criar a extensão uuid-ossp em PostgreSQL 9.2.X no Windows, e como pré
requisito precisei instalar o Visual C++ 2008, pode ser que te ajude também.

Bruno Pio
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral