Re: [R-es] [EXTERNAL]Re: Procesamiento de Lenguaje Natural
Muchas gracias Rubén¡¡ Voy a empaparme bien esos enlaces que enviás a ver si consigo ir clarificando el enfoque. Gracias¡ De: Rubén Fernández Casal [mailto:rubenfca...@gmail.com] Enviado el: martes, 03 de octubre de 2017 21:56 Para: Gilsanz, Jose Luis <jluis.gils...@eu.jll.com> CC: r-help-es@r-project.org Asunto: [EXTERNAL]Re: [R-es] Procesamiento de Lenguaje Natural Hola Jose, Yo también estoy interesado en el tema, especialmente en el caso de castellano. Algunos enlaces: http://r-es.org/tiki/GITPLN#main=cssmenu0-4 https://cran.r-project.org/web/views/NaturalLanguageProcessing.html http://156.35.138.29/ Por si resulta de utilidad, un TFM introductorio para el tratamiento de texto en inglés es este http://eio.usc.es/pub/mte/descargas/ProyectosFinMaster/Proyecto_1475.pdf. Un saludo, Rubén. El 3/10/2017 8:43, "Gilsanz, Jose Luis" <jluis.gils...@eu.jll.com<mailto:jluis.gils...@eu.jll.com>> escribió: Hola: Me gustaría que me recomendarais paquetes o alguna forma de "hincarle el diente" para empezar a investigar en la siguiente cuestión. El proyecto trata de que, a partir de un numero grande de documentos pdf que contienen, básicamente, Notas Simples del Registro de la Propiedad deseamos extraer para cada uno de esos documentos una serie de ítems de información, a saber: -Finca Registral -Registro de la Propiedad -Referencia Catastral (si la hubiera) -IDUFIR o CUR (identificadores únicos de finca registral, si las hubiera) Los documentos provienen de muy diversas fuentes por lo que la información no se podría extraer con minería de textos "pura" ya que, por ejemplo, la finca registral puede venir especificada como: -FINCA DE TOLEDO Nº: XXX -Nº Finca: FINCA DE PILAR DE LA HORADADA Nº: XXX -Finca registral: XXX -REGISTRAL XX -FINCA DE MARBELLA (Sección 03) Nº: XX -Finca: XX Siendo un total profano en la materia, creo que se puede definir como un proyecto a tratar usando un Procesamiento de Lenguaje Natural, en tanto que se necesita de un análisis semántico de los textos vista la variedad de formas que hay de expresar el mismo concepto con textos distintos. Desconozco si existe algún tipo de proceso de Aprendizaje Automático que se pueda también aplicar para que el proceso vaya "aprendiendo" como se puede ir encontrando la información de los distintos ítems de forma complementaria al PLN. He localizado esta web: https://cran.r-project.org/web/views/NaturalLanguageProcessing.html en la que hay multitud de paquetes/herramientas para análisis de este tipo pero me gustaría que me indicarais cual o cuales creéis que son los más apropiados para este caso concreto o si tengo que enfocar el tema por otro lado completamente distinto. Mil gracias por vuestros consejos. Un saludo JLL Valoraciones, S.A. Registration number: A-28806222. Registered Office: Pº de la Castellana, 130 - 1ª ; 28046 Madrid This e-mail is for the use of the intended recipient(s) only. If you have received this e-mail in error, please notify the sender immediately and then delete it. If you are not the intended recipient, you must not use, disclose or distribute this e-mail without the author's prior permission. We have taken precautions to minimise the risk of transmitting software viruses, but we advise you to carry out your own virus checks on any attachment to this message. We cannot accept liability for any loss or damage caused by software viruses. If you are the intended recipient and you do not wish to receive similar electronic messages from us in future then please respond to the sender to this effect [[alternative HTML version deleted]] ___ R-help-es mailing list R-help-es@r-project.org<mailto:R-help-es@r-project.org> https://stat.ethz.ch/mailman/listinfo/r-help-es [[alternative HTML version deleted]] ___ R-help-es mailing list R-help-es@r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
[R-es] Procesamiento de Lenguaje Natural
Hola: Me gustar�a que me recomendarais paquetes o alguna forma de "hincarle el diente" para empezar a investigar en la siguiente cuesti�n. El proyecto trata de que, a partir de un numero grande de documentos pdf que contienen, b�sicamente, Notas Simples del Registro de la Propiedad deseamos extraer para cada uno de esos documentos una serie de �tems de informaci�n, a saber: -Finca Registral -Registro de la Propiedad -Referencia Catastral (si la hubiera) -IDUFIR o CUR (identificadores �nicos de finca registral, si las hubiera) Los documentos provienen de muy diversas fuentes por lo que la informaci�n no se podr�a extraer con miner�a de textos "pura" ya que, por ejemplo, la finca registral puede venir especificada como: -FINCA DE TOLEDO N�: XXX -N� Finca: FINCA DE PILAR DE LA HORADADA N�: XXX -Finca registral: XXX -REGISTRAL XX -FINCA DE MARBELLA (Secci�n 03) N�: XX -Finca: XX Siendo un total profano en la materia, creo que se puede definir como un proyecto a tratar usando un Procesamiento de Lenguaje Natural, en tanto que se necesita de un an�lisis sem�ntico de los textos vista la variedad de formas que hay de expresar el mismo concepto con textos distintos. Desconozco si existe alg�n tipo de proceso de Aprendizaje Autom�tico que se pueda tambi�n aplicar para que el proceso vaya "aprendiendo" como se puede ir encontrando la informaci�n de los distintos �tems de forma complementaria al PLN. He localizado esta web: https://cran.r-project.org/web/views/NaturalLanguageProcessing.html en la que hay multitud de paquetes/herramientas para an�lisis de este tipo pero me gustar�a que me indicarais cual o cuales cre�is que son los m�s apropiados para este caso concreto o si tengo que enfocar el tema por otro lado completamente distinto. Mil gracias por vuestros consejos. Un saludo JLL Valoraciones, S.A. Registration number: A-28806222. Registered Office: P� de la Castellana, 130 - 1� ; 28046 Madrid This e-mail is for the use of the intended recipient(s) only. If you have received this e-mail in error, please notify the sender immediately and then delete it. If you are not the intended recipient, you must not use, disclose or distribute this e-mail without the author's prior permission. We have taken precautions to minimise the risk of transmitting software viruses, but we advise you to carry out your own virus checks on any attachment to this message. We cannot accept liability for any loss or damage caused by software viruses. If you are the intended recipient and you do not wish to receive similar electronic messages from us in future then please respond to the sender to this effect [[alternative HTML version deleted]] ___ R-help-es mailing list R-help-es@r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
Re: [R-es] Codificacion de caracteres
Javier. Los ficheros que descargo del INE contienen todas las agregaciones posibles en varias de las magnitudes (datos a nivel Nacional, por CCAA y por Provincias) pero no están organizados en columnas si no que una determinada columna (pongamos que se llama Localizacion la columna) contiene, a nivel de fila datos nacionales, por CCAA y Provincias por lo que elimino las agregaciones con menos detalle (Nacional y por CCAA) y me quedo solo con las de menor detalle (en este caso las provincias). La tabla sería algo similar a esto: Periodo Localización Numero --- --- 2016M01 España 4.578.596 2016M01 Galicia 1.000.000 2016M01 A Coruña 200.000 2016M01 Lugo 300.000 2016M01 Ourense 500.000 2016M01 Pontevedra 200.000 …. .. ……. …. .. ……. …. .. ……. Los datos acumulados de la columna Numero de las 4 provincias que componen Galicia (A Coruña, Lugo, Ourense y Pontevedra) dan como resultado el registro de la segunda fila, a su vez si acumulásemos el resultado de las otras 16 CCAA que hay en España (además de Galicia) tendríamos el resultado de la primera fila que también coincidiría si sumásemos las otras 48 provincias españoles (además de A Coruña, Lugo, Ourense y Pontevedra) a las provincias de Galicia. Por eso tengo que hacer un subset a los datos originales para guardar solo los registros a nivel provincial y ahí es donde viene la incidencia porque R me transforma Andalucía, o Cataluña en otros caracteres que no son correctos y el subset entonces no elimina los datos que quiero obviar. Saludos José Luis Gilsanz Gómez Estadística Departamento Técnico Entidades Financieras JLL Valoraciones S.A. (Jones Lang LaSalle España S.A.) Paseo de la Castellana 130 - 1ª; 28046 Madrid Tel: +34 91 454 96 94 Fax +34 91 541 42 64 jll.es Síguenos en: Twitter<https://twitter.com/JLLSpain> I Linkedin<https://www.linkedin.com/profile/view?id=173156047=nav_responsive_tab_profile> I Youtube<https://www.youtube.com/user/joneslanglasallesp> I Blog<http://www.jllinmuebles.es/elblogdelosanillos/> PPiense en el medio ambiente antes de imprimir este e-mail Los datos personales que en esta comunicación aparecen, así como los que nuestra empresa mantiene de Vd. y de su empresa, son tratados con la finalidad de mantener el contacto así como realizar las gestiones que en esta aparecen (Ley Orgánica 15/1999, de 13 de diciembre, de Protección de Datos de Carácter Personal). Puede ejercer sus derechos de acceso, rectificación, cancelación y oposición dirigiéndose a atencion.cliente...@tasacionesh.com<mailto:atencion.cliente...@tasacionesh.com>. La utilización de su dirección de correo electrónico por parte de nuestra empresa queda sujeta a las disposiciones de la Ley 34/2002, de Servicios de la Sociedad de la Información y el Comercio Electrónico. Si Vd. recibe comunicación comercial por nuestra parte y desea dejar de recibirla, rogamos nos lo comunique por vía electrónica a través de la dirección atencion.cliente...@tasacionesh.com <mailto:atencion.cliente...@tasacionesh.com> . De: Javier Marcuzzi [mailto:javier.ruben.marcu...@gmail.com] Enviado el: martes, 10 de mayo de 2016 16:41 Para: Gilsanz, Jose Luis CC: r-help-es@r-project.org Asunto: RE: [R-es] Codificacion de caracteres Estimado José Luis Nunca trabaje con fichero px del INE, nos separa un océano. Se me ocurre, por las dudas, cambiando el sabe with encoding desde Rstudio, por ahí eso solo. No comprendo bien ¿quieres limpiar algo los datos para no cargar todos sql server? Para mi, la forma más sencilla es cargar en la base de datos y luego desde sql eliminar las columnas que no quiero. Tendría que pensar en su código, yo con sqlserver 2014 y R no tengo problemas (pero uso windows 10). Javier Rubén Marcuzzi De: Gilsanz, Jose Luis<mailto:jluis.gils...@eu.jll.com> Enviado: martes, 10 de mayo de 2016 11:17 Para: Javier Marcuzzi<mailto:javier.ruben.marcu...@gmail.com> CC: r-help-es@r-project.org<mailto:r-help-es@r-project.org> Asunto: RE: [R-es] Codificacion de caracteres Hola Javier: Me alegra saber que no soy el único cenutrio que se ha topado con esto. ☹ Se trata de un proceso de R que extrae dat
Re: [R-es] Codificacion de caracteres
Hola Javier:
Me alegra saber que no soy el único cenutrio que se ha topado con esto. ☹
Se trata de un proceso de R que extrae datos de un fichero px descargado del
INE y que contiene datos a nivel de municipio y de Comunidad Autónoma (que
intento eliminar) antes de hacer la carga en el SQL Server porque solo me
interesan las provincias.
La BD no es ningún problema (el error se produce al tratar R las cadenas de
texto) y trabajo en Windows 7 .
Como acertadamente supones Rstudio tiene como codificación por defecto
ISO8859-1.
El Sys.getlocale() es:
[1]
"LC_COLLATE=Spanish_Spain.1252;LC_CTYPE=Spanish_Spain.1252;LC_MONETARY=Spanish_Spain.1252;LC_NUMERIC=C;LC_TIME=Spanish_Spain.1252"
Y getOption("encoding") es:
[1] "native.enc"
Utilizando esta simple función consigo pasar las cadenas a codificación UTF-8
con sus enies, tildes y demás:
autf8 <- function(texto)
{
Encoding(texto)<-"UTF-8"
return(texto)
}
De manera que en Rscript :
x <- as.character("Espàñiá")
x
[1] "Espà ñiá"
y <- utf8(x)
y
[1] " Espàñiá”
Es decir la variable y (tras pasarle la función) ya si que tendría la
codificación correcta mientras que x no seria correcta.
La cuestión ahora es como decirle a Rscript (o a R mas genéricamente) que tome
siempre las cadenas como codificadas en UTF-8 y no como las toma ahora.
Estadistica
José Luis Gilsanz Gómez
Estadística
Departamento Técnico Entidades Financieras
JLL Valoraciones S.A. (Jones Lang LaSalle España S.A.)
Paseo de la Castellana 130 - 1ª; 28046 Madrid
Tel: +34 91 454 96 94
Fax +34 91 541 42 64
jll.es
Síguenos en: Twitter<https://twitter.com/JLLSpain> I
Linkedin<https://www.linkedin.com/profile/view?id=173156047=nav_responsive_tab_profile>
I Youtube<https://www.youtube.com/user/joneslanglasallesp> I
Blog<http://www.jllinmuebles.es/elblogdelosanillos/>
PPiense en el medio ambiente antes de imprimir este e-mail
Los datos personales que en esta comunicación aparecen, así como los que
nuestra empresa mantiene de Vd. y de su empresa, son tratados con la finalidad
de mantener el contacto así como realizar las gestiones que en esta aparecen
(Ley Orgánica 15/1999, de 13 de diciembre, de Protección de Datos de Carácter
Personal).
Puede ejercer sus derechos de acceso, rectificación, cancelación y oposición
dirigiéndose a
atencion.cliente...@tasacionesh.com<mailto:atencion.cliente...@tasacionesh.com>.
La utilización de su dirección de correo electrónico por parte de nuestra
empresa queda sujeta a las disposiciones de la Ley 34/2002, de Servicios de la
Sociedad de la Información y el Comercio Electrónico. Si Vd. recibe
comunicación comercial por nuestra parte y desea dejar de recibirla, rogamos
nos lo comunique por vía electrónica a través de la dirección
atencion.cliente...@tasacionesh.com
<mailto:atencion.cliente...@tasacionesh.com> .
De: Javier Marcuzzi [mailto:javier.ruben.marcu...@gmail.com]
Enviado el: martes, 10 de mayo de 2016 15:58
Para: Gilsanz, Jose Luis
Asunto: RE: [R-es] Codificacion de caracteres
Estimado José Luis
Ese problema es conocido, cuándo se sufre da dolores de cabeza. La solución
puede ser sencilla o complicada, comencemos por los datos, ¿Sistema operativo,
codificación, base de datos?, luego estos parámetros deben estar correctos en
R. Se me ocurre que tiene especificado una codificación en RStudio que no es la
misma que usa por defecto es Rscript en bat. Yo miraría primero las opciones de
la base de datos (pero estas están generalmente de acuerdo con el sistema
operativo).
Javier Rubén Marcuzzi
De: Gilsanz, Jose Luis<mailto:jluis.gils...@eu.jll.com>
Enviado: martes, 10 de mayo de 2016 6:17
Para: r-help-es@r-project.org<mailto:r-help-es@r-project.org>
Asunto: [R-es] Codificacion de caracteres
Hola:
Me estoy volviendo loco con algo que seguro que es una tonter�a pero no doy con
la tecla.
En un script que tengo, necesito especificar (en una consulta SQL) valores con
caracteres "espa�oles " (�,�, � ,�, etc)
Ejecutando el script en RStudio y en la consola de R no hay problemas pero a la
hora de ejecutarlo mediante Rscript en un proceso bat me encuentro con que
estas cadenas no las "reconoce"
Por ejemplo:
x<-as.character("Espa��a")
x
Me lo pone como:
Españía
�Existe alguna manera de forzar a R a reconocer los caracteres "espa�oles" o de
efectuar alg�n tipo de conversi�n?
Muchas gracias
Saludos
Jos� Luis Gilsanz G�mez
Estad�stica
Departamento T�cnico Entidades Financieras
JLL Valoraciones S.A. (Jones Lang LaSalle Espa�a S.A.)
Paseo de la Castellana 130 - 1�; 28046 Madrid
Tel: +34 91 454 96 94
Fax +34 91 541 42 64
jll.es
S�guenos en: Twitter<https://twitter.com/JLLSpain> I
Linkedin<https://www.linkedin.com/profile/view?id=173156047=nav_responsive_tab_profile>
I Youtube<https://www.youtube.com/user/joneslanglasallesp> I
Blog<http://w
Re: [R-es] Codificacion de caracteres
Hola Javier:
El problema no está tanto en la codificación de la BD el problema era en R ya
que yo ponía:
Consulta <- “SELECT Municipios FROM MUNI WHERE CCAA = ‘Andalucía’” (la i con
una tilde)
Y R me guardaba consulta como:
“SELECT Municipios FROM MUNI WHERE CCAA = 'AndalucÃa'”
Sustituyendo la i con tilde con dos caracteres: Ã
Lógicamente al pasar esa consulta “modificada por R”no salían datos y el resto
del script dejaba de funcionar correctamente al no recuperarse los datos.
Creo haber encontrado una solución sencilla y que funciona tanto en Rstudio
como ejecutándolo vía Rscript, (me falta probar en la consola de R) mediante la
siguiente función:
autf <- function(texto)
{
return(enc2utf8(texto))
}
Pasando la cadena por esta función en Rstudio no afecta (allí no tengo
problemas con ñ y vocales con tildes) y usando el scrip via Rscript.exe me
“convierte” mi cadena a formato UTF-8 que tambien comprende esos caracteres.
Ahora bien el motivo que hace que en Rsutio y la consola de R se reconozcan sin
problemas estos caracteres y via Rscript.exe no lo haga me es completamente
ajeno :-\
Gracias por tu interés.
Un saludo
José Luis Gilsanz Gómez
Estadística
Departamento Técnico Entidades Financieras
JLL Valoraciones S.A. (Jones Lang LaSalle España S.A.)
Paseo de la Castellana 130 - 1ª; 28046 Madrid
Tel: +34 91 454 96 94
Fax +34 91 541 42 64
jll.es
Síguenos en: Twitter<https://twitter.com/JLLSpain> I
Linkedin<https://www.linkedin.com/profile/view?id=173156047=nav_responsive_tab_profile>
I Youtube<https://www.youtube.com/user/joneslanglasallesp> I
Blog<http://www.jllinmuebles.es/elblogdelosanillos/>
PPiense en el medio ambiente antes de imprimir este e-mail
Los datos personales que en esta comunicación aparecen, así como los que
nuestra empresa mantiene de Vd. y de su empresa, son tratados con la finalidad
de mantener el contacto así como realizar las gestiones que en esta aparecen
(Ley Orgánica 15/1999, de 13 de diciembre, de Protección de Datos de Carácter
Personal).
Puede ejercer sus derechos de acceso, rectificación, cancelación y oposición
dirigiéndose a
atencion.cliente...@tasacionesh.com<mailto:atencion.cliente...@tasacionesh.com>.
La utilización de su dirección de correo electrónico por parte de nuestra
empresa queda sujeta a las disposiciones de la Ley 34/2002, de Servicios de la
Sociedad de la Información y el Comercio Electrónico. Si Vd. recibe
comunicación comercial por nuestra parte y desea dejar de recibirla, rogamos
nos lo comunique por vía electrónica a través de la dirección
atencion.cliente...@tasacionesh.com
<mailto:atencion.cliente...@tasacionesh.com> .
De: Javier Villacampa González [mailto:javier.villacampa.gonza...@gmail.com]
Enviado el: martes, 10 de mayo de 2016 12:51
Para: R ayuda; Gilsanz, Jose Luis
Asunto: Codificacion de caracteres
imagino que te está guardando tu BD en UTF-8 y por lo que sea la necesitas en
latin1 (utilizas Windows?)
Esto lo deduzco de esta prueba
iconv(x = "España", from = "latin1", to = "UTF-8") # Pone españa con enie.No sé
si me hará la faena el email.
Lo que deberia hacer es esto.
df$col1 <- iconv(x = df$col1, from = "UTF-8", to = "latin1")
Y espero que funcione
--
[https://lh6.googleusercontent.com/-OmJSTAIo4J4/UW01N1mJAeI/ABk/NYyJQ0fT4B4/h120/526620_580124745341874_542437733_n.jpg]
JLL Valoraciones, S.A.
Registration number: A-28806222.
Registered Office: Pº de la Castellana, 130 - 1ª ; 28046 Madrid
This e-mail is for the use of the intended recipient(s) only. If you have
received this e-mail in error, please notify the sender immediately and then
delete it. If you are not the intended recipient, you must not use, disclose or
distribute this e-mail without the author's prior permission. We have taken
precautions to minimise the risk of transmitting software viruses, but we
advise you to carry out your own virus checks on any attachment to this
message. We cannot accept liability for any loss or damage caused by software
viruses. If you are the intended recipient and you do not wish to receive
similar electronic messages from us in future then please respond to the sender
to this effect
[[alternative HTML version deleted]]
___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es
Re: [R-es] Procesos paralelos
Miguel:
Mil gracias por tu sugerencia de usar la barra de progreso tcltk , me funciona
perfectamente y además la barra de progreso es más bonita ☺
Ahora me entra la curiosidad malsana de saber porque con la barra de windows no
sale la barrra y con tcltk si que aparece.
Carlos:
No habia oido hablar de ese paquete pero en cuanto termine con los ETL que
tengo pendientes voy a empollarme la web del paquete que me has enviado porque
seguro que agiliza muchisimo todos estos procesos.
Muchas gracias a los dos por la variedad y calidad de las soluciones
José Luis Gilsanz Gómez
Estadística
Departamento Técnico Entidades Financieras
JLL Valoraciones S.A. (Jones Lang LaSalle España S.A.)
Paseo de la Castellana 130 - 1ª; 28046 Madrid
Tel: +34 91 454 96 94
Fax +34 91 541 42 64
jll.es
Síguenos en: Twitter I Linkedin I Youtube I Blog
Piense en el medio ambiente antes de imprimir este e-mail
Los datos personales que en esta comunicación aparecen, así como los que
nuestra empresa mantiene de Vd. y de su empresa, son tratados con la finalidad
de mantener el contacto así como realizar las gestiones que en esta aparecen
(Ley Orgánica 15/1999, de 13 de diciembre, de Protección de Datos de Carácter
Personal).
Puede ejercer sus derechos de acceso, rectificación, cancelación y oposición
dirigiéndose a atencion.cliente...@tasacionesh.com.
La utilización de su dirección de correo electrónico por parte de nuestra
empresa queda sujeta a las disposiciones de la Ley 34/2002, de Servicios de la
Sociedad de la Información y el Comercio Electrónico. Si Vd. recibe
comunicación comercial por nuestra parte y desea dejar de recibirla, rogamos
nos lo comunique por vía electrónica a través de la dirección
atencion.cliente...@tasacionesh.com .
> -Mensaje original-
> De: gilbello...@gmail.com [mailto:gilbello...@gmail.com] En nombre de
> Carlos J. Gil Bellosta
> Enviado el: martes, 12 de abril de 2016 14:37
> Para: Miguel Angel Rodriguez Muiños
> CC: Gilsanz, Jose Luis; r-help-es
> Asunto: Re: [R-es] Procesos paralelos
>
> Hola, ¿qué tal?
>
> Si la base de datos de destino es SQL Server, ¿por qué no pruebas con la
> función dbBulkCopy del paquete https://github.com/agstudy/rsqlserver?
> Debería poder cargar millones de registros en segundos. Al menos, en una
> única transacción en lugar de múltiples como con sqlSave.
>
> Un saludo,
>
> Carlos J. Gil Bellosta
> http://www.datanalytics.com
>
> El día 12 de abril de 2016, 11:55,
> <miguel.angel.rodriguez.mui...@sergas.es<mailto:miguel.angel.rodriguez.mui...@sergas.es>>
> escribió:
> > Hola José Luis.
> >
> > Te da algún error? o simplemente no aparece la barra de progreso?
> >
> > ... y si, en vez de usar winProgressBar(), pruebas con la función
> tkProgressBar() del paquete tcltk ¿?
> >
> > Un saludo,
> > Miguel.
> >
> >
> >
> > El 12/04/2016 a las 11:04, Gilsanz, Jose Luis escribió:
> >
> > Hola:
> >
> > Vuelvo a la carga con algo que resolv hace a os y que ahora me ha dejado
> de funcionar y no consigo arreglar. A ver si alguien me sugiere alg n enfoque
> o directamente la solucion.
> >
> > Utilizo R en muchos procesos ETL y la cuesti n es que me encuentro con que
> tengo que hacer inserts en un BBDD de SQL Server de varios miles (a veces
> millones de registros) que mientras R las realiza parece que no est haciendo
> nada.
> >
> > La soluci n que consegu hacer en su momento fue paralelizar el proceso de
> inserci n en dos procesos distintos usando el paquete snowfall.
> > -Un proceso se encargaba de la propia inserci n de los datos.
> > -El otro proceso mostraba una barra de progreso que se constru a
> consultando la tabla (tab) donde se insertaban los registros (datos) para
> monitorizar su proceso.
> >
> > La subida al servidor es esta funci n:
> >
> > subida <- function( datos, tab)
> >{
> >flush.console()
> >canal2 <- odbcDriverConnect(
> > "case=nochange;
> Driver=xxx; Server=xxx; Database=xxx; uid=xxx; pwd=xxx; wsid=xxx;")
> >
> > sqlSave(canal2,datos,tablename= tab, rownames =
> FALSE, append=TRUE, fast=TRUE )
> >close(canal2)
> >rm(canal2)
> >}
> >
> > La barra de progreso se toma de esta funci n:
> > pb <-function( datos,tab){
> > ##Creamos canal
[R-es] Procesos paralelos
Hola:
Vuelvo a la carga con algo que resolv� hace a�os y que ahora me ha dejado de
funcionar y no consigo arreglar. A ver si alguien me sugiere alg�n enfoque o
directamente la solucion.
Utilizo R en muchos procesos ETL y la cuesti�n es que me encuentro con que
tengo que hacer inserts en un BBDD de SQL Server de varios miles (a veces
millones de registros) que mientras R las realiza parece que no est� haciendo
nada.
La soluci�n que consegu� hacer en su momento fue paralelizar el proceso de
inserci�n en dos procesos distintos usando el paquete snowfall.
-Un proceso se encargaba de la propia inserci�n de los datos.
-El otro proceso mostraba una barra de progreso que se constru�a consultando la
tabla (tab) donde se insertaban los registros (datos) para monitorizar su
proceso.
La subida al servidor es esta funci�n:
subida <- function( datos, tab)
{
flush.console()
canal2 <- odbcDriverConnect(
"case=nochange; Driver=xxx; Server=xxx; Database=xxx; uid=xxx; pwd=xxx;
wsid=xxx;")
sqlSave(canal2,datos,tablename=
tab, rownames = FALSE, append=TRUE, fast=TRUE )
close(canal2)
rm(canal2)
}
La barra de progreso se toma de esta funci�n:
pb <-function( datos,tab){
##Creamos canal de conexion a BBDD
canal1 <- odbcDriverConnect( "case=nochange; Driver=SQL Server;
Server=xxx; Database=xxx; uid=xxx; pwd=xx; wsid=ESMADN1003;;")
##Obtenemos conteos de registros##
#Numero de registro que se van a cargar
asubir <- as.numeric(nrow(datos))
#Numero de registro que ya hay en la tabla
entabla <- as.numeric(sqlQuery(canal1,paste("SELECT Count(*) ",
" FROM ",tab, sep="")))
#Numero de registros cargados en el momento n
total <- as.numeric(0)
#Frecuenca de actualizacion de la barra
frec <- 0.1
##Creamos barra de progreso
barra <- winProgressBar(title="Subiendo datos a SQL ", label = "Subido el:
", min= 0, max= 1,initial= 0, width = 800)
##Mientras los registros que quedan por subir sean inferiores a
los que actualmente hay en la tabla se muestra la barra
while ( entabla + asubir > total )
{
#Reconectamos
canal1 <- odbcReConnect(canal1)
#Obtenemos registros actuales en
la tabla (los que habia + los que han subido hasta el momento)
total <-
as.numeric(sqlQuery(canal1,paste("SELECT Count(*) FROM ",tab, sep="")))
#Calculamos porcentaje de
registros subidos en el momento
porcen <- as.numeric((total -
entabla) / asubir)
#Actualizamos barra de progreso
setWinProgressBar(barra,
porcen,title="SUBIENDO DATOS A SQL", label =paste("Subido el: ", round(porcen
*100,0), "% de los datos. Quedan por subir ",(entabla + asubir)-total, "
registros de ", asubir, "." , sep=""))
#Actualizamos consola
flush.console()
Sys.sleep(frec)
}
close(barra)
}
Ahora estoy intentando usar el paquete parallel (en lugar de snowfall que ya no
me funciona) haciendo esto.
library(parallel)
library(RODBC)
##Creo un cluster con dos nodos
cl <-makeCluster(2)
##Exporto datos y funciones a los dos cluster
clusterExport(cl,varlist=c("pb","subida","datos","tab"))
##En el primer cluster hago la inserci�n en el segundo la barra de progreso
clusterApply(cl,subida(datos,tab),pb(datos,tab) )
La inserci�n la realiza correctamente pero la barra de progreso no aparece por
ning�n lado :( y en el monitor de procesos aparecen dos Rscript.exe corriendo
(uso Windows 7)
Si alguien quiere que le proporcione la funci�n que constru� usando snowfall (y
que ahora tampoco muestra la barra) se la puedo enviar para destriparla.
Muchas gracias
Un saludo
Jos� Luis Gilsanz G�mez
Estad�stica
Departamento T�cnico Entidades Financieras
JLL Valoraciones S.A. (Jones Lang LaSalle Espa�a S.A.)
Paseo de la Castellana 130 - 1�; 28046 Madrid
Tel: +34 91 454 96 94
Fax +34 91 541 42 64
jll.es
S�guenos en: Twitter I
Linkedin
I Youtube I
[R-es] RV: Mapa de Calor con Google Maps de fondo
Hola :
De momento el problema lo he resuelto, en parte, fuera de R, aunque quiero ver
a fondo las soluciones que me propones, sobre datos reales, porque tienen una
pinta estupenda. ;-)
Como lo que busco es convertir una serie de coordenadas geográficas (puntos) en
una “malla” de superficies el usar el método MBA me va bien.
Jugando con la resolución del MBA obtengo una malla más o menos detallada según
necesito, luego utilizo un código html (de ahí que diga que lo he resuelto
fuera de R) para superponer el png generado a partir de la malla MBA sobre
GoogleMaps.
De esta manera obtengo un html dinámico que me permite, entre otras cosas,
hacer zoom sobre el mapa de calor.
El código que uso para generar el png es básicamente el que tu indicas al
principio:
##Cargamos datos
datos <- readWorksheet(wb,'Datos',colTypes =
c('numeric','numeric','numeric','character','character','character','character'),header=TRUE)
##Calculamos aproximacion de superficies segun coordenadas y valores
d <- datos[, c(1,2,3)]
superf <- mba.surf(d, resolucion, resolucion,extend=FALSE)$xyz.est
##Mapa de calor segun valores de Z en (x,y) con leyenda, sin ejes y sin fondo
png(filename = paste(fichero,sep=''),width = ancho , height = alto, units='px')
##Ajustamos parametros graficos y generamos PNG
x<-par()
par(mar=c(0,0,1.1,0.2))
image.plot(superf, bg= NULL, axes=FALSE, nlevel = niveles, main = 'Titulo de
Pruebas')
par(x)
dev.off()
La aproximación que indicas por densidad, replicando en frecuencias, el valor
de la z también la había sopesado, pero me temo que va a haber una fase 2 de
esto en la que necesitare los datos sin transformar, además de que no me parece
una solución muy elegante.
Estoy seguro de que hay alguna manera de obtener esto sin tener que “emular” la
distribución de densidad a partir de los valores de z, pero esto lo dejo para
cuando ande un poquito menos saturado de trabajo.
Muchas gracias por vuestros aportes a todos.
PD: Para los que controlen de javascript y html Google dispone de una API para
generar “directamente” mapas de calor, lo podeis ver aquí;
https://developers.google.com/maps/documentation/javascript/heatmaplayer
De: Javier Villacampa González [mailto:javier.villacampa.gonza...@gmail.com]
Enviado el: sábado, 24 de octubre de 2015 17:34
Para: r-help-es-requ...@r-project.org<mailto:r-help-es-requ...@r-project.org>;
Gilsanz, Jose Luis
Asunto: Re: Mapa de Calor con Google Maps de fondo
Le he estado dando vueltas a tu problema, yo en su día lo que hacía era crear
tantos puntos como había en x e y. Con MBA lo que estas creando es el spline
que pasa por las tres coordenas. Si quieres esa aproximación no he encontrado
nada para tu problema. Aunque dudo mucho que quieras dibujar un spline, o más
bien creo que te da lo mismo dibujar un spline o una densidad.
Para solventar el problema con densidades lo que he hecho yo clásicamente ha
sido repetir los puntos (x,y) tantas veces como aparezca z. No es la mejor
solución , pero creo que te puede valer y depende lo que quieras representar en
el mapa es mejor solución que un spline.
No se si esta solución te valdrá (pruebala y nos cuentas, entiendo que nada es
optimo pero algo espero ayudarte):
###
library(dplyr)
library(data.table)
library(jpeg)
library(ggplot2)
library(png)
library(grid)
x_coord <- c(1,2,3,4)
y_coord <- c(1,2,3,4)
value <- c(12,15,19,30)
foo <- data.frame(x_coord, y_coord, value)
library(MBA)
foo=foo[ order(foo[,1], foo[,2],foo[,3]), ]
mba.int<http://mba.int> <- mba.surf(foo, 300, 300, extend=T)$xyz.est
library(fields)
fields::image.plot(mba.int<http://mba.int>)
data <- foo
varInteger_Txt <- "value"
varX_Txt <- "x_coord"
varY_Txt <- "y_coord"
tranform <- function(data, varInteger_Txt, varX_Txt, varY_Txt){
data <- data[, c(varInteger_Txt, varX_Txt, varY_Txt)]
Original_values <- nrow(data)
data <- data[ !duplicated(data[,varX_Txt], data[,varY_Txt]),]
Final_values <- nrow(data)
if(Original_values != Final_values){
warning("You add repited values please check your data set")
}
data[,varInteger_Txt ] <- as.integer(data[,varInteger_Txt ])
Number_of_Repetitions <- data[,varInteger_Txt ] %>% table %>% names %>%
as.integer()
data <-
data[rep(row.names(data), data[ , varInteger_Txt]), c(varX_Txt, varY_Txt) ]
return(data)
}
varInteger_Txt <- "value"
varX_Txt <- "x_coord"
varY_Txt <- "y_coord"
foo2 <- tranform(data = foo %>% data.frame,
varX_Txt = "x_coord",
varY_Txt = "y_coord",
varInteger_Txt = "value")
# S solución uno --
p <-
ggplot(foo2, aes(x = x_coord, y = y_coord)) +
stat_density2d(data= foo2, aes(x= x_coord, y=
Re: [R-es] Resumen de R-help-es, Vol 80, Envío 28
Muchas gracias por el aporte tocayo. Esto es pegar mi imagen encima de un mapa de Google que era la primera opción que se me había ocurrido, voy a estudiar el documento a ver si saco algo en claro. > Message: 3 > Date: Wed, 21 Oct 2015 12:43:02 +0200 > From: Jose <jmprie...@gmail.com> > To: "r-help-es@r-project.org" <r-help-es@r-project.org> > Subject: Re: [R-es] Mapa de Calor con Google Maps de fondo > Message-ID: > <CAErPEPtcRpHXT2Ti2OB1iB+sePnFDEV=d_P0BxUd1K97kHGsNA@m > ail.gmail.com> > Content-Type: text/plain; charset="utf-8" > > Hola, > > He encontrado esto en la web por si te ayuda: > > http://rstudio-pubs- > static.s3.amazonaws.com/16948_38af70d4c22e45df84a2fd69d8698d93.html > > Un saludo > > __ > José Manuel Prieto > https://jmprietob.shinyapps.io/eltiempo/ > es.linkedin.com/in/josemanuelprietoblazquez/ > > El 20 de octubre de 2015, 22:35, Carlos J. Gil Bellosta < > c...@datanalytics.com> > escribió: > > > Hola, ¿qué tal? > > > > Tienes que hacer algo así como > > > > ggmap(mapa) + stat_density2d([...]) > > > > Tienes ejemplos completos en el artículo de Wickham > > > > https://journal.r-project.org/archive/2013-1/kahle-wickham.pdf > > > > Un saludo, > > > > Carlos J. Gil Bellosta > > http://www.datanalytics.com > > > > El 20 de octubre de 2015, 17:39, Gilsanz, Jose Luis < > > jluis.gils...@eu.jll.com> escribió: > > > >> Hola: > >> > >> > >> > >> Estoy intentando generar un mapa de calor que muestre, dadas unas > >> coordenadas geográficas determinadas, el ?calor? (cuanto mas alto el > >> valor de esta variable mas rojo y cuanto mas bajo mas azul) de una > >> determinada variable. > >> > >> > >> > >> Es decir con unos datos como estos: > >> > >> x y z > >> > >> -3,71657540,41743 3.169 > >> > >> -3,71073540,42179 4.134 > >> > >> -3,70462540,40333 2.606 > >> > >> -3,70392940,40363 2.563 > >> > >> -3,68643140,36133 1.452 > >> > >> -3,68237140,35542 1.523 > >> > >> -3,67532540,41986 4.122 > >> > >> -3,67375840,41978 4.098 > >> > >> -3,64512740,42780 2.306 > >> > >> > >> > >> Donde el data frame datos contiene: > >> > >> x: Longitud > >> > >> y: Latitud > >> > >> z: Variable a estudiar > >> > >> > >> > >> lo que quiero es mostrar sobre un fondo de GoogleMaps, otra > >> capa(semitransparente) con el Calor de la variable. > >> > >> > >> > >> Para ello primero calculo una aproximación de superficies de mis > >> puntos usando MBA > >> > >> > >> > >> ##Cargamos paquetes > >> > >> library(MBA) > >> > >> > >> > >> ##Calculamos aproximacion de superficies segun coordenadas y valores > >> > >> superf <- mba.surf(datos, 2000, 2000,extend=FALSE)$xyz.est > >> > >> > >> > >> ##Obtenemos la capa con los colores a partir de la aproximación de > >> superficies > >> > >> image.plot(superf, bg= NULL, nlevel = param$NIVELES) > >> > >> > >> > >> > >> > >> Por otro lado obtengo el mapa de google maps sobre el cual deberia ir > >> esto asi: > >> > >> #Cargamos paquete > >> > >> library(ggmap) > >> > >> > >> > >> ##Centro del mapa > >> > >> center <- c(mean(datos$x), mean(datos$y)) > >> > >> ##Zoom > >> > >> zoom <- min(MaxZoom(range(datos$x), range(datos$x))) > >> > >> > >> > >> ##Obtenenmos mapa base > >> > >> mapa <- get_map(center, zoom = 12) > >> > >> > >> > >> Lo que ya no consigo hacer es poner la imagen con los colores sobre > >> el mapa de forma que este correctamente calibrada. > >> > >> > >> > >> Seguro que todo esto se pude hacer de un tiron con ggmap y/o > >> RgoogleMa
Re: [R-es] Muestreo de bases de datos
Hola Desviándome un poco de la cuestión que plantea Freddy, no estoy muy de acuerdo con lo que comenta acerca de que ... R no está diseñado (operaciones en la base de datos)... Precisamente la mayor parte de mi trabajo en R se realiza vinculadolo a un servidor Microsoft SQL Server y lo cierto es que, hasta ahora, se entienden muy bien entre ellos. Cierto es que, en mi caso, la mayor parte del flujo de datos (con millones de registros como norma general) va de R hacia el SQL, puesto que utilizo R para descargar los datos, organizarlos y depurarlos antes de subirlos al SQL server. Al principio me inquietaba mucho el tiempo (horas en algún caso) en el que la consola de R se mostraba pensando hasta que se subían todos los datos al SQL Server, así que diseñe una función que usando el paquete snowfall mostraba una barra de progreso mientras se hacia la subida de datos. Para el flujo de datos en sentido inverso, (de SQL Server a R) siempre me aseguro de que la consulta SQL que baja los datos del SQL Server a un dataframe o similar solo recupera los datos verdaderamente necesarios. Lógicamente y dependiendo de lo que vayas a hacer luego con esos datos a veces esto no es posible, pero en general eso de bajarse todo e intentar ejecutar un proceso me parece un hábito bastante pernicioso e improductivo. -Mensaje original- De: R-help-es [mailto:r-help-es-boun...@r-project.org] En nombre de r- help-es-requ...@r-project.org Enviado el: martes, 05 de mayo de 2015 12:00 Para: r-help-es@r-project.org Asunto: Resumen de R-help-es, Vol 75, Envío 4 Envíe los mensajes para la lista R-help-es a r-help-es@r-project.org Para subscribirse o anular su subscripción a través de la WEB https://stat.ethz.ch/mailman/listinfo/r-help-es O por correo electrónico, enviando un mensaje con el texto help en el asunto (subject) o en el cuerpo a: r-help-es-requ...@r-project.org Puede contactar con el responsable de la lista escribiendo a: r-help-es-ow...@r-project.org Si responde a algún contenido de este mensaje, por favor, edite la linea del asunto (subject) para que el texto sea mas especifico que: Re: Contents of R-help-es digest Además, por favor, incluya en la respuesta sólo aquellas partes del mensaje a las que está respondiendo. Asuntos del día: 1. Muestreo de bases de datos.- (Freddy Omar López Quintero) 2. Re: Muestreo de bases de datos.- (Carlos J. Gil Bellosta ) 3. Re: Muestreo de bases de datos.- (javier.ruben.marcu...@gmail.com) -- Message: 1 Date: Mon, 4 May 2015 15:15:33 -0300 From: Freddy Omar López Quintero freddy.vat...@gmail.com To: r-help-es@r-project.org r-help-es@r-project.org Subject: [R-es] Muestreo de bases de datos.- Message-ID: CALCOUqu7nKupKdc47Q2ixvsfGVqAdOhgdLmNMfc8JvTS7hqX+Q@ mail.gmail.com Content-Type: text/plain; charset=UTF-8 ¡Hola! Mi duda surge por la siguiente anécdota: un amigo (empleado de una enorme consultora que tiene SAS) migró a R y ansioso me contó que iba a ejecutar las rutinas que había traducido de SAS a R y luego de intentar ejecutarlas nada le funcionó porque, ingenuamente, quería hacer cosas para las cuales R no está diseñado (operaciones en la base de datos) y porque leyó TODOS los datos de una consulta (millones de registros) e intentó correr algún procedimiento (!). Me dijo que SAS corre todo lo que él necesita y pues quedó tristemente decepcionado. Yo le dije que es corriente tomar una muestra de los datos para calibrar los modelos que se van a necesitar y que no es necesario utilizar los millones de registros enteros. Esto me hizo pensar ¿existen normas o buenas prácticas para el muestreo de las bases de datos?¿existen normativas?¿lineamientos? Es claro que mi primera respuesta sería ocupar los métodos ya desarrollados para encuestas, pero quién sabe. Si existen: ¿tienen su contraparte en R? Gracias y disculpen las molestias. ¡Salud! -- «No soy aquellas sombras tutelares que honré con versos que no olvida el tiempo.» JL Borges [[alternative HTML version deleted]] -- Message: 2 Date: Mon, 4 May 2015 20:35:28 +0200 From: Carlos J. Gil Bellosta c...@datanalytics.com To: Freddy Omar López Quintero freddy.vat...@gmail.com Cc: r-help-es@r-project.org r-help-es@r-project.org Subject: Re: [R-es] Muestreo de bases de datos.- Message-ID: CADg83efiwWEdwA6dyR4RUkwB5Qc5evOAmdLfBeg+yO0GngL0Aw @mail.gmail.com Content-Type: text/plain; charset=UTF-8 Hola, ¿qué tal? La mejor manera de muestrear una tabla en una base de datos es a través del módulo de algún valor (típicamente autonumérico), como los ids. Si no, a través del módulo de un hash de algún identificador similar. Este procedimiento tiene la ventaja de ser repetible: consultas sucesivas pueden muestrear la misma subpoblación u otra de tamaño similar completamente
Re: [R-es] Maximizar Consola de R al inicio
Miguel Angel: La primera opción no me vale, al poner C:\Program Files\R\R-3.2.0\bin\x64\start /MAX Rgui.exe --internet2 en el cuadro Destino del acceso directo que utilizo para abrir R sale un mensaje que dice: El nombre C:\Program Files\R\R-3.2.0\bin\x64\start /MAX Rgui.exe especificado en el cuadro de Destino no es valido. Compruebe que la ruta de acceso y el nombre de archivo sean correctos La segunda opción me funciona pero solo si, además de poner MDI=no en el archivo RConsole, en el acceso directo selecciono Maximizada en el combo llamado Ejecutar, así que aqui esta la solución. Muchas gracias por tu ayuda ;-) -Mensaje original- De: miguel.angel.rodriguez.mui...@sergas.es [mailto:miguel.angel.rodriguez.mui...@sergas.es] Enviado el: martes, 28 de abril de 2015 20:41 Para: Gilsanz, Jose Luis; r-help-es@r-project.org Asunto: Re: [R-es] Maximizar Consola de R al inicio Prueba estas dos cosas: - Lanzar R con C:\Program Files\R\R-3.2.0\bin\x64\start /MAX Rgui.exe -- internet2 - Poner MDI = no en Rconsole Creo que con esto incluso sobraría el parámetro de MDIsize Un Saludo, Miguel. De: Gilsanz, Jose Luis [jluis.gils...@tasacionesh.com] Enviado: martes, 28 de abril de 2015 16:04 Para: Rodríguez Muíños, Miguel Ángel; r-help-es@r-project.org Asunto: RE: [R-es] Maximizar Consola de R al inicio Hola Miguel Angel: Primero que nada gracias por tu aporte. Los parámetros del MDI que tengo en el fichero Rconsole son: MDI = yes MDIsize = 0*0+0+0 En lo de llamar a R usando start /MAX Rgui.exe, lo cierto es que no se muy bien a que te refieres. EL campo Destino del Acceso directo que uso para abrir Excel es: C:\Program Files\R\R-3.2.0\bin\x64\Rgui.exe --internet2 y la opción de Ejecutar esta puesta en Maximizada. Pero el maximizar la ventana general de R (la que aparece como RGui(64-bit) )no es problema ya que lo consigo poniendo MDIsize = 0*0+0+0 , el problema viene al intentar maximizar la ventana de la Consola de R (la que aparece como (R Console) dentro de esa ventana de R maximizada (RGui(64-bit)). En el pantallazo que adjunto se puede ver mejor. Salu2 Nota: A información contida nesta mensaxe e os seus posibles documentos adxuntos é privada e confidencial e está dirixida únicamente ó seu destinatario/a. Se vostede non é o/a destinatario/a orixinal desta mensaxe, por favor elimínea. A distribución ou copia desta mensaxe non está autorizada. Nota: La información contenida en este mensaje y sus posibles documentos adjuntos es privada y confidencial y está dirigida únicamente a su destinatario/a. Si usted no es el/la destinatario/a original de este mensaje, por favor elimínelo. La distribución o copia de este mensaje no está autorizada. See more languages: http://www.sergas.es/aviso_confidencialidad.htm Jones Lang LaSalle Arquitectura, SLU Registration number: B-61888715 Registered Office: Pº de la Castellana, 51 - 5ª ; 28046 Madrid This e-mail is for the use of the intended recipient(s) only. If you have received this e-mail in error, please notify the sender immediately and then delete it. If you are not the intended recipient, you must not use, disclose or distribute this e-mail without the author's prior permission. We have taken precautions to minimise the risk of transmitting software viruses, but we advise you to carry out your own virus checks on any attachment to this message. We cannot accept liability for any loss or damage caused by software viruses. If you are the intended recipient and you do not wish to receive similar electronic messages from us in future then please respond to the sender to this effect. ___ R-help-es mailing list R-help-es@r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
[R-es] Formulario Web
Hola: Tengo un absoluto desconocimiento de las posibilidades que ofrece R desde el punto de vista web así que agradecería que alguien me “encaminara” para un proyecto que me está rondando. El proyecto consistiría básicamente en montar una especie de formulario web al cual accederían distintas personas (colaboradores) repartidas por España. El formulario tendría una serie de datos precargados y el colaborador debería cumplimentar el resto de datos faltantes. Una vez cumplimentados todos los datos, estos se deben guardar en alguna estructura de datos (dataframe???) o algún tipo de BBDD para su posterior explotación estadística (esta sería la parte B del proyecto) En esencia el formulario debería poder: -Introducir valores de tipo texto o número así como valores de tipo combobox (valores pautados previamente),o lo que sería un factor en R. -Subir documentos (fundamentalmente fotos y pdf) asociados al registro que se está editando. -Ser capaz de mostrar a cada usuario únicamente los registros que tiene que rellenar puesto que los registros se distribuirán entre los colaboradores por criterios geográficos . De esta manera un colaborador residente en Madrid solo “vera” los registros relativos a Madrid y no los del resto de provincias. -Mostrar mapas, gráficos, fotos “incrustados” en el propio formulario web a medida que se van introduciendo datos y/o subiendo documentos. Lógicamente la mejor forma de hacer esto es usando lenguajes de programación web (html, java, php etc) asociados a gestores de bases de datos (SQL server, mySQL etc) pero mi desafío consiste en hacer TODO el proceso (Tanto la captura como la explotación de los datos) dentro de R, aun cuando puedan usarse sistemas auxiliares conectados a R. Os agradezco desde ya cualquier sugerencia o comentario. Un cordial saludo TASACIONES HIPOTECARIAS S.A. Registration number: A-28/806222. Registered Office: Pº de la Castellana, 79 - 1ª ; 28046 Madrid This e-mail is for the use of the intended recipient(s) only. If you have received this e-mail in error, please notify the sender immediately and then delete it. If you are not the intended recipient, you must not use, disclose or distribute this e-mail without the author's prior permission. We have taken precautions to minimise the risk of transmitting software viruses, but we advise you to carry out your own virus checks on any attachment to this message. We cannot accept liability for any loss or damage caused by software viruses. If you are the intended recipient and you do not wish to receive similar electronic messages from us in future then please respond to the sender to this effect [[alternative HTML version deleted]] ___ R-help-es mailing list R-help-es@r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
Re: [R-es] Resumen de R-help-es, Vol 74, Envío 25
En realidad se trata de que nuestros colaboradores rellenen una especie de encuestas sobre mercados inmobiliarios locales con datos de precios, fotos de inmuebles representativos etc. Tras la obtención de esos datos locales vendrá el proceso de análisis de ellos, pero eso será en una fase B que de momento esta muy lejana en el tiempo. Message: 4 Date: Thu, 16 Apr 2015 09:11:33 -0500 From: Patricio Fuenmayor Viteri patricio.fuenma...@outlook.com To: r-help-es r-help-es@r-project.org, jluis.gils...@tasacionesh.com jluis.gils...@tasacionesh.com Subject: Re: [R-es] Formulario Web Message-ID: blu182-w3301d394b9f265508c2ad299...@phx.gbl Content-Type: text/plain; charset=UTF-8 Hola.Interesante tu proyecto... existen varias formas de enfocarlo:Supongo que lo que quieres hacer es implementar un modelo de calificaci?e clientes (scoring), esto lo menciono por lo detallas y por el lugar en donde trabajas.- Si es as?lo que necesitas es tan solo programar el modelo (y=b0+b1x1+b2x2+...bnxn) que como entenderas es una suma y una validaci?on respecto a un intervalo de calificaciones (scoring)... que es muy sencillo... y no necesitas un motor de calculo poderoso.- Otra forma es que el servidor haga todo el trabajo... Tuve experiencia usando PL/R http://www.joeconway.com/plr/ (debes usar Postgres) donde el formulario (en PHP) llama al proceso que: guardaba en una tabla el registro de los datos, y ejecutaba un procedimiento (con PL/R) almacenado en el servidor y regresaba los resultados a la misma tabla, que luego era consultada por el formulario ... Con esto controlaba tanto el ingreso y salida de las variables ... y todo el trabajo fuerte lo hacia el servidor... Espero te sea de ayuda Saludos. --Archivo adjunto de mensaje reenviado--From: jluis.gils...@tasacionesh.com To: r-help-es@r-project.org Date: Thu, 16 Apr 2015 09:44:56 + Subject: [R-es] Formulario Web Hola: Tengo un absoluto desconocimiento de las posibilidades que ofrece R desde el punto de vista web as?ue agradecer?que alguien me ?encaminara? para un proyecto que me est?ondando. El proyecto consistir?b?camente en montar una especie de formulario web al cual acceder? distintas personas (colaboradores) repartidas por Espa?El formulario tendr?una serie de datos precargados y el colaborador deber?cumplimentar el resto de datos faltantes. Una vez cumplimentados todos los datos, estos se deben guardar en alguna estructura de datos (dataframe???) o alg?po de BBDD para su posterior explotaci?stad?ica (esta ser?la parte B del proyecto) En esencia el formulario deber?poder: -Introducir valores de tipo texto o n? as?omo valores de tipo combobox (valores pautados previamente),o lo que ser?un factor en R. -Subir documentos (fundamentalmente fotos y pdf) asociados al registro que se est?ditando. -Ser capaz de mostrar a cada usuario ?mente los registros que tiene que rellenar puesto que los registros se distribuir?entre los colaboradores por criterios geogr?cos . De esta manera un colaborador residente en Madrid solo ?vera? los registros relativos a Madrid y no los del resto de provincias. -Mostrar mapas, gr?cos, fotos ?incrustados? en el propio formulario web a medida que se van introduciendo datos y/o subiendo documentos. L?amente la mejor forma de hacer esto es usando lenguajes de programaci?eb (html, java, php etc) asociados a gestores de bases de datos (SQL server, mySQL etc) pero mi desaf?consiste en hacer TODO el proceso (Tanto la captura como la explotaci?e los datos) dentro de R, aun cuando puedan usarse sistemas auxiliares conectados a R. Os agradezco desde ya cualquier sugerencia o comentario. Un cordial saludo Jones Lang LaSalle Arquitectura, SLU Registration number: B-61888715 Registered Office: Pº de la Castellana, 51 - 5ª ; 28046 Madrid This e-mail is for the use of the intended recipient(s) only. If you have received this e-mail in error, please notify the sender immediately and then delete it. If you are not the intended recipient, you must not use, disclose or distribute this e-mail without the author's prior permission. We have taken precautions to minimise the risk of transmitting software viruses, but we advise you to carry out your own virus checks on any attachment to this message. We cannot accept liability for any loss or damage caused by software viruses. If you are the intended recipient and you do not wish to receive similar electronic messages from us in future then please respond to the sender to this effect. ___ R-help-es mailing list R-help-es@r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
Re: [R-es] Resumen de R-help-es, Vol 74, Envío 25
Estimado Javier: Los colaboradores en este caso no son clientes sino personas vinculadas a la empresa por lo que el tema del rendimiento, de momento, no me preocupa demasiado. Me interesa mas saber que , efectivamente, se puede hacer a que luego una vez hecho la cosa funcione mas o menos rapida Message: 5 Date: Thu, 16 Apr 2015 11:19:08 -0300 From: Javier Marcuzzi javier.ruben.marcu...@gmail.com To: Miguel Angel Rodriguez Muiños miguel.angel.rodriguez.mui...@sergas.es Cc: r-help-es r-help-es@r-project.org Subject: Re: [R-es] Formulario Web Message-ID: CAHo_aETBJH2w96WjPBc_V6n_XaLm8_bok__Y10g5vJrriYobbQ@m ail.gmail.com Content-Type: text/plain; charset=UTF-8 Estimado Miguel Por ejemplo yo mismo podría colocar algo en un servidor VPS, utilizar un servicio rest para la ida y venida de información, pero los servicios más económicos creo que pueden ser muy limitados, ¿a partir de donde R en un VPS da un resultado aceptable? Porque el usuario web necesita rápido algo en la pantalla, aunque sea un mensaje de procesando, yo había leído un informe sobre cuánto tiempo esperan y a partir de ahí se van a otro sitio o comienzan a sentir molestias, no lo recuerdo bien pero los internautas son muy ya y ahora. Yo creo que si es un problema, no por la técnica informática, sino por la experiencia de usuario (de los posibles clientes), sería una lástima que trabaje en R realizando un excelente desarrollo y pierda clientes porque estos ven un servicio lento. Jones Lang LaSalle Arquitectura, SLU Registration number: B-61888715 Registered Office: Pº de la Castellana, 51 - 5ª ; 28046 Madrid This e-mail is for the use of the intended recipient(s) only. If you have received this e-mail in error, please notify the sender immediately and then delete it. If you are not the intended recipient, you must not use, disclose or distribute this e-mail without the author's prior permission. We have taken precautions to minimise the risk of transmitting software viruses, but we advise you to carry out your own virus checks on any attachment to this message. We cannot accept liability for any loss or damage caused by software viruses. If you are the intended recipient and you do not wish to receive similar electronic messages from us in future then please respond to the sender to this effect. ___ R-help-es mailing list R-help-es@r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es
Re: [R-es] Resumen de R-help-es, Vol 74, Envío 25
Javier, Miguel: Efectivamente hay maneras infinitamente más eficientes a la hora de montar el proyecto con soluciones específicas de web. Pero en este caso como lo que pretendo, fundamentalmente, es profundizar en lo que Javier mismo ha denominado webR por lo que no contemplo esas soluciones especificas (si acaso solo como apoyo a R). Básicamente se trata de hacerlo todo con R, aun sabiendo desde el principio, que seguro que no es la mejor forma de hacerlo (sobre todo en lo referente a sencillez y rendimiento). Llevando el caso al extremo, seria como intentar hacer un procesador de textos utilizando Excel, la mayoría diría pero si para eso ya tienes Word y mil aplicaciones más adecuadas y mi respuesta seria ya, lo sé, pero es que yo quiero hacerlo con Excel aunque no sea ni el mejor, ni el más rápido ni el más bonito. Message: 3 Date: Thu, 16 Apr 2015 10:52:12 + From: miguel.angel.rodriguez.mui...@sergas.es To: javier.ruben.marcu...@gmail.com Cc: r-help-es@r-project.org Subject: Re: [R-es] Formulario Web Message-ID: 552f945c.5050...@sergas.es Content-Type: text/plain; charset=UTF-8 Hola Javier. No veo demasiado problema con el tema del servidor. Las opciones son dos: o lo tienes in situ (con lo cual habrás hecho una valoración de qué recursos te hacen falta, cómo vas a implementarlo y cómo vas a mantenerlo, como con cualquier otro servicio web) o lo implementas en la nube (idem que el caso anterior con la salvedad de que hay ciertos aspectos que subcontratas - pagas por ellos y te despreocupas-). Yo soy más partidario de la segunda opción y montar un buen VPS, pero para gustos En el caso concreto del escenario que plantea José Luis (que es el que nos ha llevado hasta aquí), la solución pasa por montarlo todo con R (según sus especificaciones) y, así, creo que Shiny es una muy buena alternativa. Un Saludo, Miguel. El 16/04/2015 a las 12:39, Javier Marcuzzi escribió: Estimado Miguel Es posible lo que dices, pero ¿tienes un servidor para instalar la parte de R?, si lo tienes ¿cuántos recursos? Me refiero a lo siguiente, puede ser que su trabajo esté excelente, pero los recursos del servidor al procesar R tengan un desmedro en la calidad (velocidad) http y de base de datos, creando una experiencia mala para el usuario. Hay alternativas, cada vez hay más web R, desconozco la solución recomendable hoy en día, sin embargo creo que hay que tener muy en cuenta el servidor, y ese factor puede ser de mucho peso en caso de ser deficiente. Shiny , es conocido, o por lo menos es una opción de moda por decirlo de alguna forma, sin embargo creo que podría escribir R desde casi un obsoleto cgi-bin. Entiendo que no habría limitantes más que su creatividad. Javier Marcuzzi El 16 de abril de 2015, 6:57, miguel.angel.rodriguez.mui...@sergas.esmailto:miguel.angel.rodriguez. mui...@sergas.es escribió: Hola José Luis. Mi recomendación es que explores Shiny (http://shiny.rstudio.com/), puede que sea lo que necesitas. Un Saludo, Miguel Ángel Rodríguez Muíños Consellería de Sanidade Xunta de Galicia Nota: A información contida nesta mensaxe e os seus posibles documentos adxuntos é privada e confidencial e está dirixida únicamente ó seu destinatario/a. Se vostede non é o/a destinatario/a orixinal desta mensaxe, por favor elimínea. A distribución ou copia desta mensaxe non está autorizada. Nota: La información contenida en este mensaje y sus posibles documentos adjuntos es privada y confidencial y está dirigida únicamente a su destinatario/a. Si usted no es el/la destinatario/a original de este mensaje, por favor elimínelo. La distribución o copia de este mensaje no está autorizada. See more languages: http://www.sergas.es/aviso_confidencialidad.htm [[alternative HTML version deleted]] -- Message: 4 Date: Thu, 16 Apr 2015 09:11:33 -0500 From: Patricio Fuenmayor Viteri patricio.fuenma...@outlook.com To: r-help-es r-help-es@r-project.org, jluis.gils...@tasacionesh.com jluis.gils...@tasacionesh.com Subject: Re: [R-es] Formulario Web Message-ID: blu182-w3301d394b9f265508c2ad299...@phx.gbl Content-Type: text/plain; charset=UTF-8 Hola.Interesante tu proyecto... existen varias formas de enfocarlo:Supongo que lo que quieres hacer es implementar un modelo de calificaci?e clientes (scoring), esto lo menciono por lo detallas y por el lugar en donde trabajas.- Si es as?lo que necesitas es tan solo programar el modelo (y=b0+b1x1+b2x2+...bnxn) que como entenderas es una suma y una validaci?on respecto a un intervalo de calificaciones (scoring)... que es muy sencillo... y no necesitas un motor de calculo poderoso.- Otra forma es que el servidor haga todo el trabajo... Tuve experiencia usando PL/R http://www.joeconway.com/plr/ (debes usar Postgres) donde el formulario (en PHP) llama al proceso que: guardaba en
