Re: [R-es] Implementación paquete ilm

2020-04-27 Por tema Manuel Mendoza
Gracias Isidro. Abandoné el intento y encontré un ejemplo más sencillo de
implementar.
Un saludo,
Manuel

El lun., 27 abr. 2020 a las 13:53, Isidro Hidalgo Arellano (<
ihida...@jccm.es>) escribió:

> Es pseudocódigo, lo tienes que pasar a un lenguaje de programación para que
> el intérprete (y compilador, en su caso) de dicho lenguaje lo entienda.
> Lo que tienes ahí no es más que un procedimiento general.
> Un saludo
>
> Isidro Hidalgo Arellano
> Observatorio del Mercado de Trabajo
> Consejería de Economía, Empresas y Empleo
> http://www.castillalamancha.es/
>
>
>
> -Mensaje original-
> De: R-help-es  En nombre de Manuel
> Mendoza
> Enviado el: lunes, 27 de abril de 2020 12:59
> Para: Lista R 
> Asunto: [R-es] Implementación paquete ilm
>
> Buenos días, estoy intentando reproducir el script de este github:
>
> http://uc-r.github.io/iml-pkg#interactions
>
> Todo iba bien hasta que en el 6º panel me encuentro esto:
>
> For any given loss function do
> 1: compute loss function for original model
> 2: for variable i in {1,...,p} do
>  | randomize values
>  | apply given ML model
>  | estimate loss function
>  | compute feature importance (permuted loss / original loss)
>end
>
> 3. Sort variables by descending feature importance
>
> El formato me extrañó, y como era de esperar, da error.
> Y también a partir de ahí. No tengo ni idea de qué es lo que se debe hacer
> en casos así. A ver si alguno pudiera orientarme.
>
> Gracias,
> Manuel
>
> [[alternative HTML version deleted]]
>
> ___
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
>

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es


Re: [R-es] Implementación paquete ilm

2020-04-27 Por tema Isidro Hidalgo Arellano
Es pseudocódigo, lo tienes que pasar a un lenguaje de programación para que
el intérprete (y compilador, en su caso) de dicho lenguaje lo entienda.
Lo que tienes ahí no es más que un procedimiento general.
Un saludo

Isidro Hidalgo Arellano
Observatorio del Mercado de Trabajo
Consejería de Economía, Empresas y Empleo
http://www.castillalamancha.es/



-Mensaje original-
De: R-help-es  En nombre de Manuel Mendoza
Enviado el: lunes, 27 de abril de 2020 12:59
Para: Lista R 
Asunto: [R-es] Implementación paquete ilm

Buenos días, estoy intentando reproducir el script de este github:

http://uc-r.github.io/iml-pkg#interactions

Todo iba bien hasta que en el 6º panel me encuentro esto:

For any given loss function do
1: compute loss function for original model
2: for variable i in {1,...,p} do
 | randomize values
 | apply given ML model
 | estimate loss function
 | compute feature importance (permuted loss / original loss)
   end

3. Sort variables by descending feature importance

El formato me extrañó, y como era de esperar, da error.
Y también a partir de ahí. No tengo ni idea de qué es lo que se debe hacer
en casos así. A ver si alguno pudiera orientarme.

Gracias,
Manuel

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es


[R-es] Implementación paquete ilm

2020-04-27 Por tema Manuel Mendoza
Buenos días, estoy intentando reproducir el script de este github:

http://uc-r.github.io/iml-pkg#interactions

Todo iba bien hasta que en el 6º panel me encuentro esto:

For any given loss function do
1: compute loss function for original model
2: for variable i in {1,...,p} do
 | randomize values
 | apply given ML model
 | estimate loss function
 | compute feature importance (permuted loss / original loss)
   end

3. Sort variables by descending feature importance

El formato me extrañó, y como era de esperar, da error.
Y también a partir de ahí. No tengo ni idea de qué es lo que se debe hacer
en casos así. A ver si alguno pudiera orientarme.

Gracias,
Manuel

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es


Re: [R-es] Normalidad variable > 5000 observaciones

2020-04-27 Por tema José Trujillo Carmona
Efectivamente Guido tiene razón. Una prueba de normalidad a una muestra 
que supera las 5000 observaciones no tiene mucho sentido.


Igual que ningún dado es exactamente equiprobable, a algún nivel de 
detalle habrá una irregularidad que lo haga en algún sentido defectuoso, 
ninguna variable real es exactamente normal. La distribución normal es 
una distribución teórica que es esperable que aparezca mucho como 
consecuencia del teorema del límite central; pero solo igual que el 
dado. Son modelos teóricos para predecir comportamientos que en la 
naturaleza solo aparecerán de forma aproximada.


Si tienes muchas observaciones, las desviaciones del modelo se harán 
relevantes y algún tests adecuado mostrará que es una variable real y no 
un modelo teórico.


Si deseas predecir observaciones con mucha precisión en la probabilidad 
asociada a las predicciones, en lugar de utilizar una distribución 
teórica tienes algunas alternativas. Por una parte puedes estimar la 
propia distribución de probabilidad mediante núcleos (consultar 
stats::density y car::densityPlot) o mediante técnicas de bootstrap.


Por otra parte, si el objetivo es la aplicación de técnicas 
paramétricas, el propio teorema sirve para resolver el problema. La 
mayoría de los estadísticos utilizados en los métodos paramétricos 
pueden ser escritos como combinaciones lineales de las observaciones, lo 
que permite tratarlos como si tuviesen distribución aproximadamente 
normal. Por otro lado si, note fías o te es insuficiente, los métodos 
basado en bootstrap vuelven a ser una solución más que adecuada.


En definitiva, aunque puedo estar equivocado, no se me ocurre la 
necesidad de aplicar contrastes de normalidad útiles a enormes muestras.


Saludos.

El 26/4/20 a las 17:49, Guido Corradi escribió:

Las pruebas de normalidad en muestras grandes sufren de sobre-sensiblidad.
Según lo que he leído (y cualquier reviewer aceptará...) cuando hay una
muestra grande la inspección visual del qq-plot será suficiente!


El dom., 26 abr. 2020 a las 12:51, Carlos Ortega ()
escribió:


Hola,

Aquí tienes una forma alternativa:


https://stackoverflow.com/questions/17125458/r-shapiro-test-cannot-deal-with-more-than-5000-data-points

Saludos,
Carlos Ortega
www.qualityexcellence.es

El dom., 26 abr. 2020 a las 12:11, Rafael Santamaria (<
rsantamar...@gmail.com>) escribió:


Hola!

Necesito evaluar la normalidad de una variable para la que tengo más de
5000 observaciones.

Shapiro-Wilks no funciona para muestras mayores 5000 observaciones.

AAlshap <- lapply(AAdf, shapiro.test)
Error in FUN(X[[i]], ...) : sample size must be between 3 and 5000

Alguna sugerencia?

Gracias.

 [[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es



--
Saludos,
Carlos Ortega
www.qualityexcellence.es

 [[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es





___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es