Entropía-incertidumbre estadística asociada a un suceso aleatorio con i resultados posibles: S(p1,...,pn) = k·[suma sobre i]( pi·log(1/pi)) donde cada uno ocurre con por probabilidad pi [p1 probabilidad del suceso-fonema 1, ... pn: probabilidad-fonema del suceso n]
Escribí muy rápido mi mensaje y olvidé decir un par de cosas importantes: [1] Imaginemos dos experimentos A y B. Supongamos que en la experimento A podrían ocurrir digamos 101 cosas diferentes: A0 .... A100 y que la probabilidad de A1 = 0,99 y la de los otros sucesos es Ai = 0,0001 (i > 1). En esa situación casi siempre siempre que hicieramos el experimento A observaríamos el resultado A1 (un 99% de las veces) con lo cual a pesar de la gran cantidad de resultados la entropia sería relativamente baja: S = k·[0,99 log (1/0,99) + 100·0,0001 log (1/0,0001)] = k·[0,0099 + 0,0092] = ... S = 0,0191·k Imaginemos ahora un experimento B en el que pueden suceder también 101 cosas pero todas igualmente probables (en esta situación mosntruosa nadie se atrevería a decir nada o a invertir o apostar por ninguna de B0, B1, ... B100). La incertidumbre, a pesar de existir el mismo numero de posiblidades que antes sería altísima: S = k·[101·(1/101) log(101)] = 4,6151·k Es decir teniendo tanto A como B el mismo numero de resultados posibles, la situación monstruosa B tiene 241,63 veces más incertidumbre que la A (4,6151/0,0191 = 241,63!!!) Creo que esto ilustra el muy bien como de bien funciona la fórmula. Por otra parte en un suceso determinista o seguro si aplicamos la fórmula tenemos S = 0 [es decir no es necesario añadir información para predecir el resultado, en otras palabras, no hay incertidumbre] [2] En la fórmula anterior la elección de la constante k solo afecta a las unidades en que medimos la incertidumbre pero si considermos las entropías relativas a dos sucesos A y B es decir Srel = SA/SB es indpendiente de la elección de k. [en informática se suele escoger k = 1/ log 2, y del número resultante se dice que son bits; en física se usa k = constante de Boltzman 1,38·10^(-23) de hecho la famosa constante de los gases universales R es R = Nk, k: constante de Boltzmann, N: número de Avogadro; esta constante aparece en varios lugares por ejemplo un gas monoatómico tiende a tener una capacidad calorítica cerca de 3R/2, uno diatómico 5R/2, etc... un metal a alta temperatura tienda a tener una capcidad calorífica de 3R etc etc] David S. Bueno ya sí acabo con el tema jejejej -------------------------------------------------------------------- IdeoLengua - Lista de Lingüistica e Idiomas Artificiales Suscríbase en [EMAIL PROTECTED] Informacion en http://ideolengua.cjb.net Desglose temático http://groups.yahoo.com/group/ideolengua/files/Administracion/top-ideol.htm Su uso de Yahoo! Grupos está sujeto a las http://e1.docs.yahoo.com/info/utos.html
