[david escribía]
>> midiendo la cantidad de información asociada (entropía) de este sistema de
>conceptos: -(p1·log p1 + p2·log p2 + p3·log p3 + p4·log p4) = 1,75.<<
[mariano escribía]
>>Esto es interesante, me refiero al concepto de entropía. No llego a entender la
>explicación que das, porque no sé cual es el termino de comparación.<<
_________________________________________
[david respondiendo]
1) La entropía DEPENDE SOLO DE SISTEMA, NO DEPENDE DEL CÓDIGO ELEGIDO, esta entropía
es una medida de la diversidad-complejidad del sistema y en términos de información si
se quiere es "la cantidad de información por signo que se requiere para especificar el
sistema, es decir, una secuencia cualquiera".
Así con las porbabilidades: Prob(C1) = 1/2, Prob(C2) = 1/4, Prob(C3) = 1/8 y Prob(C4)
= 1/8 cualquier secuencia aleatoria tipo (q respete las anteriores probabilidades):
C1-C2-C2-C1-C3-C4-C1-C3-.... tendría una complejidad media dada por su entropía = 1,75.
2) Ahora entran los códigos en escena ... conocida la entropía del sistema enventamos
una codificación, es decir a cada signo del conjunto {C1, C2, C3, C4} la cantidad de
información de un código se mide por el número medio de bits, para el código mínimo
que construía la INFORMACIÓN POR SIGNO = ENTROPIA. Evidentemente existe una infinidad
de códigos, que pueden clasificarse según:
a) INFORMACIÓN POR SIGNO > ENTROPÍA --------> Código redundante por el ejemplo el
código de 2 bits por signo, como lo era C1--->00, C2---->01, C3---->10, C4----->11
b) INFORMACIÓN POR SIGNO = ENTROPÍA ---------> Código mínimo, puede existir o no en
función del tipo de codificación que se escoja. Un código mínimo es: C1----> 0,
C2---->10, C3---->110, C4---->111
c) INFORMACIÓN POR SIGNO < ENTROPÍA ------> Código ambiguo, como el código que
construyó Juan:
C1--> 0, C2--->1 C3---->01, C4 --->10 (ojo q este código es ambiguo pq una secuencia
de 1 y 0 no puede ser descompuesta de una sola manera en secuencias de {C1, C2, C3,
C4} mientras que los códigos en a) y b) si permiten la reconstrucción de la secuencia
original en términos de {C1, C2, C3, C4}.
-_______________________________________________________
>> Tal y como lo entiendo el codigo lineal de 2 bits implicaría una entropía de 2 =
>(1/4·2 + 1/4·2 + 1/4·2 + 1/4·2) que es mayor que la del código no lineal con 1,75.<<
Esto sería correcto para otro sistema con Prob(C1) = 1/4, Prob(C2) = 1/4, Prob(C3) =
1/4 y Prob(C4) = 1/4 y el efecto un código de 2 cifras como 00, 01, 10, 11 sería
mínimo ya que ahora la entropía sería igual a -(1/4·log 1/4 + 1/4·log 1/4 + 1/4·log
1/4 + 1/4·log 1/4) = - ln 1/4 = ln 4 = 2 [no lo dije antes pero los logaritmos
usualmente se toman en base dos, y entonces las unidades se llaman bits, si se usa
otra base tenemos lo mismo pero medido en otras unidades de información]o
El sistema que se proponía Prob(C1) = 1/2, Prob(C2) = 1/4, Prob(C3) = 1/8 y Prob(C4) =
1/8 es algo menos complejo que el del anterior párrafo ya que es más previsible:
sabemos que es bastante más probable que C1 aparezca en una secuencia cualquiera que
no C3 o C4, por ejemplo. De ahí que su entropía sea menor: -[1/2·log 1/2 + 1/4·log 1/4
+ 1/8·log 1/8 + 1/8·log 1/8] = -[1/2·(-1) + 1/4·(-2) + 1/8·(-3) + 1/8·(-3)] = [ 1/2 +
2/4 + 6/8 ] = 1,75 (si tenemos en cuenta que estamos en base 2 estas operaciones
resultan bastante triviales).
____________________________________
>>Es decir, que el código lineal es más predecible que el no lineal, por lo mismo es
>menos informativo (por tanto, menos eficiente) pues si puedes predecir (completar) lo
>que falta tras conocer parte del sistema no necesitas
el resto.<<
Esa es la idea, solo que es justo al revés el más impredecible es el que da más
información ... cuando en un crucigrama te aparece en una casilla una Z o una W,
tienes muchísmas más pistas que si te aparece una A o una C. Es decir, la aparición de
una fenómeno poco probable da más información porque restringe mucho más las
posibilidades. Es decir la aparición un hecho improbable da MAS INFORMACIÓN porque
REDUCE Mucho más la INCERTIDUMBRE.
________________________
David Sánchez
[Se han eliminado los trozos de este mensaje que no contenían texto]
--------------------------------------------------------------------
IdeoLengua - Lista de Lingüistica e Idiomas Artificiales
Suscríbase en [EMAIL PROTECTED]
Informacion en http://ideolengua.cjb.net
Su uso de Yahoo! Grupos está sujeto a las http://e1.docs.yahoo.com/info/utos.html
