METRICAS PARA DETERMINAR LA CALIDAD DE LOS COMPLEJOS

A menudo, en la vida profesional o en la cotidiana, hemos de acometer varias tareas (ya sean éstas totalmente independientes o pertenecientes a un mismo ámbito o proyecto) que no pueden realizarse de forma simultánea o paralela. Por ello, tenemos que tomar decisiones para determinar el orden o precedencia en el tiempo con que serán ejecutadas.

Entropía 

  • Es una medida que se ocupa dentro de los árboles de decisión para determinar la calidad del mismo.
  • La entropía es considerada una medida de incertidumbre.
  • La entropía puede ser considerada la cantidad de información contenida en el resultado de un experimento. Dicha información, dependerá sobre el conocimiento previo que se tiene sobre los resultados del experimento. Cuanto menos se conoce más información se obtiene (o más se aprende).
  • La entropía tiene su valor más bajo (0) cuando existe total certeza en el resultado del experimento, mientras que el mayor valor de entropía es alcanzado en el caso de mayor incertidumbre (eventos equiprobables).

 

En base a un algoritmo básico de aprendizaje es que tratamos de encontrar el atributo mejor clasificador cuya medida básica es la Ganancia de información basada en la entropía.

Formula de entropía

 

 

Donde: p1 es la fracción de ejemplos positivos en S y p0 es la fracción de negativos. 

  • Si todos los ejemplos están en una categoría, entropía es zero (definimos 0×log(0)=0)
  • Si los ejemplos están igualmente mezclados (p1=p0=0.5), entropía es una máxima de 1.
  • Entropía se puede ver como el máximo numero de bits requeridos en promedio para codificar la clase de un ejemplo en S.
  • Para problemas de múltiples clases (multi-class) con c categorías, la entropía generaliza a:

 

 

 ¿Por qué?

La teoría de la información dice: para un mensaje que tiene una probabilidad p el largo óptimo del código asignado debe ser –log2p bits.

 

Ejemplo:

Entropía (Y | X = v) = La entropía de Y dentro de los registros en los cuales X tiene el valor v. 

                           = Número esperado de bits para transmitir Y si a ambos lados se conoce el valor de X

                        

 

Entropía (Y | X = v) = 0.5 x 1 + 0.25 x 0 + 0.25 x 0 = 0.5

 

Ganancia de información

 Es la reducción en la entropía del conjunto, al clasificar S usando el ejemplo determinado.

 

Es una medida relativa al conjunto S y a cada atributo.

 

 

 

Donde:

  • Valores (A) es el conjunto de posibles valores del atributo A.
  • |Sv| es el número de ejemplos en S etiquetados con v.
  • |S| es el número total de ejemplos, y
  • Et(Sv) es la entropía de ejemplos etiquetados con v.

En el ejemplo anterior:

 

Gain (Y|X)= Entropía (Y) – Entropía (Y|X=v)

Gain (Y|X)= 1 – 0.5 = 0.5

 

Referencias Bibliográficas 

·         http://www.gsi.dit.upm.es/~gfer/ssii/arboles.pdf

·         http://profesores.elo.utfsm.cl/~tarredondo/info/soft-comp/Arboles%20de%20Decision.pdf

·         http://supervisadaextraccionrecuperacioninformacion.iespana.es/arboles.html




    Responder

    Introduce tus datos o haz clic en un icono para iniciar sesión:

    Logo de WordPress.com

    Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

    Imagen de Twitter

    Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

    Foto de Facebook

    Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

    Google+ photo

    Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

    Conectando a %s



A %d blogueros les gusta esto: