Clustering EBEMmodelos de mezclas gausianas basados en maximización de entropía

Resumen

En este trabajo presentamos una nueva aproximación al problema de la estimación de los parámetros de un modelo de mezcla gausiana aunque el algoritmo expetation-maximization (EM) proporciona una solución iterativa de máxima verosimilitud, Es conocida su sensibilidad a la elección de los valores iniciales del modelo, pudiendo converger a un máximo local de la función verosimilitud. Generalmente algunas técnicas como K-Means suelen emplearse para establecer los valores iniciales del modelo, sin embargo, puesto que se trata igualmente de algoritmos locales, sólo se incrementa la velocidad de convergencia del algoritmo hacia algún máximo local, pero no queda en ningún caso asegurada la consecución del máximo global. Por otra parte el resultado obtenido es igualmente dependiente del número de componentes de la mezcla, que en la mayoría de las situaciones es desconocido a priori. Para solventar los inconvenientes descritos anteriormente, introducimos un criterio basado en la estimación de la entropía de la densidad de probabilidad asociada a cada componente, que permite medir la calidad de ajuste de un modelo o de mezcla con un determinado número de componentes. Proponemos dos métodos para estimar la entropía asociada a cada núcleo y una modificación del algoritmo en clásico para encontrar el número óptimo de componente de la mezcla, además, empleamos dos criterios de parada para seleccionar el orden del modelo, uno basado en la entropía global de la mezcla y otro basado en el principio de longitud de descripción mínima (MDL). El algoritmo comienza con un sólo núcleo y va añadiendo dinámicamente nuevos núcleos en las zonas del espacio de observaciones en que el ajuste es menos fino. De este modo, se elimina el problema de la inicialización del modelo y se obtiene el orden del mismo (número óptimo de núcleos) que mejor se ajusta al conjunto de observaciones dadas. Le algoritmo ha sido probado con éxito en estimación de densidad de probabilidad asociada a los datos, reconocimiento de patrones y segmentación de imágenes en color. Además comparamos los resultados de la técnica con los obtenidos con EM clásico y otras que también ajustan dinámicamente el modelo y que han sido propuestas con anterioridad. Aunque el problema ha sido tratado por numerosos investigadores, la mejor forma de resolver la cuestión en la práctica es todavía un problema abierto.