Curso recomendado

Mostrando entradas con la etiqueta KDD Cup. Mostrar todas las entradas
Mostrando entradas con la etiqueta KDD Cup. Mostrar todas las entradas

lunes, 17 de agosto de 2009

Data Mining - Análisis de Redes Sociales, Neo-metrics y la KDDCup 2007

Hola otra vez a todos, después de unas merecidas vacaciones seguimos en la brecha.

He descubierto una vídeo lectura sobre el análisis de Redes Sociales, esta disciplina trata de estudiar y modelizar las interacciones entre individuos apoyandose en la estadística y últimamente en la minería de datos, más concretamente en la minería de grafos. Está teniendo un gran crecimiento en los últimos años, sobre todo en lo relacionado con internet y la web. Busca estudiar el comportamiento de grupos formados por individuos, ya sea de manera descriptiva, buscando grupos entre relaciones de individuos, o de manera predictiva, intentando predecir el comportamiento de los grupos o como influirá este si se modifica su estructura, por poner un par ejemplos.

No es una disciplina nueva, lleva mucho tiempo en el candelero, pero no ha sido hasta tener suficiente capacidad de computo y técnicas diseñadas para el tratamiento se grandes volúmenes de información que no ha acabado de cuajar, esto se refleja en que casi no hay soluciones privativas para hacer este tipo de análisis.

Por si os interesa profundizar en el tema os dejo aquí enlaces a simposios para este año:

Pero sobre todo os dejo una interesante presentación, con sus diapositivas, donde se puede ver las capacidades de R para hacer análisis de Redes Sociales


Lo cierto es que una empresa Española ganó la KDDCup en 2007 utilizando este tipo de técnicas para resolver problemas de minería de datos, su nombre es Neo-metrics, no sólo la ganó sino que fue la primera empresa europea en hacerlo; la verdad es que todo un hito que una empresa española gane un galardon internacional tan prestigioso dentro del campo del análisis de datos, a ver si más empresas españolas se animan a hacer I+D+i en este campo, ya que cuando nos ponemos en serio no hay que nos haga sombra.

Os adjunto aquí una presentación donde podemos ver al fundador al CEO de Neo-metrics ,José Luís Flores, hablando sobre el galardon y sobre Neo-metrics en general.



martes, 16 de junio de 2009

Data Mining - R gana la KDD Cup

La KDD Cup es la competición abierta de minería de datos más famosa y reconocida de todo el mundo; hace una convocatoria anual desde el 1997, y cada año plantea un problema a resolver diferente, algunos de los tratados son motores de recomendación, reconocimiento de cáncer en imágenes, minería de redes…

El reto de este año se centra en los clásicos problemas de CRM de cualquier empresa, modelizar la fuga, el up-selling y el cross-selling, ya sea con un modelo o una agrupación de ellos, donde los datos han sido cedidos por una empresa de telefonía.

Hay 2 dataset’s para trabajar, uno “pequeño” de 230 variables y uno grande de 15000 variables, contienen 50000 registros cada uno.

Este año hay 2 desafíos, uno rápido que en 5 días tienes que dar modelos para el dataset de 15000 variables y uno lento en el cual te puedes presentar tratando el dataset pequeño o el grande y en el que tienes un mes de tiempo. Se puede utilizar cualquier tipo de software ya sea libre o privativo, genérico o desarrollado en concreto para el desafío…

Hasta aquí lo normal de cada año, pero este ha sido diferente, han ganado el desafío lento tratando el dataset grande utilizando R, un programa de software libre de análisis estadístico del que estoy enamorado desde mis tiempos de universidad y del cual ya os iré hablando.

Para mí es una gran noticia, ya que viene a demostrar algo de lo cual ya estaba convencido desde hace tiempo, que con R y buenos técnicos puedes realizar cualquier análisis con un resultado igual que con SAS Enterprise Miner, SPSS Clementine o cualquier otro software privativo, y en según que casos incluso mejores.

Os dejo aquí el enlace del grupo que ha ganado el desafío.

La lastima de esta competición es que los códigos de los modelos presentados no son publicados, sería muy interesante ver como han conseguido este hito.

¿Álguien se anima a presentarse con nosotros el año que viene?