Data Mining - Vacaciones....

Si señores, me tomo un merecido descanso por lo tanto estaré unas semanas sin acercarme a un ordenador... espero.

Geomarketing - Opinión de Néstor Sastre en LinkedIN

Dentro de LinkedIn existe un grupo de Geomarketing, llevado por Néstor Sastre, uno de los primeros profesionales que se dedica al sector del Geomarketing. Supongo que tendréis que daros de alta para poder ver los debates, pero hoy transcribo algunas ideas que postea Néstor:

1º Comenta el proyecto de la CECA, en estado inicial. Me gustaría añadir que algunas cajas de la CECA no han entrado en el proyecto con ESRI o se han salido para optar por otras soluciones, en fases mucho más avanzadas que las de ESRI.

2º Lanza una nueva batería de preguntas sobre para qué sirve el geomarketing:

• ¿qué tipo de clientes viven alrededor de las oficinas?
• ¿dónde viven nuestros mejores clientes?
• ¿la cobertura espacial de las oficinas es óptima o se canibalizan el espacio?
• ¿tiene el cliente la oficina más cercana a su vivienda?

Cómo bien dice estas preguntas son fáciles de responder, y el geomarketing te las ofrece.

3º Comenta también el tema de los cajeros automáticos. Supongo que se referirá al proyecto de Caja Madrid y ESRI para el estudio de la red de cajeros, y abre una nueva vía de publicidad en los mismos. Lo que más me gusta es el término "googleidiano" al cual me aferro últimamente como un buen recurso de ideas. La idea que comenta es la inserción de publicidad en los cajeros, al más puro estilo Google, un cajero en la calle X publicita negocios de la zona, simple, sencillo y directo.

Un ejemplo práctico y real: Hemos cambiado el bar donde almorzamos en la empresa, ¿por qué?, el precio es increible, 1,50 cafe y bocata de jamón. El bar lleva abierto más de un año, y nosotros lo hemos encontrado porque hicieron una campaña de publicidad en los coches con las ofertas. Dio resultado. Pero cuando fui por primera vez, me di cuenta que había pasado mil veces por su puerta, ¿por qué? porque como dinero uno no lleva todos los días, y para pagar el almuerzo pues uno tiene que ir al cajero, y sacar 20 eurillos de nada. Pues el bar está a 20 metros del cajero. Si en una de esas 50 veces que acudí hubiera tenido publicidad en el cajero, filtrada por el importe puesto que el que saca 500 euros no es para almorzar, y mis datos personales, la hora, se puede "saber" que esos 20 euros pueden ser para consumo cotidiano.
Es un ejemplo simple, pero creo que dice mucho del tema.

4º Finalmente habla de la posibilidad de introducir imágenes en la publicidad del cajero. Es una idea que ya vi en Nueva York y San Francisco. La empresa se llama Danoo (estoy buscando la web que no la localiza) , y lo que hacen es una publicidad interesante. Yo he intentado mover algo al respecto, pero no tengo ni tiempo ni recursos. La historia es la siguiente: Ofrecer una red social de negocios. ¿cómo? Lo interesante es analizar que si yo estoy de compras por el centro de una capital, y entro en una tienda de ropa a las 13:00 posiblemente lo siguiente que haga es irme a comer. ¿dónde? Si en el momento de pagar, esos tiempos muertos que habla Néstor Sastre, en la cola se muestra un monitor con un mapa de la zona, con bares asociados a nuestra red, y ofertas, como presentando tu ticket de compra de Zapatería Manolo, llevate el menú especial a precio de menú normal en el Bar Pepe. Evidentemente estaremos redireccionando tráfico de la zapatería al bar, ¿y al revés? Si estoy comiendo en un bar centrico o en una zona de compras, pues puede que quiera comprar, y si me ofrecen un descuento en Zapatería Manolo, quizás vaya para allá.

Esta idea a mi me parece muy buena, y con muchos feed-backs y sinergias para los establecimientos.

Data Mining - Minería en la nube, Clairo analytics

Estamos en tiempos de cambios, y más si nos fijamos en la evolución de la red, lo último es ahora todo lo relacionado con la Nube, es decir, tener la capacidad de poder trabajar desde cualquier terminal y, por medio de internet, que se ejecute nuestras instrucciones en un servidor y que este tenga capacidad de concurrencia; resumiendo, como si fuera trabajo cliente servidor pero haciendo de red internet y que más de un usuarios pueda abrir el mismo fichero.

Como no la minería de datos ya se ha subido a este carro, y no es de extrañar, ya que muchas de las herramientas con las que se trabaja ya tienen arquitectura cliente servidor. Otro punto por el este tipo de negocio se ajusta bastante la Nube es debido a la necesidades de hardware, poco a poco van surgiendo servicios que nos ofrecen guardar nuestros datos en la red o nos venden capacidad de computo, y por otro lado si sumamos el precio astronómico que hay que pagar por cada licencia de software con la que trabajan los analistas no es de extrañar que tener soluciones donde todo el mundo se pueda conectar y trabajar sin pagar más licencias sólo por lo que necesitas es muy tentador.

La primera solución de software de minería de datos que ha surgido siguiendo esta filosofía es Clario, es un una herramienta pensada para y por la nube, es decir, se puede trabajar desde cualquier sitio y varias personas a la vez sobre el mismo proyecto, desde un terminal que se conecta a un servidor en el cual está en la red.

Si a esta cualidad de estar en la nube le sumamos que el precio es realmente ajustado, por 300$ mes 100 Gb de transferencia con 50 Gb de almacenamiento con 720 horas de tratamiento en un entorno servidor pensado para sacar la máxima eficiencia al programa no está nada mal. Si tenemos en cuenta que un mes tiene unos 22 días laborables y que nuestro técnico trabaja 8 horas con el programa tendremos que utiliza 176 Horas, cierto que puede ser que deje cosas funcionando en bach pero creo que 2 o incluso 3 técnicos pueden trabajar con esas capacidades sin ningún tipo de problema; es decir que con 2 o 3 portátiles y 300$/mes tenemos la infraestructura necesaria para hacer proyecto de minería de datos, totalmente irrisorio si lo comparamos con las soluciones clásicas.

Hay que reconocer que la herramienta está todavía germinando, no es que no funcione, pero aún le quedan muchas funcionalidades por añadir, eso si, crece a buen ritmo, está previsto que dentro de unos 9 meses desarrollen algoritmos basados en árboles (CART, CHAID, MARS) y de clustering (K-means, EM), también tienen previsto mejoras en el interficie y la usabilidad.

En cuanto a la usabilidad hay que decir que se parece mucho a Clementine, quien esté interesado en probarlo hay un periodo de prueba de 30 días así como varios tutoriales sobre la herramienta que podéis encontrar aquí, también tienen un canal en youtube que tiene vídeos del funcionamiento de la herramienta, a ver si os animéis la probáis y nos contéis que os parece.

En un mundo donde cada vez es más difícil ver nuevas y buenas ideas siempre es de agradecer que te sorprendan, y a mi Clario lo ha hecho, si que falta cosas por pulir, como por ejemplo que está muy bien que se pueda trabajar en la nube mientras se diseña el modelo pero cuando se tiene que poner en explotación es mucho más cómodo hacerlo en tu propio servidor, sin tener que subir los datos al servidor de Clario y después bajando el resultado... pero demos les tiempo, seguro que los chicos de Clario desarrollarán algo interesante para cubrir esta necesidad.

Geomarketing - Cuotas de Mercado

Últimamente he recibido peticiones de ayuda para calcular áreas de mercado aplicando el modelo de huff lo que me ha llevado a darle al tema unas vueltas.

El modelo de huff no cálcula áreas de mercado, calcula la propensión (probablidad) de atracción, y es un modelo que está muy bien estudiado en los centros comerciales y supermercados, pero aplicarlo a otros sectores hay que ir con cuidado, y acosejo usar el modelo MCI donde podemos estudiar muchas más variables.

También existe la tendencia a estudiar la cuota de penetración a partir del área calculada, pero creo que estudiar la cuota de penetración no es suficiente para que el valor de dicha penetración sea significativo.

Lo que realmente hay que analizar es la cuota de mercado (la penetración es una parte de la misma), y según Kotler y Lane esta cuota hay que estudiarla a partir de:

Cuota de mercado = Penetración • Fidelidad • Selectividad • Precio

Como ejemplo un caso real, sencillo y práctico que me pasa a mi en mi vida cotidiana: Hemos cambiado el lugar de compra no por la distancia, si no porque el producto de compra es más barato (alrededor de un 50% más barato). Es decir, el establecimiento 1, ha perdido capacidad de atracción, y no por la distancia o por su superficie, como dice el modelo de HUFF, si no porque el precio es más caro. Si estudiaramos el área de influencia por ejemplo introduciendo un precio medio para nuestro establecimiento y el de los competidores podríamos llevarnos algunas sorpresas. Y si, esto no es geomarketing, es marketing de toda la vida, y no hay que perder la perspectiva por tener el mapa más chulo.

Data Mining - IBM compra SPSS

Llevamos mucho tiempo con 2 claros dominadores dentro del campo del análisis de datos, por un lado la todo poderosa SAS y por el otro SPSS; pues parece que esto va a cambiar, ya que IBM se ha propuesto comprar SPSS.

¿Qué cambios habrá en el desarrollo de nuestro querido Clementine? tendremos que estar atentos, aunque creo que este movimiento nos va beneficiar a todos los que nos dedicamos a la Minería ya que IBM siempre se ha caracterizado por desarrollar software de calidad.

Hay que reconocer que el software de minería de datos de IBM, Inteligent Miner , no acabó de cuajar, al igual que todas las soluciones de minería de datos ofrecidas por desarrolladores de Bases de Datos (Oracle, Teradata, SQL-Server) ha quedado relegada a tareas de explotación de modelos creados por otras herramientas, pero esto puede cambiar drásticamente con la adquisición de SPSS; tendrá una herramienta totalmente aceptada por la comunidad que podrá integrar de una manera privilegiada con sus Bases de datos. Muy inteligente la jugada por parte de IBM.

Os dejo los enlaces de la noticia que he encontrado aquí, aquí y aquí. Por último os adjunto la nota de prensa de IBM.

Actualización: os dejo aquí la noticia que ha aparecido en New York Times sobre el tema.

Data Mining - Video Lectura de R y Weka

Tengo que reconocer que que soy un enamorado del software libre, me encanta la idea que se hagan cosas para todos, donde todos podamos trabajar y aportar, la verdad es un concepto que considero que estará muy presente en nuestro futuro.

Dentro de mi campo, la minería de datos, hay dos grandes herramientas GPL. R ya os hablé de ella, para mí es la que más futuro tiene por su versatilidad, es un leguaje de programación por lo tanto se puede hacer de todo, desde crear un directorio en el pc que estés trabajando, hasta diseñar un paquete que te sirva para expotar los informes finales a pdf, sin mencionar la gran de opciones analíticas y gráficas que contiene.

La otra grande es Weka, es una aplicación echa en JAVA que contiene todo lo necesario para hacer análisis de minería de datos, desde conexión a bases de datos por ODBC, algoritmos de selección de variables, todo tipo de modelos para ajustar a nuestros datos, diferentes manera de definir la evaluación de los modelos y mil cosas más.

Podeis encontra más información en un libro que hicieron los autores de Weka que está bastante bien, os dejo aquí el enlace.

Para que os hagáis una idea de como son los dos paquetes os dejo aquí una presentación que hizo Luís Benache, un profesor de la Universidad de Valencia sobre esto paquetes comentando su capacidad de hacer análisis. Espero que la encontréis interesante.

Other ML/DM software (R, Weka, Yale)

Lluís Belanche

Data Mining - Página sobre tutoriales

¿No os pasado que al cambiar de ordenador perdéis imformación importante? Seguro que si, y anda que no que no mosquea el tema...

Hace tiempo que echaba de menos una página, que por casualidades de la vida perdí tanto en el ordenador personal como en el del trabajo, que contenía tutoriales sobre minería de datos y machine learning que estaba muy bien y hoy, de casualidad, la he reencontrado.

Os la dejo aquí, es un poco dura y muy técnica pero también muy completa, llevo mucho tiempo recopilando información y no he encontrado nada parecido.

Espero que os guste, y si alguien sabe de más sitios que considere interesantes que se anime y nos lo deje por email o en un comentario, a ver si hacemos entre todos una lista de páginas sobre minería y geomarketing que nos sirva de referencia a todos.

Data Mining - Noticia Software Libre en Forbes

Hoy he podido leer en Forbes un artículo muy interesante sobre nuevas apuestas sobre software libre, que con la crisis cada vez son más tenidas en cuenta, nos destacan las siguientes:

• R, no hace falta que lo presente.
• Eucalyptus, un entorno para hacer cloud computing, comparte las API's de Amazon Web services, cosa que hace que se esté estandarizando este tipo de servicios.
• Drizzle y MariaDB, dos bases de datos, una para entorno cloud y la otra una hija de Mysql, que no esta de mas sabiendo que esta ha sido comprada por Oracle.

Cuanto más tiempo pasa más convencido estoy que está llegando la hora al software libre y habrá un movimiento importante hacia modelos de negocio que se basen en este tipo de soluciones.

¿Vosotros que opinais?

Data Mining - Conferencias de verano.

Como todos los veranos llega la hora de cursos de verano, conferencias, ponencias y cosas por el estilo, y hay que reconocer que hay bastantes opciones. Yo personalmente me quedo con las siguientes:

USER, la conferencia de los usuarios de R, muy interesante la verdad, siempre hay muchas cosas punteras, a ver si tenemos suerte y como pasó con pasadas conferencias cuelgan las diapositivas de presentación.

Rmetrics, esta asociación mantiene un paquete de R orientado a la Finanzas, este año hacen su primera conferencia y pinta bien, a demás han colgado las presentaciones que siempre es de agradecer.

KDD, la grande, la insuperable, la primera y mil calificativos más. "La conferencia" de minería de datos por excelencia, ya os cometamos en un post que tiene vinculado un concurso la KDDCup, pasaros a dar un vistazo que no perderéis el tiempo.

Intenational Conference on Computational Aspects of Social Networks, no es conocida, es mas creo se estrena este año, pero está especializada en el campo de la redes sociales, un campo que dará mucho que hablar en los proximos años.

Por último os dejo aquí un enlace a un workshop sobre Web Personalization, es un descubrimiento de última hora pero tratan un tema que me interesa bastante, el tratamiento con herramientas analíticas del problema de la optimización de la Web; sobre todo echad un vistazo a los motores de recomendación, ya que será una técnica sobre la que postearé en breve.

Data Mining - Redes Neuronales aplicadas al Geomarketing

Hace unos días nos encontrábamos tratando el tema de las tipologías comportamentales en el ámbito del geomarketing, y entramos en una discusión bastante interesante con Guillermo sobre cómo encarar problemas estadísticos en el ámbito del geomarketing.

Guillermo nos preguntaba como resolver el problema de la predicción en un entorno espacial de una manera genérica. Intentamos explicar, tanto Jesús como yo, cómo encararíamos el problema de una manera sencilla, pero creo que nos quedamos a medio camino y no conseguimos exponerlo de una manera entendible.

Resulta que este fin de semana encontré un articulo que nos viene perfecto para ilustrar la resolución de este tipo de problemas; la metodología de base es sencilla, no utilizan excesivas variables y utiliza una técnica clásica en la Minería de Datos, las Redes Neuronales.

El problema que se aborda es la valoración inmobiliaria, partiendo de información tanto georeferenciada cómo referente al inmueble estudiado en cuestión. Si que es un poblema algo desfasado en el momento actual, y más con la que está cayendo en el sector, pero eso no quita que cuando se entrenó, un momento donde el sector crecía de manera estable, los resultados fueran buenos.

Os dejo aquí el enlace y ya me cometaréis que os parece.

Geomarketing - Artículo en CISCII 2009

En la nueva edición de CISCII 2009 (Conferencia Iberoaméricana en Sistemas, Cibernética e informática) se ha presentado un artículo sobre el geomarketing.

El artículo es de los profesores del Departamento de Economía y Ciencias Sociales de la Universidad Politécnica de Valencia, Juan Buitrago, Serafín Clemente, Carmen Escrivá y Amparo Baviera.

¿El énlace? el 15 de mayo fue la boda.

Geomarketing - Publicidad en los vagones del metro de Madrid

Dicen los gurús de los blogs que los Viernes no hay que escribir, que lo mejor es hacerlo el Lunes, pero es que a mí las cosas me pasan los Jueves, y como tengo memoria de pez mejor lo escribo ya que si no se me olvida.

Situación, Metro de Madrid, línea 1, a las 22:30 horas. Vengo roto de mi clase de buceo, con pocas ganas de nada. Entra un grupo de jovenes con cara sonriente, pensé en la suerte que tenían por estar de fiesta en esos momentos, y justo antes de que se cierren las puertas entra el último hablando por un móvil a grito pelao. ¿qué móvil era? Su propia mano, en un principio pensé que estaba de coña, cuando una chica empezó igual, pensé en un grupo de teatro recaudando para vivir, pero la cosa cambió cuando más que lo que hacían lo importante era el mensaje de lo que decían. Hicieron videoconferencias, calcularon donde estaban, chat, internet, etc...y al final, justo en la siguiente estación, se giraron abrieron sus palmas y se vió el logo de NOKIA, a lo que dijeron: "Esto ha sido un momento Nokia, conecting people".

Para mí lo interensante radicó en el lugar, evidentemente, el metro, y no cualquier metro, si no en la línea 1, entre las paradas de Chueca y Gran Via. Es lógico pensar que en ese tramo y a esa hora, un Jueves el mercado objetivo de estas herramientas, jovenes (sigo sin ver a mis queridos padres haciendo videollamadas), poder adquisitivo propio o cercano (un Jueves por desgracia en esta época salen menos) y al día en nuevas técnologías (yo me descarto porque tuve un HTC que tenía de todo y volví a mi 8310 que pesaba menos...) .

Independientemente de las nuevas tendencias en marketing, el analizar donde vas a ponerlas en práctica sigue teniendo vital importancia.

PD: Por desgracia para NOKIA y tras un rápido vistazo, el vagón tenía alrededor de 30 pasajeros, de los cuales, yo creo que era el más joven, en la treintena, y la mayoría gente de más de 50 años, mujeres y que venían de trabajar por lo que me pareció a mi. Para que luego digan que el Geomarketing funciona...jajajajaja

Data Mining - Revista sobre analítico

Simplemente recomendar una revista gratuita sobre Análisis, se llama "Analytics".

La verdad es que no he visto otra revista que esté tan especializada, todas las publicaciones que he leído siempre se centran en el Bussines Intelligent y a partir de allí hacen alguna referencia a estudios analíticos o hacen un articulo sobre alguna herramienta.

Le he echado un vistazo y no está mal, y además es gratis

Os dejo aquí el enlace, ya me diréis que os parece.

Data Mining - R

Durante mis años de universidad tuve la suerte de ver crecer una herramienta GPL que en principio me parecía fea y difícil de usar, y con el tiempo me ha convencido que no hace falta un interfaz bonito y pagar grandes cantidades de dinero para hacer buenos análisis; esta herramienta se llama R.

Con el tiempo este proyecto me ha ido convenciendo que es una de las mejores herramientas que existen en la actualidad. Fue creada a principios de los 90 cómo una replica gratuita de S+, unos de los mejores entornos de análisis de datos que ha habido nunca, el cual ha venido a menos por culpa de su hermano libre. Hay que reconocer que los principios no fueron nada fáciles, muchísimos bugs, grandes problemas de compatibilidad, rendimiento computacional muy limitado... pero sus creadores no se rindieron, y durante estos 20 años de desarroyo se ha conseguido hacer una herramienta de una potencialidad increible, ¿por qué digo esto? pues es muy sencillo, R es un lenguaje de programación con grandes capacidades para representar información de forma gráfica amén de tener infinidad de funciones y algoritmos orientados al análisis de datos y, lo que es más importante, unas API's bien definidas que permiten que cualquier usuario con conocimientos de C pueda crear sus propios paquetes.

Esta capacidad de expandirse de manera sencilla y abierta por todo el publico ha sido uno de los grandes aciertos de los desarrolladores, ha permitido que el número de paquetes de R haya crecido exponencialmente hasta más de 1700 que existen actualmente, ¿y que podemos encontrar en estos paquetes? de todo, creo que hay muy pocos campos del analisis de datos que no estén tratados por un paquete de R, desde la conexión a base de datos, cual tipo de análisis imaginable, generación de informes automáticos, todo tipo de gráficos, ... incluso se han creado diferentes agregaciones de paquetes que tratan diferentes campos en concreto, os dejó aquí la página donde podéis ver todos los grupos, eso sí, os comento los que considero más importantes para hacer minería de datos; estos son Machine Learning, análisis multivariante, optimización, computación de alto rendimiento y paralela, análisis de grupos, gráficos y como no análisis de datos espaciales. Que quede constancia que le lanzo un guante a mi compañero Jesús para que realice algún test sobre las capacidades espaciales del programa y nos lo cuente comparando capacidades con otras herramientas, hay queda.

Teniendo en cuenta como está la situación actual, donde la competencia es aférrima, tener una capacidad de hacer análisis de manera rápida y fiable es imprescindible y que todas las entidades tienen reducción de costes considero una opción más que valida R, recordemos que hace relativamente poco hablamos sobre que se ha ganado la KDD Cup trabajando sobre R, es decir que potencialidad para el modelización no le falta; imaginaros el departamento de expertos que se podría formar sólo con el coste de la implantación de alguna de las herramientas de minería privativas.

Imaginad como está situando la industria a R como competencia que han empezado ha enlazarlo con sus propios lenguajes, aquí podemos observar como SPSS permite desde su herramienta llamar a R para hacer análisis, por otro lado en esta notícia nos comenta que SAS también incorporará esta capacidad, algo se tiene que estar moviendo para que los grandes permitan utilizar este software libre desde susherramientas; aquí podríamos aplicar eso de "Si no puedes con el enemigo únete a él".

Y la verdad es que no me extraña este movimiento generalizado de toda la industria, cada vez veo más noticias que grandes empresas han utilizado R para sus trabajos analíticos, os dejo aquí un video donde se nos explica como Facebook y Google, entre otras, utilizan R para sus análisis.

Otra noticia que me sorprendió es que se les hizo una entrevista a los creadores del programa en el New York Times, esto puede parecer que no es importante, pero que en un medio que no es expecializado ni académico se haga eco de una herramienta GPL y nos hable bien de ella es muy importante, aunque sólo sea para dar algo de publicidad.

Sinceramente, desde mi punto de vista, se abre una oportunidad impresionante aquí en España, creo que la primera empresa que apueste por esta herramienta, que haga alianzas con los creadores y otras empresas extrangeras, que de un servicio de hot line, de consultoría de negocio y de sistemas, que de formación en el tema, vamos básicamente que escoja un modelo de negocio basado en software GPL se va a posicionar dentro del BI analítico de una manera muy firme, y una vez situada va a ser muy difícil sacarle.

Bueno pues esta ha sido mi presentación de R, ya iremos hablado y expandiendo conocimientos sobre esta herramienta y de otra muchas también.

Geomarketing - Video del funcionamiento de Business Analyst de ESRI

Tres videos del funcionamiento de la extensión de Geomarketing de ESRI Business Analyst