Data Mining - MADlib libreria para hacer Data Mining en BBDD

Ya cada vez más tenemos todo tipo de iniciativas, la última y que más me ha llamado la atención es MADlib.

Hace ya unos años todas las empresas de BBDD añadieron algoritmos de minería a sus distribuciones, me acuerdo que teníamos más de una discusión sobre si era por que quería orientarse la empresa al analítico o por el hecho que sus divisiones de analítico no habían conseguido cuajar y aprobechaban el trabajo hecho dando alguna funcionalidad más a sus productos estrella; la verdad es que no he visto ningún proyecto de analítico que tuviera como soporte este tipo de software...

Ahora con MADlib tenemos más o menos lo mismo pero en software libre, una librería para hacer en BBDD, en concreto parece que en principio la BBDD GPL que lo soporta es PostgresSQL, aunque parece que también soportará a Greenplum, una BBDD propietaria que no tenía este tipo de servicios; en si parece que Greenplum se ha asociado con "Data Research Group" de la universidad de Berkely para desarrollar esta funcionalidad.

En lo que respecta a la utilidad, pues la verdad dudo que llegue a suplir la necesidad de algún software de análisis de datos a la hora de construir modelos, sinceramente considero mucho más interesante tener la capacidad de explotarlos, es decir, de importar modelo en PMML y explotarlo y no me extrañaría nada que al final esta herramienta se le añadiera esta capacidad, es más, creo que es un objetivo final ya que está en una fase muy inicial de desarrollo y todavía no se sabe hacia donde derivará.

Siceramente si al final es capaz de explotar PMML, si se le da soporte a más BBDD (uno de los puntos donde dicen que tienen que crecer) podría convertirse en una herramienta muy interesante dentro del mundo GPL, si no coge este camino dudo que tengamos más noticias sobre él.

Geomarketing - Segmentación de Precios (Blog de marketisimo)

Acabo de leer el post de "Cómo incrementar las ventas segmentando los precios" del Blog de Marketisimo.

En el post nos cuentan siete estrategias para la segmentación de precios y la repercusión en el beneficio. Creo que en todas de ellas se puede buscar una relación con el mundo del geomarketing, os dejo algunas reflexiones de algunas de ellas, que estoy seguro que podéis completar con más opiniones.

Estr.1. Carácterísticas del consumidor. Incide en variables demográficas que influye en el proceso de compra y sensibilidad al precio con el uso de cupones. Como comentan en el post, la ocupación o la edad son importantes para ofrecer precios diferentes de un mismo producto, cada segmento un precio, ¿pero como lo aplicamos en el punto de venta? Analizando localmente en cada punto de venta estos segmentos, y adecuando no el precio del producto a un segmento simplemente, si no la oferta a cada punto de venta. Es evidente que para adecuar tu oferta a cada segmento, tienes/debes que conocer a los consumidores que te rodean, que van o que pasan por tus diferentes puntos de venta, e incluso segmentar éstos para adecuarlos a los segmentos de consumidores. He aquí un gran ventaja para las empresas el uso del geomarketing para conocer a sus consumidores y adecuar su oferta.

Estr.2. Lugar de Compra. Hace referencia al nivel competencial, adecuando los precios según la competencia en el lugar de compra. Creo que este punto es el más claro en la relación con el geomarketing, aunque se puede hilar más fino, analizando la competencia, su impacto, cuotas, y marca, cosas muy sencillas de analizar con el geomarketing y muy estudiado en el mundo del retail y cadenas de distribución.

Estr.3. Momento de compra. Explican el uso de series temporales para la predicción de compra de billetes de aerolíneas. Que decir tiene la importancia del data mining para este tipo de estrategias. También con el geomarketing podemos analizar a partir del punto de venta como puede evolucionar o como podemos segmentar nuestro negocio.

Data Mining - Entrevista al creador de los motores de recomendación.

Si os hablo de Andreas S. Weigend se muy posible que nos os despierte nada ese nombre, pero si os digo que fue el creador del motor de recomendación de Amazon, la cosa ya toma otro color.

Este señor no contento con crear, bajo mi punto de vista, el primer motor de recomendación funcional en la web, en el 2004 se desvincula de Amazon y se pone por su cuenta a "estudiar la gente y los datos que generan", ¿tendremos que acunar esta frase a la hora de definir nuestro trabajo? yo la verdad creo que es muy acertada.

En la entrevista que le hacen en el blog del pais nos habla sobre el futuro del análisis de la información, donde parece que cree que el móvil será el nuevo captador de información de calidad y útil.

Esta opinión suya en un principio me hizo dudar un poco, ¿móvil? estoy acostumbrado a trabajar con increíbles cantidades de variables de individuos, pero ¿trabajar con redes de relaciones?... no lo tenía del todo claro. Luego el maestro lo aclaró, el móvil sabe donde estamos en cada momento, que páginas vemos, a que mensajes les prestamos atención, si cogemos un tlf a una persona o no, el tono de nuestra voz, que aplicaciónes nos interesan... y un largo ect.

La verdad es que tiene toda la razón del mundo, pero hay un pero, la gente que tiene un móvil para llamar y punto, en la cual me incluyo, no creo que el móvil sea tan importante, por lo tanto creo que este tipo de mediciones tendrá una importancia en la gente más geek, pero en el resto de los mortales yo no lo tengo tan claro.

De todas maneras el maestro ha hablado estoy seguro que en el futuro, cuando los móviles sean medios de pago extendidos y todo el mundo pueda permitirse un móvil con conexión a internet técnicas diseñada para estudiar las redes de relaciones que se generen serán muy necesarias.

Y vosotros que opinais?

Data Mining - SAS contra las cuerdas por Pentaho

Que los enanos que le estaban creciendo a SAS están ya en la universidad y que apuntan maneras no es ningún secreto, en concreo tenemos a WPS, que según nuestro compañero Raúl Vaquerizo del blog Análisis y Decisión nos permitiría una migración a una solución mucho más barata es totalmente factible y que conste que Raúl es un experto en SAS.

Por otro lado nos tramos noticias como la siguiente donde nos van haciendo una analogía entre SAS y el mundo del software libre; hya un punto muy interesante que es la comparación de la posición de Microsoft con respecto a Linux, donde Bill Gates decía que el software libre no cubría las necesidades de un usuario profesional y que sería sólo utilizado por aficionados; lo mismo pasó cuando surgieron las bases de datos libres... ya ahora es SAS que el software libre no se puede utilizar en su negocio...

Es muy intereante la gráfica sobre el nivel de búsquedas de SAS frente a Pentaho que nos encontramos en el articulo antes mencionado; si fuera el CEO de SAS estaría muy pero que muy preocupado.

Es cierto que a nivel profesional sólo SPSS (o IBM) puede competir con SAS a nivel analítico, que los clientes de SAS normalmente son clientes que búscan un software analítico y que esto todavía lo tiene que mejorar mucho Pentaho (también hay que recordar que adquirio WEKA por lo tanto está en ello), pero también es cierto que hay otras soluciones para suplir ahora mismo esta deficiencia, el siempre comentado R, y si no recuerdo mal estaban trabajando en enlazar R con Pentaho con algún resultado ya.

Por otro lado recordar que también se puede utilizar soluciones muy comentadas en este blog como son Knime y Rapidminer para solucionar la parte de minería de datos dejando Pentaho para temas de reporting, cubos, carga de BBDD...

Primero fueron los sistemas operativos, luego las BBDD, continuaron con los desarrollos de middlware... parece que ahora ya le toca al BI y a los desarrollos analíticos ¿no creéis?

Data Mining - Nuevo libro gratis Clever Algorithms

Hola a todos,
esta vez os traigo informacion sobre un nuevo libro GRATUITO (por lo menos por ahora) que acaba de salir al mercado, Clever algorithms.

Se trata de un compendio donde se reunen todos los algoritmos estocasticos de optimización que te puedas imaginar, en total hay 45 descritos enmarcados en diferentes categorías (algoritmos geneticos, redes neuronales...).

Destacar también que se encuentran algormitmos englovados dentro Swarm Algorithms y Immune Algorithms. La verdad es que durante un tiempo me interesé por esto dos tipos de algoritmos de optimización y no encontré nada, aunque hay que reconocer que yo soy estadístico no un programador de IA.

Espero que lo encontreis interesante, yo en cuanto tenga un respido le pienso dar una oportunidad, sobre todo me tiene intrigado el hecho que han copiado el modelo de respuesta inmunológica para optimizar funciones.

Geomarketing - Apertura Mercado en la Milla de Oro de Madrid

Hoy sale publicada una noticia en el diario "el mundo" con la nueva apertura de un mercadona en el céntrico y prestigioso ABC Serrano.

Lo primero que hemos hablado está claro, ¿mercadona en una zona de este nivel? Bueno, si buscamos en la base de datos alimarket muy cerca hay un Supermercado El corte Inglés y un Caprabo (digamos gama alta de supermercado) pero también hay dos supermercados DIA% (uno del tipo Market).


 ¿y cuales son los principales comercios del ABC Serrano? Pues en la ficha de la AECC (Asociación Española de Centros Comerciales) tenemos que compartirá espacio con Zara, Mango, Musgo, Douglas, Adolfo Dominguez, e Imaginarium como principales enseñas. Creo que el espacio que ocupará Mercadona será el de Zara, pero está sin confirmar, por el tema de espacio (el local que dicen que ocuparán es de 1500m2 lo mismo que el de Zara).

Para mi es sorprendente que Mercadona apueste por este tipo de ubicación, aunque si es cierto, que en esa zona no estaba presente. Para mi que mercadona está empezando a ser consciente de su buena imagen de marca, y ha decidido dar el salto a zonas potenciales antes no prioritarias.

¿no responderá al sorprendente nivel de compras on-line que recibe de la zona centro de Madrid? Debajo de mi casa, zona las Tablas, hay un Supermercado Madrid y un Ahorra Más, y siempre que llego me encuentro con el repartidor de Mercadona, desde Sanchinarro (3-4 km). ¿está cambiando el modelo de compra en los supermercados?¿qué porcentaje de compra online supone en la facturación en las grandes ciudades? ¿o será qué están como locos posicionándose en ciertas zonas antes de que les obligen a abrir centros de más de 2500m2 ?

Data Mining - Documento "Data Mining Map"

Trasteando por la red he encontrado un extraño documento donde se presenta el data mining bastante completito.

Pero lo mas interesante de este documento es que tiene una navegación visual en árbol, es decir, cada una de las ramas y técnicas del data mining están representadas en un árbol, y clikando sobre las diferentes hojas se accede a los documentos explicativos.

Considero que es una manera muy explicita de explicar las diferentes técnicas y pasos que se utilizan dentro de un proyecto; todos conodemos CRIPS-DM y SEMA, pero también es cierto que están ligadas a sus herramientas, detro de este documento podremos ver de manera clara y sencilla los mismo conceptos sin estar atados a una metodología propietaria.

La verdad una forma muy intersante de explicar la materia, os dejo el enlace aquí.

Data Mining - Presentación de Machine learning en R

Hola a todos,

hoy os traigo una presentación que ha creado dentro del departamento de I+D de Telefónica donde nos presentan una pequeña introducción desde 0 de R dentro del mundo del Machine Learning.

No es algo nuevo, estoy seguro que si buscamos un poco encontraremos cosas parecidas hechas anteriormente, pero lo que si es remarcable es que es dentro de una empresas privada y en nuestro país.

Os la dejo aquí para que le déis un vistazo.

Machine Learning in R

View more presentations from kerveros99.

También aprobecho para desearos felices fiestas a todos.

Geomarketing - Geolocalización y Forusquare (3)

De las opiniones que hemos ido vertiendo por los temas de geolocalización y foursquare, el diario catalán "ara" (ahora) en su suplemento de "araemprenem" (ahora emprendemos)  se ha hecho eco de las mismas en un artículo sobre la geolocalización.

Si lo queréis leer aquí lo tenéis, en catalán, pero entendible. Pinchad sobre la foto y se abrirá en google docs.

Geomarketing - Estudio de transeúntes. City Analytics y Cuende

Si hay algo que cada vez nos interesa más a la hora de abordar un estudio de geomarketing a pequeña escala es el análisis de los transeúntes. Saber cuanta gente pasa por una calle, el tipo de gente, edades, sexos, sus tipologías, horarios puede ser una de las variables más importantes a la hora de abordar una apertura o un cambio de ubicación. 

De este caso recuerdo el de una cadena de bisuteria famosa con un problema en una de sus tiendas en Valencia. La cuestión era que apesar de estar en una buena zona, muy acorde al tipo de tienda, los resultados que estaban obteniendo no eran muy satisfactorios. Analizando el flujo de personas pudimos ver como el tramo de calle donde estaban estaba "cortado", puesto que los flujos de personas se movian en otra dirección al llegar a ese tramo. Moviendo la tienda apenas 100 metros, los resultados fueron instantáneos. 

¿De qué datos disponemos para trabajar los flujos de personas? Actualmente la base de datos de transeúntes más usada el llamado fichero Gogh, que elabora la empresa CUENDE Infometrics. Tradicionalmente se ha venido usando para por ejemplo tarificar los circuitos de publicidad estática en las ciudades, pero cada vez son más las empresas de geomarketing que lo incorporan en sus análisis. La única pega es el precio, algo caro, pero bueno, los precios no son nuestra guerra en el blog. Las características de trabajo de este fichero son (extraído de su página web):

La captura de los desplazamientos se realiza el seguimiento de 5.700 panelistas mediante A-GPS en las áreas metropolitanas de Madrid y Barcelona. En otras poblaciones se recogen los trayectos mediante encuestas realizadas con tablet PC directamente sobre cartografía digital mediante software propio.

Trabajo de Campo:
Ámbito: Principales ciudades mayores de 70.000 habitantes. En las 6 mayores (Madrid, Barcelona, Sevilla, Valencia, Alicante y Bilbao) se incluyen las poblaciones de sus Áreas Metropolitanas con más de 50.000 habitantes.
Universo: Individuos de 14 a 75 años residentes en los municipios de referencia.
Muestra: 21.436 individuos.

 

Por suerte cada vez hay más iniciativas para el estudio de transeúntes. En el blog de UNICA360 de Guillermo Córdoba han publicado un post sobre city analytics. Podéis leerlo en su blog directamente, un muy buen post de recomendada lectura. Nos ofrecen datos de pasos de personas, vehículos, horario comercial óptimo, etc.

Geomarketing - Servicios a emprendedores

Esta semana amanece con tres noticias, bueno no es que sean nuevas, pero es el momento de hablar de ellas. Las tres son servicios a emprendedores marcados en el ámbito del geomarketing, con nuevas aplicaciones on-line, que permiten de manera sencilla obtener datos e informes de zonas para estudiar la viabilidad de negocios, enfocado a los emprendedores que buscan información para sus negocios.

Las herramientas son todas on-line, enfocadas a la venta de informes, con tecnología muy diferente, pero con un resultado muy parecido.

La primera es la herramienta presentada por AXESOR, que compró hace tiempo Data segmento, y que ha englobado la venta de sus servicios bajo el nombre matriz Axesor. Con su herramienta han buscado un canal de venta nuevo a los datos que tradicionalmente han comercializado, sobre todo a nivel de empresas, por lo que no habrá que esperar mucho para que su competidor en este tema, EInforma se ponga manos a la obra con este canal de venta. Básicamente, se trata de una herramienta donde a partir de una dirección, permite realizar áreas sencillas, como un círculo o rectángulo, donde se seleccionan las secciones censales que interesectan con él. La teconología usada es de ESRI, y la verdad es que es muy vistoso. Lo interesante es que puedes usarla gratuitamente, y sólo pagas por los informes que quieres de la zona.

 

Otra herramienta del estilo viene de la mano de IVER, la empresa que viene desarrollando aplicaciones comerciales de la herramienta gratuita GvSIG. Las herramientas que tienen son GeoMercat en desktop, en web y muy interesante en móvil. Me gustan estos desarrollos en plataformas gratuitas, y más viniendo de Valencia, de donde es uno.

 

 La tercera herramienta está en desarrollo, y viene de la mano de la empresa SITEP, que ha sido la adjudicataría de un sistema de ayuda a emprendedores para Barcelona Activa.

Data Mining - Interesante post en el blog de Enrique Dans

En el blog de Enrique Dans, blog tremendamente recomendable seas de ámbito que seas, podemos encontramos un interesante post sobre una herramienta de sentiment mining.

Es interesante ver como poco a poco este tipo de herramientas van surgiendo para suplir necesidades de mercado existentes; ya hablamos hace un tiempo de una herramienta española que venía a cubrir la misma necesidad.

Creo firmemente que dentro de un tiempo las grandes empresas dentro del análisis de datos (SAS e IBM) ofrecerán soluciones para este tipo de problema, haciendo que estas soluciones sean mucho más conocidas por el usuario no técnico.

Data Mining - Cosas que tienes que conocer en el 2011 segun Forbes, R.

Hola a todos;

hoy os adjunto un interesante articulo de la revista Forbes de algo que hemos estado intentado avisar a la comunidad de analístas de datos, que R será, o mejor dicho es, una técnología disruptiva la cual cambiará el equilibrio que hay entre las diferentes herramientas de análisis de datos.

Toca puntos que ya hemos comentado, como por ejemplo que Facebook utiliza R para sus análisis o
que R está sustituyendo al software propietario en las empresas y que por lo tanto se está creando una masa de técnicos que ya lo conocerán por defecto, entre otros puntos.

Un punto que no trata y que creo que es muy importante para la estandarización de la herramienta, y que hace que no sólo sea utilizada por Nerds, es la facilidad de uso. Todos sabemos que por muy pontente que sea algo si no es fácil utilizarlo se encontrará con grandes reticencias en su implantación, y es en este campo donde R está dando pasos increibles, con Red-R o sus intefaces con Knime o Rapid Miner.

Señores el futuro llama a nuestra puerta, ¿seremos capaces de seguirle el paso?

Geomarketing - TargetMap. Aplicación de Geomarketing.

Mapgenia acaba de lanzar una herramienta online para poder visualizar ficheros excel sobre Google Maps.

TargetMap ha sido concebida como una plataforma para compartir conocimiento, por lo que es completamente gratuita para aquellos que pongan sus datos y mapas resultantes a disposición de la comunidad.

Página inicial

Sólo tenemos que escoger un país, subir nuestro fichero excel con una columna con códigos postales o nomenclatura territorial, y en un momento veremos nuestros datos sobre el mapa.

Datos sobre España

Si subimos los datos por códigos postales, vemos cada registro colocado en su posición exacta. Además podemos ir agrupando hacia niveles superiores para trabajar con los datos asociados. Se pueden realizar sumas, cuentas y mapas de cobertura.

Podemos filtrar nuestra información por territorios, simplemente clicando sobre la zona del mapa que deseemos.

Actualmente ya dispone más de 30 países disponibles,  Los mapas se pueden exportar a presentaciones, insertar en blogs o compartir vía Twitter o Facebook.

Todos los mapas publicados se recogen en una biblioteca a disposición de todos los usuarios. Es posible combinar nuestros datos con información de los mapas públicos para crear nuevos mapas y obtener nuevas conclusiones.

Aquí tenéis el linkk para que le echéis un vistazo.TARGETMAP

Geomarketing - Análisis de supermercados según HUFF o MCI

Este puente he estado en Valencia, en el barrio donde crecí, y me llevé una sorpresa al ver que una cadena de supermercados se había hecho con otra, Consum adquirió los centros de Vidal Europa, por lo que la situación competencial en la zona con Mercadona ha variado en cuantía. Dado que el modelo de Huff es el usado en estos casos para calcular demandas potenciales, he hecho un pequeño estudio de la zona, aprovechando el mal tiempo que nos ha hecho en la fiesta de la Almudena.

A parte de usar el Modelo tradicional de Huff (superficie y Distancia) he usado el modelo MCI expuesto en la tesis de Rosa Colomé donde tenía en cuenta la distancia, la accesibilidad, y la oferta de bajos precios para calcular las probabilidades de atracción.

Aquí os cuelgo la presentación que he realizado del tema. Es sencillito pero aclarador.

Análisis de ubicación de supermercados con técnicas de Geomarketing

View more presentations from Jesus Lagos.