Geomarketing - Integración de knime con MapInfo - MapBasic

El mundo del data minning del que Paco es un verdadero experto siempre me ha quedado un poco lejos, pero gracias a herramientas como KNime voy conociendo un poco más el "mundillo" de la minería de datos.

Y la primera sorpresa que me he llevado ha sido la facilidad para integrar modelos directos, desde un fichero de entrada como pueden ser clientes, aplicarles el algoritmo de kmeans para segmentarlos a partir de valores de negocio y datos sociodemograficos. Evidentemente que este tipo de técnicas requieres de manos expertas, sobre todo para analizar los resultados, pero que menos que poder explotarlo de manera visual en un mapa.

Pues eso he hecho, me he creado un pequeño flujo de 7 nodos, para aplicando K-means y C-means para comparar resultados. Luego desde MapBasic me he creado un menú de conexión a knime, donde ejecutar en modo batch el flujo a partir de tablas que tengo en mapinfo y realizar mapas temáticos.


Por si os interesa os dejo el chorro de código que le paso para ejecutarlo en modo batch desde MapBasic. Lo que hago desde MapBasic es:

Include "MAPBASIC.DEF"
Include "MENU.DEF"

Declare Sub Main
Declare Sub kmeans
Declare Sub Mapa

'genero el menú para tenerlo en MapInfo
Sub Main
    Create Menu "knime" As
        "Segmentacion" Calling kmeans,
        "mapa tematico Segmentacion" Calling Mapa

Alter Menu Bar Add "Knime"

End Sub

Sub kmeans
'Exporto la tabla de clientes para enchufarla al knime como parámetro en opción del nodo
Export clientes_ok Into "E:\knime2\clientes.TXT" Type "ASCII" Overwrite Delimiter "|" CharSet "WindowsLatin1" Titles
'lanzo en modo batch el knime, como véis le paso como parámetros en el option=1 (nodo 1) el fichero que acabo de exportar
'y en el nodo 4 y 7 las dos salidas del modelo para luego levantarlas más adelante, se puede parametrizar el numero de 
' iteraciones y datos a usar en cada algoritmo
Run Program "cmd.exe /c"+" E:\knime2\knime_2.3.1\knime.exe -consoleLog -nosplash -application -noexit org.knime.product.KNIME_BATCH_APPLICATION -workflowFile=E:\knime2\MapInfo2.zip -option=1,DataURL,"+"file:E:\knime2\Clientes.txt"+",String -option=4,filename,"+"tmp/Clientes_kmeans.csv"+",String -option=9,filename,"+"tmp/Clientes_cmeans.csv"+",String"

End Sub

Sub Mapa
'El resultado lo abro y lo paso a TAB directamente
Register Table "E:\knime2\tmp\Clientes_kmeans.csv"  TYPE ASCII Delimiter 44 Titles Charset "WindowsLatin1" Into "E:\knime2\tmp\Clientes_kmeans.TAB"
Open Table "E:\knime2\tmp\Clientes_kmeans.TAB"
Register Table "E:\knime2\tmp\\Clientes_cmeans.csv"  TYPE ASCII Delimiter 44 Titles Charset "WindowsLatin1" Into "E:\knime2\tmp\Clientes_cmeans.TAB"
Open Table "E:\knime2\tmp\Clientes_cmeans.TAB"
'uno las tablas de manera dinámica para luego hacer el temático
Add Column "clientes_ok" (Cluster_kmeans Char (9))From Clientes_kmeans Set To Cluster Where COL1 = COL1  Dynamic
Add Column "clientes_ok" (Cluster_cmeans Char (9))From Clientes_cmeans Set To COL13  Where COL1 = COL1  Dynamic
'shade window Frontwindow() 1 with Cluster_kmeans values  "" Symbol (34,16711680,12) ,"cluster_0" Symbol (34,65280,12) ,"cluster_1" Symbol (34,255,12) ,"cluster_2" Symbol (34,16711935,12) ,"cluster_3" Symbol (34,16776960,12) ,"cluster_4" Symbol (34,65535,12) ,"cluster_5" Symbol (34,8388608,12) ,"cluster_6" Symbol (34,32768,12) ,"cluster_7" Symbol (34,128,12) ,"cluster_8" Symbol (34,8388736,12) ,"cluster_9" Symbol (34,8421376,12) default Symbol (40,0,12) style  replace  off 
End Sub




Pues de una manera sencilla obtenemos una segmentación en un mapa temático usando un programa de data mining como knime. Os dejo algún pantallazo:

 

Data Mining - El motor de recomendación Mirotele.

Hace nada, en una de las respuestas de un post, una compañera llamada "Precaria", indicaba que había empresas españolas dedicadas a los motores de recomendación, el problema es que no había demanda del mundo empresarial, a lo que yo discrepaba un poco.

Pues la primera en la frente, hace nada en el blog de tecnología Xataka nos habla que Samsung nada menos ha apostado como recomendador de programas de televisión para sus compradores en Mirotele; esto ha sido posible al hecho de que Samsung ha creado un concurso a nivel internacional para buscar las mejores aplicaciónes para "hacer" a la TV inteligente donde esta aplicación ha conseguido hacerse un hueco.

Si no he leído mal esta aplicación ha sido apadrinada por la universidad de Málaga y parece ser que su cara visible es David Bueno Vallejo; también la misma aplicación tiene un blog por si quereis más información sobre su creación.

Pocas veces la realidad me ha corregido tan rápido sobre un comentario hecho, y pocas veces me ha importado tan poco, ojalá proyectos como este llenen nuestra vida en el futuro.

Data Mining - Empresa brasileña de motores de recomendación

Trasteando por la red he encontrado una empresa Brasileña de motores de recomendación Chaordic Systems.

Por lo que he podido ver esta totalmente orientada a este tema, aunque también parece que hace minería clásica orientada a la venta. Desde aquí les deseo toda la suerte posible y que tengan un gran futuro... eso si, a ver si traducen la web.

Lo mejor es que poco a poco van surgiendo empresas que cubran este tipo de necesidas, lo peor, es que aquí no surjan empresas como estas que tienen un potencial increible...

Geomarketing - Data minning espacial

Dentro de la búsqueda de estos días me he topado con otra web muy interesante. Creo que la ví en el blog de analsisiydecisión (que me perdonden las fuentes si no fue allí) Esta web se llama Spatial Data Minning Lab del profesor Diangsheg Guo del Departamento de Geografía de la Universidad de Carolina del Sur (EEUU).

En la web se pueden encontrar enlaces a los papers publicados por Guo, así como sus líneas de investigación.

Lo más interesante es el software que te puedes descargar gratuitamente, donde destaco 2:

SOMVIS. Un software de análisis multivariante y realización de clusters. La salida gráfica es mediante un mapa temático, un gráfico SOM (self mapping organizing), y un gráfico PCP (parallel coordinate Plot)

REDCAP: Regionalization with Constrained Clustering. Divide un gran conjunto de objetos espaciales en un número de regiones de contigüidad espacial. Usando este software he probado la regionalización de municipios de la zona centro de España, en zonas de más de 200.000 habitantes a partir de valores de Capacidad Economica (del 1 al 5). Se han obtenido 9 clusters, donde en tonos morados, rosas y blancos se tienen municipios donde el porcentaje de capacidad alta es más elevado que el resto. En rojos y marrones capacidades medias, y azules capacidades bajas. La regionalización tiene en cuenta los clusters (200.000 hab.) y estas distribuciones.

Geomarketing y Data Minning

Un tema muy interesante, y que nos une a los profesionales del GIS y del Data Minning, es la posibilidad de integrar plataformas de ambas tecnologías.

Francisco Ortega nos ha ido presentando diferentes alternativas, como K-Mine o R, ambas de software libre, con una potencialidad muy elevada, lo que ha hecho que diferentes empresas se empiecen a plantear la posibilidad de usar estas herramientas en detrimento de las comerciales como Clementine.

Pues hoy leyendo el foro de Gabriel Ortiz, del cual soy asiduo lector, me he encontrado con un nuevo grupo, GIS&Chips, con un interés común: el desarrollo de y con software libre en el ámbito de las tecnologías de la información geográfica.

He estado leyendo su web, y tienen posts muy buenos relacionados con:

• Análisis de Redes: Uno de los inconvenientes más importantes que se tienen a la hora de afrontar el análisis de redes no es la tecnología, si no más bien, las propias redes. Estamos habituados a trabajar con NavTeq o TeleAtlas, pero ellos han conseguido trabajar con OpenStreetMap. Muy, pero que muy interesante, más que nada porque OSM sigue creciendo de manera exponencial.
• Integración de R con PostGres: Su propio nombre lo indica, y no hay que olvidar que PostGres tiene una extensión PostGIS, por lo que podemos enlazar muy comodamente los modelos de R con nuestras aplicaciones de Geomarketing.

Mi más sincera enhorabuena a la gente de GIS&Chips

Geomarketing - Nueva Incorporación Data Minning

Hola a todos,

Ya he vuelto de mis vacaciones y vuelvo con una noticia muy interesante para todos los lectores y en especial para aquellos que me planteaban dudas y cuestiones relativas al análisis de datos geográficos.

Siempre he defendido que el geomarketing tiene que llevar asociado el análisis de las variables para poder modelizar y predecir, lo que nos lleva directamente al data minning. Por desgracia mis conocimientos de data minning están en progreso pero son en muchos casos insuficientes para poder contestar algunas de vuestras dudas. Por ello me planteé la posibilidad de incorporar a un experto en la materia en el blog, para que posteara temas de actualidad y resolviera las dudas planteadas.

Aunque el blog continue siendo de temática de geomarketing en general, se abre una nueva vía al data minning, para que en un futuro sea, como creo que lo es para el geomarketing, un pequeño referente en la materia.

La persona que se hará cargo en este sentido es Francisco Ortega Morales, antiguo compañero de trabajo en Arvato, y hoy en Caixa Penedés, con más de 5 años de experiencia en el tema.

Os dejo sus primeras palabras:

Hola a todos;
ante todo darle las gracias a mi compañero bloguero Jesús por darme la oportunidad de participar en este pequeño gran proyecto, aportando mi humilde opinión sobre el análisis de datos, estadística y data mining.

El porqué me he decidido a bloguear es por la necesidad de compartir conocimiento y experiencias con todas las personas interesadas en el tema, tengo que reconocer que el análisis de datos ha sido durante estos últimos años mi pasión, desde que en la universidad descubrí las redes neuronales hasta la actualidad que soy Analista Sr en data mining no he parado de investigar, aprender y, por suerte, dedicarme profesionalmente a ello.

Otra cuestión que me empuja a hacerlo es el no encontrar ningún sitio en España donde se puedan intercambiar opiniones sobre el análisis de datos, espero que entre mi compañero, yo y todos vosotros crear lo y disfrutar con ello.

Por último me presento, soy Francisco Ortega, Minero convencido con 5 años de experiencia en el campo y espero dar mucha guerra a partir de ahora; estaremos en contacto.