Nuestro Blog
Por Jaime Martel Romero-Valdespino es CTO en Intelligent Information Technologies SL
LinkedIn
Recuerdo que a finales de los 90s desarrollando un proyecto de Revenue Management para el sector hotelero, cuyo primer componente era un sistema de predicción de la demanda para las habitaciones del hotel, me sorprendió que dichos modelos de predicción no tuviesen en cuenta los precios de hoteles cercanos de la competencia que ya estaban disponibles en las plataformas webs. Mucho más sorprendente es que después de casi 20 años me siga encontrando con empresas en distintas áreas que todavía continúen sin sacarle partido al gran volumen de datos que tienen a su disposición. En este artículo se intenta arrojar un poco de luz en cómo sacar partido a distintas fuentes de datos, mediante la hibridación de datos de distintas fuentes y en particular como los puede aprovechar la industria en sus plantas de producción.
Datos internos, datos externos, datos estructurados y poco estructurados
Hasta la llegada de Internet, las empresa tenían a su disposición principalmente datos procedentes de su propia actividad (compras, ventas, nominas, contabilidad, …) a este tipo de datos propios de cada empresas los denominaremos datos internos. La llegada de Internet pone a disposición de las organizaciones una gran cantidad de datos externos de gran interés (precios de la competencia, catalogo de productos de la competencia, opiniones de productos, licitaciones y ayudas públicas,….). Las empresas que se disponen a sacar partido a estos datos (ej. inteligencia competitiva, inteligencia comercial,…) observan que no es nada fácil utilizar estos datos externos. En muchos casos estos datos están en formatos complejos de utilizar (ej. textos, pdfs, audio, video, …) y en otros, existen ambigüedades inherentes (ej. el nombre de un mismo producto en un página web es diferente que el nombre en el sistema de gestión de la empresa). Generalmente, estas dificultades obedecen a que la mayor parte de estos datos externos están en mayor o menor medida poco estructurados en comparación con los datos internos que suelen ser datos estructurados en sistemas que facilitan su uso automático (bases de datos, hojas de Excel,…).
Hibridación de Datos
Aunque siempre cabe la posibilidad de recopilar datos poco estructurados de forma manual, por ejemplo, recopilar precios de la competencia de páginas webs o fotos de productos de interés en redes sociales; lo interesante es recopilar los datos poco estructurados de forma automatiza y “unirlos” al resto de los datos para poder generar “inteligencia”. A esto último lo llamamos, “hibridación de datos”, aquellos procesos que permiten generar de un conjunto de datos único y listo para ser utilizado desde herramientas informáticas, a partir de fuentes de datos heterogéneas y con distintos grados de estructuración. A partir de nuestra experiencia en la “hibridación de datos”, podemos afirmar ésta debe requerir al menos cuatro pasos:
- ESTRUCTURACIÓN DE DATOS. Si los datos son poco estructurados –por ejemplo, textos en formato libre, imágenes, etc.- antes de utilizarlos hace falta conseguir una representación que permitan su uso. En muchos casos, esto requiere la utilización de técnicas de Procesamiento del Lenguaje Natural o PLN –por ejemplo, clasificar un conjunto de tweets en distintas categorías según su contenido- o nuevas técnicas de Deep learning –por ejemplo, para obtener una representación de imágenes que permitan su utilización en modelos analíticos-.
- HOMOGENIZACIÓN DE DATOS. Es necesario “normalizar” los datos. Esto se refiere, por ejemplo, pasar a mililitros el volumen de bebidas obtenidas de una página web u obtener las temperaturas horarias a partir de las máximas y mínimas diarias obtenidas de la AEMET.
- ARMONIZACIÓN DE DATOS. Las distintas fuentes de datos hace falta “ponerlas en común” o “enlazarlas”. Un ejemplo podría ser tener dos series temporales procedentes de distintos sensores con frecuencias diferentes y decidir “unirlas” en una base común como agregando los datos de la serie de mayor frecuencia, por ejemplo. En otros casos, pueden hacer falta modelos de Product Matching como cuando se tienen datos de productos procedentes de webs diferentes y debemos ser capaces de saber que productos son equivalentes en ambas webs.
- ENRIQUECIMIENTO DE DATOS. En algunos casos se puede disponer de fuentes que son fáciles de “enlazar”, por lo que no hablamos de armonización si no de enriquecimiento. De esta forma, si disponemos de la referencia catastral de una parcela, podemos fácilmente obtener del catastro sus datos. A esto le llamamos enriquecimiento.
Aplicación en la Industria 4.0
Actualmente, la hibridación de datos en el sector industrial está mucho menos presente que en otros sectores como servicios o retail. Además, para obtener cierta “inteligencia” que suponga una ventaja competitiva para la empresa, en el sector industrial se suele “hibridar” datos con el objetivo de explicar o predecir la demanda. Esto suele hacerse mediante la hibridación de datos internos de ventas de productos o servicios con los datos externos de diversas fuentes –tales como meteorología, geodemografía, trafico, festivos, etc.-. Por norma general, estos proyectos suelen estar orientados a la mejora de la logística, distribución, desarrollo de negocio, inteligencia comercial o como sistema de previsión de demanda para la planificación de la producción.
Salvando el caso de previsión de demanda, dentro de las plantas industriales suele ser mucho menos habitual encontrar casos “potentes” de hibridación de datos. En general, los sistemas de información no suelen estar integrados y cuando lo están, suele ser una integración encaminada a un propósito operativo (ej. trazabilidad) y no a la obtención de unos datos de calidad que permitan su uso por sistemas de inteligencia. Desgraciadamente, cualquier avance para generar plantas industriales más inteligentes estará cimentado en la disponibilidad de datos de calidad sobre su actividad. Por lo que es prioritario disponer de repositorios de datos de los procesos productivos correctamente hibridados.
- ITELLIGENT, con diez años en el mercado, ha sido pionera en España en aplicaciones de Inteligencia Artificial y Big Data.
- Netopinion es la plataforma más avanzada del mercado que cubre todas tus necesidades y si necesitas algo más… ITELLIGENT lo desarrolla.
La Inteligencia Artificial al servicio del Branding y la Audiencia Social. Así es Netopinion de ITELLIGENT, una plataforma pionera en España para gestionar, monitorizar y medir la reputación de marcas, productos-servicios, personas y/o campañas en Internet. Se trata de la única herramienta del mercado que permite la multi-escucha activa, desarrollada en España por expertos en Procesamiento del Lenaguaje Natural (PLN) con modelos de inteligencia artificial que reducen el ruido en la escucha, y que posee analíticas y visualizaciones avanzadas con posibilidad de acceso a través de API.
NETOPINION se compone de los siguientes módulos:
- Multi Escucha Activa. Única herramienta con multi-escucha activa que permite medir todas las dimensiones de un proyecto sin incurrir en sesgos.
- Analítica Social Media. Analiza y mide el impacto de tus acciones en redes sociales a través de los módulos de Facebook, Twitter y/o Instagram.
- Alertas Inteligentes. Las alertas inteligentes de Netopinion permiten que solo recibas aquello que es relevante para ti evitando la saturación de mensajes intrascendentes.
- Gamificación. Permite crear campañas de motivación mediante retos, mensajes, puntuaciones, etc. Puedes incrementar significativamente el resultado de tus campañas.
- SIG: Sistema de Información Geográfica. Visualizaciones sobre mapas de conversaciones geolocalizadas y comparativas con bases de datos y capas varias: geodemografia, recursos de interés, etc.
- Gestor de contenido. Gracias a este modulo puedes publicar directamente desde la herramienta en tus redes sociales e incorporar datos a la misma a través una extensión de Chrome (Power Bar)
- Análisis de sentimiento. Descubre cuánto, cuándo, dónde, quién, qué y cómo opinan sobre tu marca frente a la competencia. A través de este módulo puedes analizar el estado de la reputación online de tu marca, producto, servicio, etc.
- Campañas. Analiza y mide el impacto de tus campañas en Twitter e Instagram a través de la escucha de @cuentas y #hashtags específicos de campañas.
- Informes. Servicio de informes automáticos o realizados por expertos en base aquellos módulos que se adapten mejor a tus necesidades.
- Otros servicios adicionales a medida.
¿Qué te ofrece NETOPINION?
HERRAMIENTA INTEGRADA. ¿Te ves saltando de una herramienta a otra para finalizar tu trabajo? ¡No desesperes más! Utiliza NETOPINION, lo integra todo en una única herramienta
REDUCCIÓN AVANZADA DEL RUIDO. ¿Pierdes tiempo con tu herramienta revisando los datos extraídos de la escucha? Con NETOPINION obtendrás los datos que sean relevantes reduciendo al mínimo el ruido, tus métricas no estarán desvirtuadas con la realidad.
DESARROLLOS A MEDIDA. ¿Necesitas algún desarrollo adicional sobre nuestra plataforma? Desarrollamos para ti aquello que necesites a precios muy razonables.
ALTA VELOCIDAD DE CARGA. ¿Cansado de esperar que tu herramienta muestre los datos? Con NETOPINION obtendrás acceso a tus datos en un abrir y cerrar de ojos.
MULTI ESCUCHA ACTIVA. ¿Tu herramienta solo te permite la escucha de keywords o cuentas? NETOPINION optimiza la escucha activa sin sesgos, y con datos de diversas fuentes que te permitirá medir todas las dimensiones de un proyecto.
EXCELENCIA EN LA ATENCIÓN AL CLIENTE. ¿Cansado esperar a que te atiendan o de hablar con un chatbot? Con ITELLIGENT no tendrás que esperar, tendrás acceso directo a nuestro equipo y además estamos en España.
EXPERIENCIA EN EL SECTOR. No estas ante una start-up, somos una empresa pionera en España con más de diez años de experiencia en el mercado con un equipo de profesionales a tu servicio.
VALORACIONES Y RECOMENDACIONES. ¿Tu herramienta solo te muestra gráficas pero sin ningún tipo de valoración de los resultados? NETOPINION te muestra valoraciones de cómo lo estas gestionando y ofrece recomendaciones para mejorar.
Qué es Elasticsearch
ElasticSearch es un gestor de datos y motor de búsqueda basado en Lucene. Se trata de un sistema distribuido que permite trabajar con un gran volumen de datos de cualquier tipo, con una interfaz web RESTful de búsqueda así como clientes para distintos lenguajes de programación, y un sistema de analítica que permite realizar consultas en tiempo real. Elasticsearch está publicado como open source (código abierto) bajo licencia Apache y desarrollado en Java. Se trata de una tecnología que ayuda a optimizar la arquitectura de datos de nuestro negocio.
También es conocido bajo el acrónimo ELK, un conjunto de tres tecnologías de código abierto:
- Elasticsearch. Motor de búsqueda y análisis.
- Logstash. Canal de procesamiento de la información que ingiere datos de múltiples fuentes simultáneamente, las transforma y luego las envía a un “stash” como Elasticsearch.
- Kibana. Permite la visualización de datos a través de tablas y gráficos.
Qué ventajas ofrece Elasticsearch
- Sistema distribuido. Los datos se almacenan en diferentes sistemas que colaboran entre sí y nos muestran los resultados que les demandamos en cada momento en una sola petición.
- Multitenencia de datos. Nos permite operar sobre distintos índices al mismo tiempo y así potenciar nuestras búsquedas.
- Acceso en tiempo real. Esta tecnología nos permite acceder de forma instantánea a los datos.
- Búsqueda de texto completo. Usar Elasticsearch hace que implementen una gran cantidad de funciones, tales como la división personalizada de texto en palabras, derivación personalizada, búsqueda personalizada, etc.
- Autocompletado y búsqueda instantánea. Buscar mientras el usuario escribe. Pueden ser simples sugerencias de búsquedas tratando de predecirlas en base al historial de búsqueda, o simplemente haciendo una búsqueda completamente nueva para cada palabra clave. Esta opción funciona como ocurre en el buscador Google, que escribimos una palabra y nos sugiere otras opciones de búsqueda. Además, al usar Elasticsearch nos permite encontrar lo que estamos buscando aunque tenga un error ortográfico.
- Consultas complejas y afinación. Elasticsearch tiene una poderosa DSL basada en JSON, que permite a los equipos de desarrollo construir consultas complejas y afinarlas para recibir los resultados más precisos de una búsqueda. También proporciona una forma de clasificar y agrupar los resultados.
- Ahorro tiempo de análisis y mayor velocidad. Elasticsearch puede ejecutar consultas complejas extremadamente rápido. También almacena casi todas las consultas estructuradas comúnmente utilizadas como filtro para el conjunto de resultados y las ejecuta solo una vez. Para cada otra solicitud que contiene un filtro en caché, comprueba el resultado de la caché. Esto ahorra el tiempo de análisis y ejecución de la consulta mejorando la velocidad.
- Elasticsearch está orientado a documentos. Elasticsearch no utiliza esquemas, acepta documentos JSON e intenta detectar la estructura de datos, indexar los datos y hacer que se pueda buscar.
- Uso de facetas. Una búsqueda facetada es más sólida que una búsqueda de texto típica, lo que permite a los usuarios aplicar una cantidad de filtros a la información e incluso tener un sistema de clasificación basado en los datos. Esto permite una mejor organización de los resultados de búsqueda y permite a los usuarios determinar mejor qué información necesitan examinar.
- Escalabilidad horizontal y registro de nodos. Elasticsearch permite escalar horizontalmente, por lo que, gracias a su diseño, permite extender los recursos y equilibrar la carga entre los nodos de un cluster. Además, registra cualquier cambio realizado en registros de transacciones en múltiples nodos en el clúster para minimizar la posibilidad de pérdida de datos. Por otro lado, estos cluster pueden detectar aquellos nodos que fallan y reorganizarlos para que los datos siempre sean accesibles.
Al tratarse de una tecnología de open source, en su web, existen diversos videos tutoriales y webinars a los que puedes acceder de forma gratuita tan solo facilitando tu correo electrónico puedes aprender a utilizar Elasticsearch ¡si aún no lo has hecho!
El pasado viernes 21 de septiembre, Red.es, la entidad pública dependiente del Ministerio de Economía y Empresa, organizaba en colaboración con la Consejería de Empleo, Empresa y Comercio de la Junta de Andalucía, una jornada informativa sobre el Programa de Ayudas Asesores Digitales en Sevilla. A esta sesión estaban invitados aquellos representantes de pequeñas y medianas empresas interesadas en la Transformación Digital de sus negocios. Durante esta sesión, José Labrador Serrano, Coordinador de Economía Digital de Red.es, abordó algunos aspectos clave de esta iniciativa, estableciéndose al final un turno de preguntas para resolver posibles dudas entre el público asistente.
ITELLIGENT como parte perteneciente del Registro de Asesores Digitales para las comunidades de Madrid, Andalucía y Extremadura, estuvimos presentes en esta jornada. Si eres autónomo o pyme madrileña, andaluza o extremeña, puedes seleccionarnos para que desarrollemos tu Plan de Digitalización, totalmente individualizado, en el que abordaremos:
- Un diagnóstico inicial del grado de digitalización de tu negocio.
- La adecuación y el uso de herramientas y soluciones TIC implementadas acorde a su actividad empresarial.
- Y, por último, propondremos un Plan de Acción para la digitalización de su negocio.
Estos son los puntos claves en lo que consiste el asesoramiento digital del programa. Si necesitas ampliar esta información puedes ponerte en contacto con nosotros a través de asesoresdigitales@itelligent.es o visitar nuestra página de Programa Asesores Digitales.
Asimismo, en esta sesión informativa se mostraron los criterios-objetivos del otorgamiento de las ayudas. Se centran en cuatro criterios clave, cada uno con un peso de puntuación máxima del 25%:
- Criterio 1. Mayor impacto en el número de trabajadores. Número medio de empleados del ejercicio económico anterior.
- Criterio 2. Mayor impacto en la cifra de negocios. Volumen de negocio del ejercicio económico anterior.
- Criterio 3. Mayor compromiso con el programa. Porcentaje de cofinanciación de la ayuda al que se compromete la Pyme.
- Criterio 4. Mayor predisposición para el programa. Disponibilidad de un perfil tecnológico que sea el interlocutor con el asesor y el responsable e la empresa de la implementación de dicho plan.
Las actuaciones a realizar serán financiadas con cargo al Programa Operativo Crecimiento Inteligente, Fondos Europeos de Desarrollo Regional (FEDER) del periodo de programación 2014-2020 y bajo el lema “Una manera de hacer Europa”. En cuanto a la cuantía de las ayudas, éstas ascienden a 5 millones de euros destinadas a la digitalización de hasta un mínimo de 1.000 pymes. La ayuda dineraria por cada beneficiario es un máximo de 5.000€ (coste servicio del asesoramiento: 6.250€). La cofinanciación del beneficiario oscila entre un 20%-50% del coste de servicios por el asesoramiento. Se tiene previsto que la convocatoria para solicitar estas ayudas sean publicadas en el próximo mes de octubre. Mientras tanto, permanece atento a la web de red.es donde se publicará dicha convocatoria.
Además de esta sesión en Sevilla, se han programado otras tres jornadas en Valencia, Santiago de Compostela y Las Palmas. A continuación, os dejamos las fechas programadas para cada una de estas ciudades:
