Tag: Inteligencia Artifical

Por Jaime Martel Romero-Valdespino es CTO en  Intelligent Information Technologies SL
LinkedIn

Llamamos “hibridación de datos” a los procesos que permiten generar un conjunto de datos único y listo para ser utilizados, desde herramientas informáticas, a partir de fuentes de datos heterogéneas y con distintos grados de estructuración. En nuestra experiencia la “hibridación de datos” suele requerir al menos cuatro pasos: estructuración, homogenización, armonización y enriquecimiento.

Actualmente, la hibridación de datos en el sector industrial está mucho menos presente que en otros sectores como servicios o retail. Siendo la predicción de la demanda el caso más habitual, en el mundo industrial, dónde se realiza una “hibridación” previa de los datos internos de ventas con otros datos (ej. meteorología, geodemografía, trafico, festivos, etc). Salvando el caso de previsión de demanda, dentro de las plantas industriales suele ser mucho menos habitual encontrar casos “potentes” de hibridación de datos, pero esto no quiere decir que no sea necesario. Así es habitual, en muchas empresas industriales, que los sistemas de información no estén integrados con las máquinas y cuando lo están, suele ser una integración encaminada a un propósito operativo (ej. trazabilidad) y no a la obtención de unos datos de calidad que permitan su uso por sistemas de inteligencia.

Sistemas Productivos e Hibridación de Datos

Cualquier intento de desplegar sistemas de inteligencia para la mejora de la producción en plantas industriales debe haber sido precedido por un análisis de la disponibilidad de datos para alimentar el sistema y del coste asociado de obtención. Así, por ejemplo, tiene poco sentido implantar un sistema inteligente de planificación de operaciones (scheduling) en un taller si no tenemos automatizado la captura de datos necesario para actualizar el sistema de planificación. Pues muy pronto las planificaciones quedarán obsoletas o se requerirá una importante dedicación de recursos humanos para mantener el sistema actualizado.

En general, en los sistemas de producción, los datos serán internos, pero su hibridación presenta retos similares a los que se encuentran con datos externos. A continuación, vamos a describir un caso basado en nuestra experiencia.

En el taller en cuestión, que trabaja bajo pedido, la primera necesidad planteada era disponer de un sistema que les permitiese tener un seguimiento de tiempos y costes de cada trabajo en planta, para posteriormente poder generar inteligencia encaminada a ayudar a:

  1. La confección de presupuestos (ej. aprendizaje de unidades de repercusión y los factores que les afectan)
  2. La detección de desviaciones anómalas (ej. tiempos de procesamientos que los modelos de inteligencia no sean capaz de explicar)
  3. La detección de patrones de interés (ej. trabajadores con productividad alta),

El taller disponía de un ERP con información de los pedidos y materiales, un sistema CAD para el diseño de las piezas, partes manuales (papel) de producción y controles periódicos de calidad que eran volcados manualmente al ERP. Toda esta información no estaba integrada por lo que la implementación de cualquier sistema de inteligencia era imposible. Se partió de un análisis de disponibilidad de datos y a partir de dicho análisis se elaboró un plan de acción con las siguientes acciones:

  1. Nuevas fuentes de datos. Se detectaron falta de datos imprescindibles para cubrir las necesidades planteadas. Para ello, se incorporaron nuevos sensores desarrollados ad-hoc para algunas máquinas así como la introducción de tablets con aplicaciones específicas como alternativa a los partes manuales y el desarrollo de un extractor para obtener del ERP aquellos datos de interés para el sistema de inteligencia.
  2. Desarrollo de un sistema de hibridación de datos que partiendo de las distintas fuentes de datos fuese capaz de hibridarlas y volcar a un repositorio único los datos. Este sistema no podía ser totalmente automático ya que necesitaría cierta supervisión de la oficina técnica.
  3. Estructuración de datos. Información muy importante para el proceso de producción y generación de inteligencia se encontraba en formato de planos CAD. Estos son datos poco estructurados que no pueden ser utilizados directamente, pero que una vez estructurados pueden generar datos de gran interés para el proyecto. Se decide abordar mediante un proyecto de I+D la generación de modelos de inteligencia que permitan estructurar los datos de los sistemas CAD.

También puedes leer este post en el Blog de #CIC40

La mayoría de la información ofrecida por instituciones, diputaciones y otros organismos públicos, popularmente conocida como Open Data, es digitalizada y publicada a través de diferentes canales en Internet. Estos datos abiertos pueden ser tanto disposiciones de licitaciones, ayudas, subvenciones, multas de tráfico, oposiciones, concursos oficiales, etc. Este tipo de información es buscada día a día por diversos usuarios y empresas de diferente índole que desean consultar estas bases de datos de Open Data.

Pero, claro, toda esta información no está estructurada (desordenados) y cada dato está publicado en una web diferente bajo un formato distinto (PDF, HTML, XML,…). Hoy en día no existe una página pública o herramienta comercial que aglutine y extraiga todos estos datos descritos bajo una misma web. Tampoco existe un protocolo o normalización estándar de “cómo se deben publicar”.

Además de la gran heterogeneidad del Open Data (origen y formato), en el 95% de los casos, esa información no está estructurada y necesita un tratamiento por una persona para que sea útil. Si se tiene en cuenta la cantidad de canales a extraer y el volumen de información publicado, incluso considerando sólo lo publicado diariamente, se hace inmanejable para una persona.

En resumen, la situación de partida es que estamos ante un gran volumen de datos que requiere la necesidad de una herramienta que facilite la consulta y extracción de estos datos. Gracias a la inteligencia artificial y el Machine Learning (aprendizaje automático), tenemos la solución: NetOpenData. Se trata de una herramienta que facilita el acceso a los datos del sector público y open data. Se trata de un servicio para acceder a la información de forma estructurada y bajo un solo paraguas, una sola web.

¿Cómo funciona el sistema de inteligencia artificial diseñado?

La innovación principal de NetOpenData parte de obtener, procesar y ofrecer este tipo de información de forma estructurada siguiendo un enfoque automático. Para ello se han aplicado diferentes técnicas de aprendizaje, siguiendo un enfoque supervisado relacionado con:

Se han desarrollado sistemas capaces de dar solución a la extracción masiva de recursos a partir de Internet, la segmentación de textos, la clasificación de textos y la extracción de información en textos. Además, de cara a la extracción masiva de información se ha hecho uso de herramientas pensadas para este tipo de entornos que permitan trabajar desde una perspectiva paralela capaz de organizar el trabajo siguiendo un enfoque escalable y distribuido ya que de otra forma el sistema no es capaz de procesar toda la información recogida.

Otros de los puntos fuertes de NetOpenData es la utilización de las últimas tecnologías de almacenamiento. Sistemas que surgieron hace poco y están adaptadas a los procesamientos de información en tiempo real. Esto es una ventaja debido a que desde su base de creación se están enfocando a problemas actuales como cargas masivas de datos (Big Data) o tiempos de respuesta y almacenamiento bajos, una gran problemática que les cuesta solventar a las bases de datos tradicionales, debido a la robustez que ya tienen.

¿Qué ventajas posee este sistema de Inteligencia Artificial?

  • Permite extraer unos recursos concretos (Ej. Boletines Oficiales) a través de diferentes canales (Ej. Web de una Diputación) de una forma automática, teniendo en cuenta las peculiaridades de los datos a extraer, así como el uso que se le tiene pensado dar.
  • Es capaz de tratar cada recurso extraído con el fin de obtener de él una información útil para el usuario:
    • Segmentar el índice del contenido.
    • Segmentar el contenido en disposiciones.
    • Clasificar el idioma de la disposición.
    • Clasificar las disposiciones en función a una taxonomía.
  • Puede ordenar determinadas piezas de información según el idioma y el tipo de la disposición.
  • Hace posible guardar de forma persistente tanto la información bruta como la estructurada fruto del tratamiento indicado anteriormente, teniendo en cuenta el uso que se le tiene pensado dar y el volumen generado.
  • Ofrece al usuario el acceso a los datos de forma más práctica y eficaz posible, a través de una única página web que permite:
    • la visualización y filtración de datos
    • la descarga de disposiciones concretas
    • la creación de alertas de disposiciones en base a una serie de filtros concretos.

¿Qué tipo de datos públicos puedes obtener con NetOpenData?

Boletines Oficiales, Patentes, Marcas, Ayudas, Nombres Comerciales, Contrataciones y Licitaciones. Toda esta información se estructura para puedas utilizarlo de forma fácil y sencilla en tu empresa o para que puedas montar servicios innovadores a partir de estos datos.

NetOpendata

Por otro lado, en ITELLIGENT nos adaptamos a las necesidades de cada uno de nuestros clientes por lo que si tu empresa requiere otros datos diferentes a los que aporta NetOpenData o desea enlazar los datos de nuestro software con otras fuentes, también somos especialistas en hibridación de datos.

La era digital ha provocado una explosión de datos en todas las formas y desde todas las regiones del mundo. Esta explosión de datos, conocido como Big Data, no siempre están bien estructurados y no son accesibles. Se podría tardar que una persona pudiera manualmente extraer la información relevante de estos grandes datos desestructurados. Sin embargo, existen técnicas de Inteligencia Artificial que permiten la estructuración de los datos y posibilita la extracción de información útil de los mismos. Por este motivo, las empresas se dan cuenta el increíble potencial del Big Data & Inteligencia Artificial.

QUÉ ES DEEP LEARNING

Deep learning (aprendizaje profundo) es una nueva técnica dentro del aprendizaje automático (machine learning) basado en arquitecturas de redes neuronales. Está relacionado con algoritmos inspirados en la estructura y función del cerebro, de ahí el nombre redes neuronales artificiales. Las redes neuronales artificiales se construyen como el cerebro humano, con nodos de neuronas conectados como una red.

Mientras que los modelos tradicionales crean análisis con estructuras lineales, los modelos de deep learning se caracterizan por su estructura jerárquica permitiendo procesar los datos con un enfoque no lineal.

¿Qué tiene de especial el deep learning? Un modelo basado en deep learning puede aprender a realizar tareas de clasificación directamente a partir de imágenes, texto o sonido, etc. Sin necesidad de intervención humana para la selección de características, esto se puede considera la principal característica y ventaja del deep learning, llamada “feature discovering” .Pueden, además, poseer una precisión que supera al ser humano.

EN QUÉ CONSISTE, CÓMO FUNCIONA

Los modelos se entrenan mediante un amplio conjunto de datos etiquetados y arquitecturas de redes neuronales que contienen muchas capas.

La primera capa de la red neuronal procesa una entrada de datos brutos como por ejemplo una imagen, y la pasa a la siguiente capa como salida, este proceso se va repitiendo sucesivamente hasta completar todas las capas de la red neuronal. Por ejemplo, una imagen que comienza como una matriz de píxeles. Las características aprendidas en la primera capa puede ser por ejemplo, la aparición o no de ejes en una parte concreta de la imagen. La segunda capa detecta uniones de ejes. La tercera capa aprende combinaciones que correspondería a partes de objetos. La principal característica de este método es que estas capas realizan el descubrimiento de características sin intervención humana, aprendiéndolo directamente de los datos brutos.

El término “deep” (profundo) suele hacer referencia al número de capas ocultas en la red neuronal que pueden ser hasta 150 capas (las redes neuronales tradicionales solo contienen dos o tres capas oculta).

ARQUITECTURAS DEEP LEARNING

Hemos comentado que la mayoría de métodos de machine learning emplean arquitecturas neuronales, por lo que las arquitecturas de deep learning emplean modelización de redes neuronales, tales como:

  • Deep Neural Network (DNN) o Redes neuronales profundas
  • Convolutional Neuronal Network (CNN) ó Redes neuronales profundas convolucionales
  • Deep Belief Network (DBN) o Redes de creencia profundas

corteza visual_deep learning

CONVOLUTIONAL NEURONAL NETWORK 

En este post nos centraremos en la arquitectura de deep learning, Convolutional Neural Network (CNN) que, traducido al español, se trata de Redes Neuronales Convolucionales. En este tipo de arquitectura se emplean modelizacion de redes neuronales artificiales donde las neuronas correspondes a campos receptivos -similar a las neuronas en la corteza visual V1 de un cerebro humano-. Este tipo de redes son muy efectivas para tareas de:

  • Detección y categorización de objetos
  • Clasificación y segmentación de imágenes

El objetivo de CNN es aprender características de orden superior utilizando la operación de convolución. Puesto que las redes neuronales convolucionales puede aprenden relaciones de entrada-salida (donde la entrada es una imagen), en la convolución, cada pixel de salida es una combinación lineal de los pixeles de entrada.

Pero, ¿qué significa “convolucion”? La convolución consiste en filtrar una imagen utilizando una máscara. Diferentes máscaras producen distintos resultados. Las máscaras representan las conexiones entre neuronas de capas anteriores. (INAOE).

Estas capas aprenden progresivamente las características de orden superior de la entrada sin procesar. Este proceso para aprender características automáticas es la característica principal del modelo de deep learning, llamado descubrimiento de características.

Las redes neuronales convolucionales se forman usando dos tipos de capas: convolucionales y pooling.(INAOE). La capa de convolución transforma los datos de entrada utilizando la operación matemática de convolución. La operación de convolución describe cómo fusionar dos conjuntos de información diferentes.

Después de la capa o capas de convolucion se usa una capa de pooling. La función de las capas de pooling es resumir las respuestas de las salidas cercanas. La principal característica de la capa de pooling son dos. Primero, la capa de pooling reduce progresivamente el tamaño espacial de los datos. Y segundo, la agrupación ayuda a obtener una representación invariable a una pequeña traslacion de la entrada.

Convolutional Neuronal Network

Las redes neuronales convolucionales fueron algunas de las primeras redes neuronales aplicadas para resolver aplicaciones comerciales importantes. Un ejemplo de ello fue en la década de 1990, AT & T desarrolló un modelo de CNN para la lectura de cheques. También más tarde se desarrollaron muchos sistemas OCR basados ​​en CNN. Actualmente, el interés por el deep learning se debe en gran parte a la victoria de Krizhevsky et al. en el desafío de imageNet.

ceei

Durante cuatro días, seis empresas se darán cita la última semana del mes de junio para hablar de softwares, aplicaciones y Big Data. La Semana del software se centrará en diversas ponencias y desayunos Networking, tendrá lugar en el Centro Europeo de Empresas e Innovación de la Bahía de Cádiz, del 27 al 30 de junio, en horario de mañana.

Entre sus ponentes se encuentra, Mario Rivas, Ingeniero de I+D+i de ITELLIGENT con su ponencia sobre “Sistemas de Inteligencia basados en el procesamiento masivos de datos”. Bajo este título el próximo 30 de junio, M.Rivas centrará su comunicación en la descripción de diversos servicios y aplicaciones basados en la obtención masiva de datos y su procesamiento con técnicas de Inteligencia Artificial.

¿Te lo vas a perder? Puedes inscribirte totalmente gratis desde la web de CEEI Bahía de Cádiz.

El resto de ponentes son:

  • Miguel LLorca de QUONEXT: “Soluciones Microsoft para la Gestión Empresarial y Productividad”. Martes, 27 de junio a las 10.00 horas.
  • Julio García de Travelinnova: “Procesos de movilidad para las empresas”. Miércoles, 28 de junio a las 10.00 horas.
  • Virginia Dominguez de Ibersogas: “Gestión integral”. Miércoles, 28 de junio a las 10.30 horas.
  • Jose Luis del Pozo de FIX Webs & Apps: “Aplicaciones Cloud”. Jueves, 29 de junio a las 10.00 horas.
  • Rafael Vega de Verjim Animation Studio:  “Verjim Animation y el uso de Toon Boom Harmony”. Jueves, 29 de junio a las 10.30 horas.
  • Mario Rivas de ITELLIGENT: “Sistemas  de Inteligencia basados en el procesamiento masivos de datos”. Viernes, 30 de junio a las 10.00 horas.

Semana del Software_CEEI Bahia-itelligent

¿Quereis más información? Os dejamos algunos enlaces de interés: