Tag: big data

En todo proyecto en el que se trabaja con Big Data,  la visualización de datos es una de las áreas más relevantes para la comprensión y análisis de datos masivos. Asimismo, poder sacar partido a toda esa información y extraer conclusiones es imprescindible para cualquier empresa que trabaje con Big Data.

En concreto, la visualización de grandes volúmenes datos (Big Data Visualization) consiste en representar de forma comprensible y medible los datos obtenidos del procesamiento y modelización de grandes volúmenes de datos (Big Data) con el objetivo de, no sólo de mostrar de forma más atractiva los datos, sino de comunicar esta información de forma clara y entendible a través de gráficos, diagramas o infografías. En este punto es donde entran en juego las herramientas para la visualización de datos masivos. Saber elegir la herramienta adecuada para aquello que queramos comunicar es imprescindible para desarrollar una analítica empresarial o Business Analytics de forma eficiente.  A continuación, desglosamos cinco herramientas para la visualización de datos:

TABLEAU 

Se trata de una de las más conocidas herramientas de visualización de datos. Su interfaz permite generar visualizaciones sobre grandes volúmenes de datos y personalizarlo.  Posee una versión gratuita: Tableau Public, con la que puedes crear mapas interactivos, gráficos de barras, tartas, etc. de forma sencilla.

Características:

  • Puede importar tablas Excel,
  • Gráficos interactivos y pueden ser embebidos en tu web y/o compartirlos
  • Gráficos Responsive, optimizados para visualizarlos en diversos dispositivos (tablets y moviles)

QLIK View & Sense

QlikView pertenece a la empresa Qlik la cual posee varios productos para la visualización de datos masivos. El más popular es QlikView. Destaca por su sencillez, con una configuración muy personalizable, permitiendo a los usuarios tomar decisiones basadas en datos. Posibilita trabajar con grandes cantidades de datos procedentes de diferentes fuentes. La otra herramienta de la empres Qlik se llama QkikSense. Se trata de una versión aún más sencilla que QlikView para crear visualizaciones flexibles e interactivas.

QlikView y Qlik Sense comparten el mismo motor y una serie de capacidades básicas, pero hay diferencias entre ellos que reflejan tanto los avances en tecnología, como la evolución de las necesidades del consumidor en el mercado.

Características:

  • Gráficos Responsive, optimizados para visualizarlos en diversos dispositivos (tablets y móviles)
  • Permite formular y responder sus propias preguntas y seguir sus propias rutas hacia el conocimiento.

PLOTLY

Plotly, también conocida por su versión web Plot.ly, es una herramienta de visualización y análisis de datos online. Se trata de un software colaborativo bastante flexible que ofrece visualizaciones complejas y sofisticadas. Posee todo tipo de gráficas: columnas, líneas, circulares, histogramas, etc. Funciona con cualquier formato de datos (Excel, CSV o texto) y se puede importar desde Google Drive o Dropbox.

Características:

  • Está integrado con lenguajes de programación como Python, JavaScript o Matlab.
  • Se puede compartir y editar datos, gráficas y macros con otros usuarios.

CARTO

Aunque esta tecnología sólo permite establecer visualizaciones de datos masivos sobre mapas, se trata de un servicio open source dirigido a cualquier usuario, independientemente del nivel técnico que tenga, con una interfaz muy amigable. Carto ofrece dos aplicaciones muy completas: Carto Builder, donde los usuarios pueden administrar datos, ejecutar análisis o diseñar mapas personalizados; y Carto Engine, el cual ofrece un conjunto de bibliotecas para crear interfaces de visualización de mapas y datos personalizados.

Características:

  • Permite crear una gran variedad de mapas interactivos, lo que permite elegir entre el catálogo que el mismo servicio ofrece, incluir mapas de Google Maps, o agregar a la lista tus propios mapas personalizados.
  • Permite el acceso a los datos de Twitter.

KIBANA

Kibana es un complemento de visualización de datos de código abierto para Elasticsearch. Posee una gran variedad de gráficos interactivos: histogramas, gráficos de líneas, gráficos circulares, rayos solares, etc. Además, puedes diseñar tus propias visualizaciones y Elastic Maps para visualizar datos geoespaciales. Todos ellos aprovechan las capacidades de agregación de Elasticsearch.

Características;

  • Con Kibana se puede detectar las anomalías que se esconden en los datos de Elasticsearch y explorar las propiedades que los influencian significativamente.
  • Kibana permite visualizar los datos de Elasticsearch y navegar por Elastic Stack, de modo que puedes hacer cualquier cosa, desde saber por qué te están buscando por Internet a las 2:00 a.m. hasta comprender el impacto que la lluvia puede tener en tus números trimestrales.

kibana_web

ALGORITMO.  En Ciencias de la Computación, un algoritmo es un conjunto de pasos para realizar una tarea. En otras palabras, una secuencia lógica  y con instrucciones que forman una fórmula matemática o estadística para realizar el análisis de datos.

ANÁLISIS DE SENTIMIENTO. El análisis de sentimiento se refiere a los diferentes métodos de lingüística computacional que ayudan a identificar y extraer información subjetiva del contenido existente en el mundo digital. Gracias al análisis del sentimiento, podemos ser capaces de extraer un valor tangible y directo, como puede ser determinar si un texto extraído de la red Internet contiene connotaciones positivas o negativas.

ANÁLISIS PREDICTIVO (AP). El análisis predictivo pertenece al área de la Analítica Empresarial. Se trata de utilizar los datos para determinar que puede pasar en el futuro. La AP permite determinar la probabilidad asociada a eventos futuros a partir del análisis de la información disponible (presente y pasada). También permite descubrir relaciones entre los datos que normalmente no es detectada con un análisis menos sofisticado. Técnicas como la minería de datos (data mining) y los modelos predictivos son utilizados.

ANALÍTICA EMPRESARIAL (AE). La Analítica Empresarial comprende los métodos y las técnicas que se utilizan para recopilar, analizar e investigar el conjunto de datos de una organización, lo cual genera conocimiento que se transforma en oportunidades de negocio y mejora la estrategia empresarial. AE permite una mejora en la toma de decisiones ya que éstas se basan en la obtención de datos reales y tiempo real y permite conseguir objetivos empresariales a partir del análisis de estos datos.

BIG DATA (Grande volúmenes de datos). Actualmente nos encontramos en un entorno en el que cada día se generan trillones de bytes de información. A esta enorme cantidad de datos producidos día a día, la denominamos Big Data. El crecimiento de los datos provocados en Internet y otras áreas (Ej. Genómica) hacen necesarias nuevas técnicas para poder acceder y utilizar estos datos. Al mismo tiempo estos grandes volúmenes de datos ofrecen nuevas posibilidades de conocimiento y nuevos modelos de negocio. En particular, en Internet, este crecimiento comienza con la multiplicación en el número de webs comenzando los buscadores (ej. Google) a buscar nuevas formas de almacenar y acceder a estos grandes volúmenes de datos. Esta tendencia (blogs, redes sociales, IoT …) está provocando la aparición de nuevas herramientas de Big Data y la generalización de su uso.

BUSINESS ANALYTICS (Analítica Empresarial). La Analítica Empresarial o Business Analytics permite conseguir los objetivos empresariales, a partir del análisis de datos. Básicamente permite detectar tendencias y realizar pronósticos a partir de modelos predictivos y utilizar estos modelos para optimizar los procesos de negocio.

BUSINESS INTELLIGENCE (Inteligencia de Negocio). Otro concepto relacionado con la AE es la Inteligencia Empresarial (IE) centrada en el uso de los datos de una empresa para facilitar también la toma de decisiones y anticipar acciones empresariales. La diferencia con la AE es que la IE es un concepto más amplio, no solo se centra en el análisis de datos sino que éste es un área dentro de la IE. Es decir, la IE se trata de un conjunto de estrategias, aplicaciones, datos, tecnología y arquitectura técnica entre las que se encuentra la AE; y todo ello, enfocado a la creación de nuevo conocimiento a través de los datos existentes de la empresa

DATA MINING o minería de datos. Data Mining (minería de datos) es también conocida como Knowledge Discovery in database (KDD). Es comúnmente definida como el proceso para descubrir patrones útiles o conocimientos a partir de fuentes de datos tales como Bases de Datos, textos, imágenes, la web, etc.  Los patrones deben ser válidos, potencialmente útiles y entendibles. La minería de datos es un campo multidisciplinar que incluye: aprendizaje automático, estadísticas, sistemas de base de datos, inteligencia artificial, Information Retrieval, visualización de la información, … El objetivo general del proceso de minería de datos consiste en extraer información de un conjunto de datos y transformarla en una estructura comprensible para su uso posterior.

DATA SCIENCE (Ciencia de datos).  La oportunidad que los datos ofrecen para generar nuevo conocimiento requiere de técnicas sofisticadas de preparación de estos datos (estructuración) y análisis de los mismos. Así en Internet, sistemas de recomendación, traducción automática y otros sistemas de Inteligencia Artificial se basan en técnicas de Data Science.

DATA SCIENTIST. El data scientist, como su propio nombre indica, es un experto en la Ciencia de Datos (Data Science). Su trabajo se centra en extraer conocimiento a partir de grandes volúmenes de datos (Big Data) extraídos de diversas fuentes y múltiples formatos para dar respuesta a las cuestiones que se planteen.

DEEP LEARNING o aprendizaje profundo es una técnica dentro del machine learning basado en arquitecturas neuronales. Un modelo basado en deep learning puede aprender a realizar tareas de clasificación directamente a partir de imágenes, texto o sonido, etc. Sin necesidad de intervención humana para la selección de características, esto se puede considera la principal característica y ventaja del deep learning, llamada “feature discovering”. Pueden, además, poseer una precisión que supera al ser humano.

GEOMARKETING. El análisis conjunto de los datos demográficos, económicos y geográficos posibilita estudios de mercado para rentabilizar las estrategias de marketing. El análisis de este tipo de datos se puede llevar a cabo a través del Geomarketing. Tal como su propio nombre indica, Geomarketing es una confluencia entre geografía y marketing. Se trata de un sistema integrado de información -datos de diversa índole-, métodos estadísticos y representaciones gráficas orientados a dar respuestas a cuestiones de marketing de forma rápida y sencilla.

INTELIGENCIA ARTIFICIAL. En computación se trata de programas o bots diseñados para realizar determinadas operaciones que se consideran propias de la inteligencia humana. Se trata de hacer que éstos sean tan inteligentes como un humano. La idea es que perciban su entorno y actúen en base a ello, centrado en el auto-aprendizaje, sean capaces  de reaccionar ante nuevas situaciones.

INTELIGENCIA ELECTORAL. Este nuevo término “Inteligencia Electoral (IE)” es la adaptación de modelos matemáticos y de Inteligencia Artificial a las peculiaridades de una campaña electoral. El objetivo de esta inteligencia es la obtención de una ventaja competitiva en los procesos electorales. ¿Sabes cómo funciona?

INTERNET OF THINGS (IoT). Este concepto, Internet de las Cosas, fue creado por Kevin Ashton y hace referencia al ecosistema en el que los objetos cotidianos están interconectados a través de Internet.

MACHIEN LEARNIN (Aprendizaje automático). Este término hace referencia a la creación de sistemas a través de la Inteligencia Artificial,  donde lo que realmente aprende es un algoritmo, el cual supervisa los datos con la intención de poder predecir comportamientos futuros.

MINERÍA WEB. La minería web tiene como objeto descubrir información útil o el conocimiento (KNOWLEDGE) procedente de la estructura de hipervínculo web, contenido de la página y datos de usuario. Aunque la minería web utiliza muchas técnicas de minería de datos, no es meramente una aplicación de técnicas de minería de datos tradicionales, debido a la heterogeneidad y la naturaleza semi-estructurada o no estructurada de los datos de la web. La minería web o web mining comprende una serie de técnicas encaminadas a obtener inteligencia a partir de datos procedentes de la web. Aunque las técnicas utilizadas tienen su raíz en las técnicas de data mining o minería de datos, presentan características propias debido a las particularidades que presentan las páginas webs.

OPEN DATA. El Open Data es una práctica que tiene la intención de disponer de unos tipos de datos de forma libre para todo el mundo, sin restricciones de derecho de autor, patentes u otros mecanismos. Su objetivo es que estos datos puedan ser consultados, redistribuidos y reutilizados libremente por cualquiera, respetando siempre la privacidad y seguridad de la información.

PERIODISMO DE DATOS (periodismo computacional). De una forma simple y directa, se trata del periodismo que para crear artículos o investigaciones periodísticas se requiere del conocimiento de técnicas del áreas de data science, big data, inteligencia artificial, entre otras. El periodista de datos debe ser  capaz de dar soporte a sus artículos mediante el análisis de datos, utilizando técnicas analíticas como el análisis de redes sociales, clustering, information retrieval, recommendation systems, etc.

PROCESAMIENTO DEL LENGUAJE NATURAL (PLN). Del procesamiento conjunto de la ciencia computacional y la lingüística aplicada, nace el Procesamiento de Lenguaje Natural (PLN o NLP en inglés), cuyo objetivo no es otro que el de hacer posible la compresión y procesamiento asistidos por ordenador de información expresada en lenguaje humano, o lo que es lo mismo, hacer posible la comunicación entre personas y máquinas.

PRODUCT MATCHING. El Product Matching es un área perteneciente a Data Matching o Record Linkage encargada de identificar automáticamente aquellas ofertas, productos o entidades en general, que aparecen en la web procedente de diversas fuentes, aparentemente de forma distinta e independiente, pero que hacen referencia a una misma entidad real. En otras palabras, el proceso de Product Matching consiste en relacionar para distintas fuentes aquellos productos que son el mismo.

 

En publicaciones anteriores de nuestro Blog hablábamos de la 4ª Revolución Industrial, la cual definimos como la introducción de las tecnologías digitales en la Industria, dando paso a la Industria 4.0. En esta nueva revolución prima el talento, la sostenibilidad y la digitalización.

Bien sabemos que sectores como el farmacéutico, de servicios o petrolero han experimentado constantes innovaciones tecnológicas e inversiones en I+D a lo largo de estos últimos años. Sin embargo, la industria de la construcción se ha quedado atrás.

Según la última Encuesta sobre Innovación del INE (2015), de todo el gasto en innovación realizado por las empresas españolas, solo el 1,1% procede de la construcción. Esta cifra se ve duplicada en la mayoría de países europeos e incrementada hasta el 2.9% en EEUU. Ante tal circunstancia, observamos como nuestro país tiene como asignatura pendiente innovar en este sector.

Tal y como se comenta en publicaciones realizadas por parte de elEconomista.es y EL PAÍS Retina, la filosofía BIM (Building Information Modeling), tipo de software que está impulsando la digitalización de la construcción, facilita la entrada de otras innovaciones tecnológicas como:

  • Realidad Virtual: se emplea para enseñar lo que se planea, pasear por dentro de un edificio o corregir un defecto.
  • Gamificación: herramienta de colaboración y resolución de problemas capaz¡ces de captar el talento de las empresas y de gran utilidad para mejorar la experiencia y relación con el cliente.
  • Drones:  permiten un mejor seguimiento de la obras, tanto desde el punto de vista del avance de los trabajos como de la inspección de las unidades de obra, la logística de los trabajos o la idoneidad de las medidas seguridad e higiene en el trabajo.
  • IoT (Internet of Things/Internet de las Cosas): apoyan las comunicaciones abiertas y los estándares dentro del espacio del edificio, ayudando con costes reducidos y posibilidades mejoradas de la integración.
  • Robots: pretenden la automatización de las tareas.
  • Big Data e Inteligencia Artificial: útiles para analizar la información de los drones y detectar dónde va a tener problemas un edificio  y tener alertas de Inteligencia Artificial.
  • Impresión 3D: facilita una mayor precisión y menor empleo en costes y tiempo.

De todas estas tendencias los robots, el Big Data y la Inteligencia Artificial son quienes desempeñan un mejor papel de cara al futuro en cuanto a innovación y mejoras del sector.

En primer lugar cabe mencionar algunos ejemplos de robots o prototipos de ellos existentes en la actualidad, los cuales están acelerando los procesos de construcción:

  • SAM100: un robot que se puede mover a través de un andamio para pegar ladrillos, capaz de colocar 300 por hora con una alineación perfecta, moviéndose a la par que otros operarios de la obra.
  • Hadrian X: un brazo de 30 metros montado sobre un camión que usa una guía láser para saber dónde tiene que colocar cada ladrillo sin moverse de su sitio y prácticamente sin intervención humana.
  • Cogiro: un robot de cables que permite la creación in situ de grandes piezas e incluso de pequeños edificios, el cual incluye los últimos avances en el campo de la robótica, la fabricación digital y la impresión 3D. También hace posible la producción de piezas personalizadas así como la obtención de información en tiempo real del estado de la construcción.

Los dos primeros robots corren de la mano de empresas estadounidenses que muestran la gran ventaja de este país sobre el resto del mundo en el sector de la construcción. Sin embargo entra en juego TECNALIA, una empresa vasca de transformación tecnológica, con la creación de Cogiro, desarrollado junto con el Institute for Advanced Architecture of Catalonia (IAAC).

Siguiendo el hilo de estas tendencias, según fuentes del diario El Mundo, desde Virasco, primera plataforma web que facilita al usuario el control del progreso y la prevención de un proyecto de construcción telemáticamente desde un ordenador, afirman que el objetivo de la Inteligencia Artificial es:

“Facilitar la identificación temprana de desviaciones respecto a la planificación del proyecto, y por otro, posibilitar el control remoto de la seguridad en obra. Esto es posible gracias a que toda la información de dicho proyecto está digitalizada en un modelo BIM que se utiliza para comparar la ejecución real con la planificada, al tiempo que el procesado digital de las imágenes capturadas permite mejorar la prevención en la obra”.

El papel que desempeña el Big Data es más complejo e importante, ya no solo en cuanto a la gestión, manejo y análisis de grandes volúmenes de datos, sino también en la explotación de los mismos. Es ahí donde entran en juego el sector de la ingeniería y de la construcción, implantando esta herramienta desde principios de 2017. En la actualidad, la madurez de la tecnología y el software, están permitiendo que su implementación sea cada vez más accesible.

En este sentido son también estadounidenses las empresas pioneras en la incorporación del Big Data para mejorar y agilizar los procesos de construcción, tales como JE DUNN y Autodesk, las cuales se han asociado para construir sistemas que permiten el modelado predictivo basado en datos en tiempo real.

Tal y como comenta DETEA en un artículo, Estos avances suponen una gran mejora en la estimación de costes y otros beneficios, como por ejemplo:

  • Ayudar a determinar qué construir y dónde hacerlo, ya que nos proporciona, entre otros, datos sobre el diseño y modelado de edificios, del entorno o de los medios sociales.
  • Permite determinar la fase óptima de las actividades de construcción.
  • Obtener datos con la aplicación de sensores en cualquier tipo de construcción, favoreciendo su monitorización en muchos niveles de rendimiento, como por ejemplo la eficiencia energética de un edificio. Además, estos datos se pueden volver a introducir en los sistemas de BIM para programar las actividades de mantenimiento según sea necesario.

Tras este análisis, los lectores pueden llegar a pensar que estas mejoras digitales en el sector de la construcción se están implantando para reducir los puestos de trabajos, ya que ordenadores, robots u otros dispositivos digitales los sustituirán. Esta creencia es errónea, puesto que el principal motivo de la digitalización del sector es precisar, automatizar y mejorar el trabajo del jefe de obra (en el seguimiento de la ejecución del proyecto) y al responsable de seguridad (en los temas relacionados con la prevención), entre otros puestos. Es por todo ello que todas estas tendencias impulsan tanto el sector de la construcción como su mercado de trabajo.

El email marketing, también conocido como mailing, surge de la necesidad del consumidor de recibir un servicio más personalizado por parte de las compañías. En este sentido es el cliente quien precisa mayor atención de las empresas, recibiendo ofertas únicas para él. Para ello previamente se debe realizar un estudio exhaustivo de los gustos de los consumidores en base a las búsquedas y compras que realizan, de tal forma que se confecciona una eficaz base de datos.

De esta novedosa expresión acuñada en los años 90, cuyo auge ha tenido lugar a mediados de esta última década, hemos hecho referencia en el párrafo anterior a lo que el marketing se refiere, ¿pero cómo interviene el término email en dicha expresión?

Pues bien, todas esas ofertas, promociones, publicidad, información y demás que los propios usuarios reciben acerca de algo concreto que deseen, se realiza mediante el envío individualizado de un mensaje a través del propio correo electrónico que dichos usuarios proporcionan en la red.

En definitiva, es una herramienta de comunicación utilizada por las empresas que permite hacer llegar el mensaje deseado a su público objetivo.

Ventajas

Según una publicación realizada en el blog de 40deFiebre, la utilización de esta herramienta de Marketing proporciona a las empresas numerosas ventajas que le caracterizan, tales como:

  • Es eficaz, puesto que puede llegar a lograr la fidelización del cliente.
  • Permite segmentar. Gracias a la confección de una completa base de datos se envía al usuario un mensaje especializado acorde con sus gustos.
  • Es medible. Desde ITelligent utilizamos la herramienta mailchimp, la cual permite evaluar la audiencia alcanzada, involucrar a los clientes/suscriptores y construir la propia marca.
  • Flexibilidad de formatos, de tal forma que podemos dividir los tipos de email marketing en 3 formatos principales: emails transaccionales, aquellos que envuelven procesos de transacción entre dos partes; emails relacionales, los cuales se enfocan en la relación con los clientes actuales y potenciales; y emails promocionales, aquellos más enviados por las empresas a sus consumidores y cuyo contenido se basa en ofertas y promociones.
  • Es económico, puesto que puede llegar a ser un propio recurso de la empresa, aunque su administración por parte de compañías especializadas en ello no supone un coste excesivamente elevado.
  • Es un medio no intrusivo, debido al consentimiento por parte de los usuarios de recibir emails y notificaciones.

Engagement y reputación online

Cuando hablamos de engagement, hacemos referencia a cómo interaccionan los suscriptores a la hora de recibir emails de las compañías, ya sea abriéndolos, clicando en los enlaces de los mismos, respondiendo a esos correos, el tiempo de lectura, marcarlos como favorito, etc.

Estos son algunos de los aspectos positivos que recoge el mailing, lo cual mostraría cierto interés por parte del suscriptor. En cambio, también cabe la posibilidad de que reaccionen de manera negativa:

  • Borrar los correos sin abrirlos.
  • Marcarlos como leído sin que sea así.
  • Marcarlos como spam.

Los aspectos positivos impulsan la reputación online de la empresa, por lo contrario los negativos la dirimen. De tal forma que las compañías para captar de forma efectiva la atención del suscriptor debe:

  • Buscar un título llamativo.
  • Cuidar la presentación del email.
  • Simplificar.
  • Incluir cabecera, logo y datos de la empresa en los emails.
  • Tener especial cuidado con las imágenes.
  • Incluir botones sociales.

Importancia del Big Data

El éxito de una campaña de email marketing depende en primer lugar y en gran medida de la confección de una buena base de datos, es ahí donde entra en juego el Big Data en cuanto al almacenamiento de datos de los propios consumidores. Estos datos no solo hacen referencia a sus gustos o preferencias sino también a sus comportamientos, tales como:

  • Envíos: cantidad de emails recibidos por los distintos usuarios.
  • Aperturas: número de emails que los usuarios abren.
  • Rebotes: número de emails devueltos.
  • Clicks sobre emails: veces que los usuarios pinchan en los distintos enlaces que contienen los emails.
  • Altas: cantidad de usuarios que se registran en la base de datos.
  • Bajas: número de usuarios que se borran de la base de datos.ç

Un término asociado a esta revolución tecnológica de alcance global es el microtargeting. Según una publicación de la revista digital actuallynotes, podríamos definirlo como una técnica de marketing destinada a la identificación de los gustos o preferencias de un número acotado de consumidores de tal forma que los puedas agrupar en base a dichas características que tengan en común, enviando un mensaje individualizado a posteriori informándo, sugiriendo y ofreciendole un producto o servicio.

Newsletter

Es el tipo de email más enviado por la empresa y aquel que representa en mejor medida la identidad de la compañía. Contiene un resumen del contenido publicado por la empresa ya sea de manera diaria, semanal, mensual o anual. La periodicidad de envío influye en la atracción por parte del consumidor, de tal forma que se debe notificar continuamente al suscriptor sin tenerle sobreinformado. Desde ITelligent creemos conveniente que se le envíe de manera mensual el contenido publicado en la web durante el mes anterior al suscriptor, de tal manera que le mantengamos informados sin que se le haga pesado la continua recepción de mensajes.

La ejecución efectiva de alguno de estos consejos facilita la realización y el éxito de una campaña de mailing a la par que mantienes informado a tus suscriptores de lo último referente a tu empresa.