Tag: big data

ae

La Analítica Empresarial (AE) comprende los métodos y las técnicas que se utilizan para recopilar, analizar e investigar el conjunto de datos de una organización, lo cual genera conocimiento que se transforma en oportunidades de negocio y mejora la estrategia empresarial. AE permite una mejora en la toma de decisiones ya que éstas se basan en la obtención de datos reales y tiempo real y permite conseguir objetivos empresariales a partir del análisis de estos datos

Algunos factores como el aumento en la obtención de datos big data, los diversos cabales para relacionarse con los clientes-usuarios-consumidores y el crecimiento de la demanda para obtener mejores servicios;  hacen que los responsables de comunicación y marketing deban ser innovadores y efectivo en la toma de decisiones ya que la AE puede ser muy útil para dar apoyo a la estrategia de marketing de la empresa.

¿Qué podemos hacer con la Analítica Empresarial?

La AE permite:

  • Detectar tendencias
  • Realizar diagnósticos a partir de modelos predictivos
  • Utilizar estos modelos para optimizar los procesos de negocios
  • Enriquecer los datos internos de la empresa para diferenciarse de la competencia.

Clasificación de la Analitica Empresarial:

  1. Analítica Descriptiva. Utiliza los datos para explicar el pasado. Consiste en preparar y analizar datos históricos para identificar patrones y tendencias. Técnicas como modelos de regresión, el modelado de datos y visualización suelen ser usados en la Analítica Descriptiva.
  2. Analítica Predictiva. Utiliza los datos para determinar que puede pasar en elfuturo. La Analítica Predictiva permite determinar la probabilidad asociada a eventos futuros a partir del análisis de la información disponible (presente y pasada), además permite descubrir relaciones entre los datos que normalmente no es detectada con un análisis menos sofisticado. Técnicas como la minería de datos (data mining) y los modelos predictivos son utilizados.
  3. Analítica Prescriptiva. Utiliza los datos para prescribir aquellas accionesque incrementen nuestras posibilidades de obtener los mejores resultados. La Analítica Prescriptiva determina nuevos forma de operar que permitan alcanzar nuestros objetivos de negocio. Técnicas como la optimización o la simulación son utilizadas, aunque normalmente se requiere la creación de un modelo predictivo previo.

Business Analytics vs Business Intelligence

Internet ha generado un fenómeno completamente nuevo, en el que el mercado realiza sus propios análisis comparando ofertas, intercambiando experiencias y, en esencia, tomando el control de las marcas. Es por ello que los responsables de marketing deban tener en cuenta: ¿qué es la Inteligencia Empresarial?

Otro concepto relacionado con la AE es la Inteligencia Empresarial (IE) centrada en el uso de los datos de una empresa para facilitar también la toma de decisiones y anticipar acciones empresariales.

La diferencia con la AE es que la IE es un concepto más amplio, no solo se centra en el análisis de datos sino que éste es un área dentro de la IE. Es decir, la IE se trata de un conjunto de estrategias, aplicaciones, datos, tecnología y arquitectura técnica entre las que se encuentra la AE; y todo ello, enfocado a la creación de nuevo conocimiento a través de los datos existentes de la empresa.

El sector IT (Information Technology) es uno de los que mayor demanda de profesionales genera actualmente. Las empresas de este sector buscan principalmente expertos en Big Data y Analítica empresarial que sepan adaptarse a la nueva revolución de la industria 4.0. Y es que la repentina aparición de los expertos en Big Data tiene una razón de ser. Hoy en día las organizaciones comienzan a enfrentarse a unas cantidades y formatos de información con las que nunca antes habían tenido que lidiar. Por ese motivo son necesarios los perfiles profesionales especializados en analítica que sepan gestionar y emitir conclusiones a partir de estos grandes volúmenes de datos (Big Data).

Esta  fiebre del Big Data también surge en el momento en el que aparece la tecnología que posibilita el manejo de este tipo de datos. La importancia de estos avances tecnológicos es indiscutible, pero igual de importantes resultan las personas capaces de manejarlos correctamente. De hecho, podemos afirmar que estamos asistiendo a una falta de especialistas en Big Data para muchos sectores. Una de las causas de esta inexistencia de profesionales sea que no existe un consenso sobre cuáles son las funciones que un profesional en Big Data desempeña dentro de una organización. Por este motivo, hemos visto la necesidad de recopilar en este post, a groso modo, los 10 perfiles profesionales más recurrentes en el sector IT:

  1. Data Scientist
  2. Data architect
  3. Data Analyts
  4. Data Engineer
  5. Statistician
  6. Database Administrator
  7. Business Analyts
  8. Data and Analytics Manager
  9. Audit Analytss
  10. Data Journalist

DATA SCIENTIST 

Científico de datos

Según Harvard Business Review se trata de la profesión más atractiva del siglo XXI. El data scientist, como su propio nombre indica, es un experto en la Ciencia de Datos (Data Science). Su trabajo se centra en extraer conocimiento a partir de grandes volúmenes de datos extraídos de diversas fuentes y múltiples formatos para dar respuesta a las cuestiones que se planteen.

El Data Scientist posee las siguientes habilidades y competencias:

DATA ARCHITECT

Arquitecto de datos

El arquitecto de datos debe diseñar, crear, implementar y administrar la arquitectura de datos de una organización. Los arquitectos de datos definen cómo los datos serán almacenados, consumidos, integrados y administrados por diferentes entidades de datos y sistemas informáticos, así como cualquier aplicación que utilice o procese esos datos de alguna manera.

¿Qué habilidades debe poseer un arquitecto de datos?

DATA ANALYTS

Analista de datos

Se trata de un profesional que recopila, procesa y gestiona datos relevantes para la empresa, estando encargados de su análisis estadístico. Se encarga de:  interpretar datos y analizar resultados mediante técnicas estadísticas; desarrollar e implementar análisis de datos, sistemas de recolección de datos y otras estrategias que optimicen la eficiencia estadística y la calidad; adquirir datos de fuentes de datos primarias o secundarias y mantener bases de datos.

Las habilidades más destacadas de este perfil profesional son:

  • Manejo de programas de hoja de cálculo (Excel)
  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Comunicación y visualización
  • Matemáticas, estadísticas y Matching Learning
  • Adicto a los datos con un alto coeficiente de resolución
  • Los lenguajes que debe saber manejar son: R, Python, Javascript, C/C++, SQL.

DATA ENGINEER

Ingeniero de datos

Un ingeniero de datos es un trabajador cuyas principales responsabilidades laborales incluyen la preparación de datos para usos analíticos u operacionales. Las tareas específicas manejadas por los ingenieros de datos pueden variar de una organización a otra, pero normalmente incluyen construir pipelines de datos para reunir información de diferentes fuentes. Otras funciones del ingeniero de datos son: integrar, consolidar y limpiar datos; y estructurarlos para su uso en aplicaciones analíticas. Las habilidades que debe tener un Data Engineer son:

  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Modelado de datos y herramientas ETL
  • APIs de datos
  • Soluciones de almacenamiento de datos
  • Persona versátil
  • Los lenguajes que debe saber manejar son:  R, SQL,HivE, Python, Java, SAS, SPSS, Ruby, C++, Perl, Maths

STATISTICIAN

Estadístico

Se encargan de recoger, analizar e interpretar datos numéricos. Sus resultados ayudan a otros profesionales a tomar decisiones informadas, a crear políticas de empresa y a comprender distintos aspectos de la vida moderna. Se tratan de profesionales con un conocimiento profundo y eminentemente aplicado de las diferentes técnicas estadísticas y de investigación operativa  que les permitan evaluar  la información y obtener argumentos científicos en los que apoyar la toma de decisiones. Un statistician es una persona capaz de planificar, diseñar y realizar un estudio estadístico asi como la explotación de datos.

Por tanto, las habilidades de este perfil serán:

  • Estadística
  • Minería de datos y Matching Learning
  • Computación distribuida
  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Herramientas Cloud
  • Un entusiasta de la estadística y la lógica
  • Los lenguajes que debe saber manejar son: R, SAS, SPSS, Matlab, Python, Perl, Spark, SQL,HivE, Pig.

entrepreneur-1340649_960_720

DATABASE ADMINISTRATOR

Administrador de base de datos

El administrador de base de datos es aquel profesional que administra las tecnologías de la información y la comunicación, siendo responsable de los aspectos técnicos, tecnológicos, científicos, inteligencia de negocios y legales de bases de datos, y de la calidad de datos.

 Las habilidades que debe tener un administrador de base de datos son:

  • Copia de seguridad y recuperación
  • Modelado de datos y diseño
  • Computación distribuida (Hadoop)
  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Seguridad de los datos
  • ERP y conocimiento de negocio
  • Persona precavida ante posibles crisis o desastres
  • Los lenguajes y las tecnologías que debe saber manejar son: SQL, Java, Ruby on Rails, XML, C#, Python

BUSINESS ANALYTS

Analista de negocio

El analista de negocio o business analyst es la persona que posee conocimientos técnicos sobre la construcción de sistemas informáticos y al mismo tiempo comprende y está al corriente de las necesidades del usuario que requiere de esos sistemas para realizar su trabajo. Su misión es la de ser el interlocutor entre el usuario y el departamento de sistemas. El papel de un analista de sistemas también puede definirse como un puente entre los problemas empresariales y las soluciones tecnológicas. Aquí los problemas empresariales pueden ser cualquier cosa acerca de los sistemas empresariales, por ejemplo, los modelos, procesos o métodos. Las soluciones tecnológicas pueden ser el uso de arquitectura, de tecnología, herramientas o aplicaciones de software. Los analistas de sistemas están obligados a analizar, transformar y, en última instancia, resolver los problemas del negocio con la ayuda de la tecnología.

Las competencias y habilidades del profesional en BA son:

DATA AND ANALYTICS MANAGER

Gestor de datos y analítica

El gestor de datos y analítica se encarga de liderar y desarrollar el equipo de analistas de datos. Es el responsable de la elaboración las estrategias para el análisis y representación de los datos así como saber implementar soluciones analíticas.  Las competencias y habilidades de este perfil profesional son:

  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Liderazgo y gestión de proyectos
  • Comunicación interpersonal
  • Minería de datos y modelado predictivo
  • Los lenguajes que debe saber manejar son: SQL, R, SAS, Python, Matlab, Java

Audit Analyts

Auditor de datos

El auditor de datos se encarga de revisar, examinar y evaluar con coherencia la integridad de los datos que maneja una empresa. La herramienta principal de un Audit Analyts es el dato, un dato que debe ser correcto y de buena calidad. Su trabajo consiste en ayudar a las compañías a extraer información útil y precisa para así tomar decisiones de forma rápida con el menor riesgo de negocio.

Las competencias del auditor de datos son:

  • Conocimiento de sistemas de base de datos (SQL y noSQL)
  • Protocolos y soluciones de seguridad en infraestructuras tecnológicas
  • Seguridad de los datos
  • Los lenguajes y las tecnologías que debe saber manejar son: SQL, R, SAS, Java, XML, Python

newspaper_business

Data Journalist

Periodista de datos

El periodista de datos, además de una solidad formación periodística debe de conocer y manejar las nuevas herramientas del Data Science y Big Data. Deber ser capaz, gracias a dichas herramientas, de extraer información de los grandes repositorios de información y datos que la era del Big Data pone a su disposición. Un claro ejemplo de este nuevo perfil demandante es la aparición de Masters y Expertos en este área en las Universidades españolas como:

Algunos ejemplos de éxito de periodismo de datos en España e Iberoamérica.

¿Cómo es el perfil de un especialista en Data Science, Big Data y Business Analytics?

El perfil del experto en Big Data que demanda el mercado, suele cumplir los siguientes requisitos:

  • Es un experto en alguno de estos ámbitos: ingeniería informática, matemáticas, estadística, marketing.
  • Tiene una gran capacidad para la resolución de problemas
  • Es capaz de analizar, resolver y explicar lo que ha visto de manera que los demás lo entiendan sin entrar en conceptos científicos.
  • Tiene conocimientos en programación. Es capaz de expresar la información en lenguajes informáticos.
  • Se adapta fácilmente a cualquier tecnología.
  • Conocimiento de lenguajes específicos como SQL, Hadoop, Spark, R, SAS, Java, XML, Python, etc.  

Sin duda, el crecimiento del Big Data ha disparado la demanda de profesionales especialistas en el análisis de datos pero también de potentes herramientas de Business Intelligence que den una solución global a la empresa.

 

El Instituto de Políticas y Bienes Públicos (IPP) contrata los servicios de ITELLIGENT en el marco de un proyecto de investigación para la recolección, estructuración y mash up de datos sobre producción científica y tecnológica en España. Concretamente, los servicios que realiza ITELLIGENT se centran en:

  • Crawling web y web scrapping, para la extracción y recopilación de información de diferentes webs
  • Técnicas de mapping y mash up, para cruzar todos los datos recopilados
  • Estructuración y homogeneización de los datos no estructurados que se han extraído no estructurados que se han extraído

Blog ITELLIGENT proyectos int

ITELLIGENT posee más de diez años de experiencia en la extracción y recopilación de grandes volúmenes de datos (Big Data) así como en el procesamiento del lenguaje natural y estructuración de información no estructurada.  Además,  contamos con un amplio abanico de servicios inteligentes, útiles, flexibles y personalizados que se adaptan 100%  a las necesidades de cada cliente, convirtiéndose esto, en una gran ventaja competitiva de la empresa frente a la competencia.

El Instituto de Políticas y Bienes Públicos (IPP) es uno de los institutos del Consejo Superior de Investigaciones Científicas (CSIC) en el área de ciencias sociales. Su labor se centra en el análisis comparativo de bienes públicos y de su naturaleza, en el diseño e implementación de políticas públicas y en la interacción de ambos, con el fin de contribuir al avance en el conocimiento de la relación entre la sociedad, los mercados y el Estado.

Los proyectos de investigación del IPP se financian de convocatorias nacionales e internacionales, de manera notable del programa nacional de I+D+i del gobierno de España, del Programa Marco de la Unión Europea, así como de contratos y acuerdos con entidades públicas y privadas.

IPP CSIC

ITELLIGENT en Microsoft Research, Cambridge UK

En la imagen, Jaime Martel, CTO de ITELLIGENT, en Microsoft Research, Cambridge UK

El pasado 10 de agosto tuvimos el placer de conocer a la Dra. Regina Barzilay, profesora del Massachusetts Institute of Technology (MIT), en su ponencia sobre How Can NLP Help Cure Cancer? en la ciudad de Cambridge (UK). El evento, organizado en el centro de Microsoft Research en Cambridge UK, pertenecía a una serie de ponencias tituladas “Frontiers in AI” (Fronteras de la Inteligencia Artificial) bajo el patrocinio de Microsoft Research.

La charla de la Dra. Regina Barzilay (1970, Chisináu, Moldavia) versó sobre cómo es posible ayudar a la cura del cáncer a través de técnicas de procesamiento de lenguaje natural (PLN o NLP en inglés): How can NLP help cure cancer?

Actualmente, la mayoría de las investigaciones sobre el cáncer se llevan a cabo en el campo de la biología y medicina. La informática sin embargo, desempeña un papel de apoyo menor en este proceso, si es que lo hace. Con su ponencia, Barzilay manifiesta que el PLN, como campo de estudio, tiene la oportunidad de jugar un papel importante en esta batalla contra el cáncer. De hecho, el texto de forma libre sigue siendo el principal medio por el cual los médicos registran sus observaciones y hallazgos clínicos, pero, desgraciadamente, esta rica fuente de información textual es “subutilizada” por los modelos predictivos en oncología. Los modelos actuales sólo se basan principalmente en datos estructurados. Por este motivo, Barzilay defiende la utilización del PLN para avanzar en los estudios sobre el cáncer.

El interés de Barzilay en este tema es relevante, ya que éste comenzó en el momento en el que le diagnosticaron un cáncer de mama. A partir de ese momento, Barzilay comenzó su andadura por la investigación en este campo y descubrió que existen muchas oportunidades para mejorar los sistemas de diagnostico del cáncer. Según ella, no se aprovechan todos los datos que se generan sobre la información de los pacientes; sólo se utiliza una pequeña parte de estos datos. A través de la utilización de esta gran cantidad de datos desaprovechados, se podrían mejorar diagnósticos y tratamientos del cáncer.

A  raíz de su cáncer, Regina Barzilay, comienza a trabajar en este tema con diversos doctores del Hospital General de Massachusetts. De esta colaboración nace un sistema que permite mejorar la extracción de información de los historiales de los pacientes utilizando técnicas de PLN (Procesamiento del Lenguaje Natural). De esta forma se enriquecen las bases de datos.  Asimismo, desarrollaron técnicas para facilitar la interacción de los doctores con el sistema:

  • El sistema permite a los doctores ofrecer, de forma intuitiva y fácil, feedback al sistema (ej. indicar que un dato no es correcto)
  • El sistema no solo realiza la extracción de la información sino que también ofrece una explicación de porqué se han extraído.
Barzilay_Cambridge_UK

Varias imágenes de la ponencia de Barzilay sobre How can NLP help cure cancer? en Microsoft Research Cambridge (UK)

Además,  Regina habló de las extraordinarias oportunidades para la aplicación de técnicas de Data Science y aprendizaje automático a la lucha contra el cáncer puesto que los modelos actuales podrían mejorarse mucho más. Y no solo utilizando modelos de aprendizaje más avanzados, sino incorporando también muchos de los datos que actualmente no se utilizan -o sólo se utilizan de forma parcial-. Es decir, no sólo a partir de textos no estructurados (ej. historial del paciente) sino, sobre todo, de un mejor tratamiento de los datos (principalmente imágenes) que los modernos sistemas de diagnostico ofrecen.

Algo a destacar sobre la ponencia de Barzilay fue la presencia de Christopher Bishop,  miembro del equipo técnico de Microsoft y Director de Laboratorio de Microsoft Research Cambridge. Bishop estuvo presente en esta charla entre el público ya que ésta misma se disponía en el centro que actualmente dirige. 

Cómo se aplica el PLN

Según Barzilay el procesamiento del lenguaje natural (PLN) de sus  máquinas aplica la información de dos maneras:

La primera fue crear un sistema que coge el informe patológico que ha escrito el doctor, donde está recogida toda la información del tumor, lo reconoce y lo escribe en una base de datos, una especie de tabla estructurada, que los ordenadores pueden analizar fácilmente. Así es posible buscar a las personas que tiene el mismo tipo tumor o que presenta altos condicionantes de poder padecerlo. En definitiva, trasladar miles de informes con letras de doctores diferentes a una tabla donde se puede buscar información. Este primer sistema posee 110.00 informes patológicos de tres hospitales: el Massachusetts General Hospital, el Instituto de Cáncer Dana-Farber Cancer y el Hospital Newton Wellesley.

La segunda forma está relacionada con la interpretación de las mamografías. Se han creado sistemas que pueden ver una mamografía y predecir si la paciente se está dirigiendo hacia el cáncer. Esto es, gracias a que las máquinas identifica patrones correctamente, de tal forma que si se les muestra una serie de mamografías de cómo han ido evolucionando las pacientes que finalmente han desarrollado cáncer, pueden identificar si esos mismos rasgos se están dando en otra paciente. Algo que para los humanos es imposible de hacer.

Actualmente, Barzilay ya ha conseguido algún resultado, especialmente en la detección de condicionantes. Gracias a su trabajo han podido predecir cuando alguien tiene factores de riesgo para tener cáncer y ver cómo se desarrolla.

Regina Barziilay

Regina Barzilay, catedrática del MIT y experta en procesamiento del lenguaje. FOTO: elpais.com TECNOLOGÍA.