Big Data es uno de los conceptos tecnológicos más comentados e innovadores de los últimos años. De hecho, es casi imposible leer cualquier información sobre análisis, especialmente información de compañías de software, sin escuchar sobre Big Data. Pero ¿qué significa realmente?
¿Qué entendemos por Big Data?
Las empresas tienen muchos datos. Cada vez más. Gran parte de ellos están estructurados, lo que significa que pueden ser organizados en una base de datos o hojas de cálculo Excel y ordenados con criterios simples. Por ejemplo, una hoja de cálculo de ventas incluirá columnas con el nombre del cliente, la cantidad facturada, el nombre del producto, la fecha, etc. Todos estos campos están estandarizados y pueden filtrarse o ordenarse alfabéticamente o numéricamente. Sin embargo, muchas de las compañías que generan datos tienen un formato no estructurado, o directamente no tienen formato alguno, y la cantidad de datos no estructurados a disposición de las organizaciones está aumentando rápidamente. Esto incluye todo lo que no encaja perfectamente en filas y columnas, como por ejemplo:
- Colecciones de menciones que la gente está haciendo sobre la empresa en medios sociales.
- Grabaciones de audio y transcripciones de llamadas con agentes de atención al cliente.
- Índices de búsqueda de sitios web.
- Vídeos, imágenes y datos de varios tipos de sensores.
Además del tipo de información que contiene, también hay otros factores que hacen que los datos sean Big Data. Según la definición de las 4 Vs de IBM, esos factores incluyen:
- Velocidad: La interconectividad de las personas y las cosas (IoT) a través de la tecnología está generando datos continuamente, que las empresas están ahora tratando de capturar y analizar en tiempo real.
- Variedad: el Big Data proviene de muchas fuentes diferentes e incluye muchos tipos diferentes de información. Los conjuntos de datos típicamente no pueden compararse simplemente entre sí usando herramientas tradicionales.
- Volumen: Como el término implica, Big Data incluye, simplemente, una gran cantidad de datos. Las empresas tienen acceso a una gran cantidad de ella, con terabytes, petabytes, y pronto zetabytes, capaces ser recogidos y almacenados.
- Veracidad: Con tantos datos de diferentes fuentes que se recogen, puede haber mucha duda sobre la exactitud y la coherencia de los datos. Sin embargo, para obtener el valor real de Big Data, es importante disponer de herramientas y procesos para verificar y limpiar los datos.
Como el término es muy amplio cada cual entiende algo diferente respecto a Big Data. Algunos ejemplos de definiciones:
Big Data es un activo de información de gran volumen, alta velocidad y alta variedad que demanda formas rentables e innovadoras de procesamiento de información para mejorar la comprensión y la toma de decisiones.[ Gartner
Big Data es una colección de datos de fuentes tradicionales y digitales dentro y fuera de su empresa que representa una fuente para el descubrimiento y análisis continuos. Forbes
Big Data se utiliza para referirse no sólo a tipos específicos de datos, sino también a las tecnologías utilizadas para gestionarlos. Webopedia
Para nuestra definición, queríamos resaltar lo que distingue a Big Data de otros tipos de datos, así como explicar por qué es importante para las empresas:
Desafíos y Oportunidades en Big Data
El volumen del Big Data es un punto crítico que está creando muchos nuevos desafíos para las empresas. A medida que los negocios y otros aspectos de la vida se vuelven más digitales, hay una gran cantidad de datos estructurados y no estructurados que se se están generando ininterrumpidamente. A medida que las compañías intentan extraer información de esos datos, significa en primer lugar que tienen mucha información para almacenar, y ese volumen está creciendo exponencialmente. Según las predicciones de IDC, la cantidad total de datos almacenados en el universo digital crecerá de 4,4 zetabytes en 2013 a 44 zetabytes en 2020. Un zetabyte, para su referencia, son mil millones de gigabytes. Los datos totales están duplicando de tamaño cada año, y se espera que las empresas creen en 2020 44 veces el volumen de datos de hace diez años.
Datos con valor, si sabe cómo capturarlo
Las empresas tendrán muchas oportunidades de utilizar y beneficiarse de esos datos. A pesar del rápido crecimiento, IDC estima que, gracias a las nuevas herramientas y técnicas, el 37% de todos los datos a los que tiene acceso una empresa en 2020 será útil si se analiza adecuadamente, en comparación con el 22% en 2013. A pesar de los retos asociados con el almacenamiento y la gestión de todos los datos, la gran mayoría (89%) de los profesionales de bases de datos consideran que Big Data es una gran oportunidad para mejorar los resultados empresariales, en lugar de un costoso problema de gestión de datos. Específicamente, los líderes empresariales encuestados por Harris Interactive para SAP dijeron que esperan los siguientes beneficios de la analítica de Big Data:
- Operaciones comerciales más eficientes (citadas por el 59% de los encuestados)
- Aumento de ventas (54%)
- Menores costos de TI (50%)
- Operaciones más ágiles (48%)
- Mayor capacidad para atraer y retener clientes (46%)
No es un camino sencillo
Todavía hay muchos desafíos en el camino antes de que las organizaciones se den cuenta de todos los beneficios potenciales del Big Data. Las empresas deben adaptar y desplegar las herramientas adecuadas para poder almacenar, analizar y proteger su Big Data. Como decíamos antes, las herramientas tradicionales no están equipadas para procesar estos nuevos datos. Se requiere un nuevo software y plataformas como Hadoop. Además, se necesitan aplicaciones de almacenamiento especializadas, junto con herramientas para extraer e integrar Big Data de varias fuentes.
Al igual que con las herramientas Extract, Transform and Load (ETL) utilizadas para la inteligencia de negocios, hay mucho trabajo para recopilar Big Data, asegurar su calidad y prepararlo para su análisis.
Algunos de los otros desafíos que obstaculizan los beneficios de Big Data incluyen:
- Falta de personal especializado. La tecnología Big Data se ha despegado recientemente, gracias en parte al abaratamiento del hardware y el código abierto del software necesario. Como tal, muchas empresas reportan dificultades para encontrar personal con las habilidades necesarias para administrar estos nuevos datos. De hecho, ese fue el principal reto listado en el informe de TDWI, citado por el 40% de los encuestados. Una estrategia para combatirlo es ofrecer a los empleados formación en Big Data con el fin de incrementar el talento interno.
- Problemas de gestión de datos. Con tantos datos disponibles, se vuelve más crítico aún contar con un marco para decidir qué datos incluir en el sistema. Sin embargo, sólo el 30% de las empresas encuestadas por TDWI dijo que los equipos de gobernanza de datos estaban involucrados en la gestión de Big Data.
- Preparación organizacional. Al igual que con la inteligencia empresarial, el análisis exitoso de Big Data requiere algo más que simplemente instalar herramientas de software y comprar o alquilar unos servidores. Toda la organización necesita estar en la misma página, y debe haber una estrategia claramente articulada en torno a los objetivos de negocio reales.
Casos de uso con Big Data
Entonces después de leer los numerosos desafíos, ¿por qué las empresas utilizan Big Data? Por las mismas razones que utilizan otras formas de análisis e inteligencia de negocio. El objetivo es analizar estos nuevos tipos de datos y utilizar el conocimiento adquirido para tomar mejores decisiones para el negocio. Algunos de los casos de uso más comunes para los analíticos de Big Data incluyen
Obtención de una visión más completa del cliente
Con el fin de servir mejor a los clientes actuales y encontrar formas de atraer a otros nuevos, las empresas tratan de saber tanto sobre los clientes como sea posible. Según InformationWeek, uno de los usos más comunes del Big Data es utilizarlo para ayudar a aumentar las fuentes de datos tradicionales, como el historial de compras con datos de clickstream que muestran lo que los clientes han hecho en el sitio web de la compañía, así como los datos de sitios de redes sociales.
Uso de datos externos para la toma de decisiones
Big Data no sólo incluye los datos generados por la empresa y sus clientes. También hay mucha información de muchas otras fuentes que pueden ser valiosas para tomar decisiones o desarrollar estrategias. Por ejemplo, crmsearch.com cita una cadena de hoteles que analiza datos meteorológicos e información sobre cancelaciones de vuelos para ofrecer anuncios para móviles dirigidos a viajeros que necesitan reservar una habitación para pasar la noche. En una estrategia similar, una conocida cadena de pizza también utiliza datos meteorológicos y de interrupción de la energía para orientar anuncios a clientes que han perdido energía y no pueden cocinar.
Detectar tendencias que pueden haber pasado desapercibidas
El Big Data también puede utilizarse para ayudar a las organizaciones a predecir las tendencias futuras y planificar a largo plazo. CIO.com cita el ejemplo de un sistema universitario que analiza los datos de salud en los municipios para detectar tendencias en factores tales como el crecimiento de la población y el diagnóstico de enfermedades crónicas para determinar si esas regiones están siendo atendidas adecuadamente por los centros de salud locales.
¿Big Data o Business Intelligence?
Big Data e inteligencia de negocios están relacionados y se utilizan a menudo en conjunto, pero no son exactamente lo mismo. Cada uno de ellos tiene el mismo propósito y objetivo: utilizar los datos disponibles para aprender más acerca de un negocio, sus mercados y sus clientes con el fin de tomar decisiones mejores y más exitosas. La diferencia radica en los tipos de datos que se analizan, lo que afecta el tipo de preguntas que un negocio puede hacer.
La inteligencia de negocios ayuda a encontrar respuestas a las preguntas que ya conoces. Big Data ayuda a encontrar las preguntas que no sabes que quieres hacer.
Al analizar sólo datos estructurados utilizando Business Intelligence, estamos solicitando al sistema que ejecute un informe en torno a ciertos parámetros. Podemos buscar en el informe para obtener más detalles, pero todavía necesitamos solicitar la información específica de lo que estamos buscando. En contra, el análisis de Big Data consiste en permitir que el sistema explore los datos para encontrar nuevos patrones e ideas, especialmente si utilizamos algoritmos de Machine Learning.
Las herramientas e infraestructura utilizadas para Big Data e inteligencia de negocios también varían.
El Business Intelligence requiere cargar datos estructurados de sistemas transaccionales y otras fuentes en un almacén de datos tradicional, donde se utilizan para ejecutar consultas y producir análisis. En Big Data, se requieren entornos especializados como Hadoop parametrizados y puestos a punto. Los datos no estructurados se alimentan de varias fuentes en el sistema al que acceden las aplicaciones de Big Data.
Tampoco hay que preocuparse mucho por las diferencias específicas entre Big Data e inteligencia de negocios ya que cada vez los productos están más alineados.
Las inversiones se harán dependiendo de lo que la organización necesite, pero al final, si el objetivo es utilizar los datos disponibles para tomar las mejores decisiones posibles para el negocio, no importa si esos datos están estructurados o no estructurados, de dónde viene o qué software está realizando el análisis.
Es por eso que hoy en día, Business Intelligence y Big Data suelen combinarse. Se trata de poner toda la información valiosa en el mismo lugar (data centric) para que los usuarios puedan obtener una visión completa de su negocio con información completa y precisa.
Muchos proveedores de software ahora están comenzando a agregar capacidades de Big Data a sus ofertas de inteligencia de negocios, y muchas empresas utilizan un datawarehouse con datos estructurados y no estructurados.
¿Necesita mi organización usar tecnologías Big Data?
Como ocurre con cualquier tecnología o producto ampliamente difundido, las empresas necesitan hacerse una pregunta realmente importante acerca de Big Data: ¿realmente lo necesitamos?
A pesar del bombo del término, la respuesta, por supuesto, es que depende. Eso no quiere decir que Big Data es bueno o malo o valioso o no, ni la panacea a todos los problemas, sólo que las organizaciones deben tener cuidado al decidir si Big Data es adecuado para ellos. Eso sí, bien empleada se trata de un arma competitiva muy poderosa respecto a la competencia.
Aquí hay algunas preguntas que las empresas pueden hacer al intentar tomar esa decisión:
1. ¿Nuestros datos son lo suficientemente grandes?
Al igual que con la inteligencia de negocios tradicional, el punto de Big Data es utilizar los datos para responder a las preguntas. Así que al tomar una decisión, las empresas necesitan empezar por averiguar qué preguntas quieren responder, o al menos en qué áreas específicas les gustaría tener más información, así como qué datos tienen o son capaces de acceder.
Por ejemplo, si todo lo que quieres saber es quién está comprando qué y dónde, probablemente no necesitas Big Data para encontrar las respuestas. Los datos estructurados en una base de datos tradicional harán el trabajo. Además, recuerda que el volumen no es el único atributo clave en la definición de Big Data. Tener un montón de datos estructurados no lo hacen «grande».
2. ¿Los datos son relevantes para su negocio?
Es importante vincular las preguntas que tiene en mente y los datos que va a analizar a los resultados empresariales reales. Los responsables del negocio pueden hacer preguntas por curiosidad, y los datos de nuevas fuentes ciertamente pueden revelar información acerca del negocio que es interesante, pero la implementación de una solución de Big Data es un proceso complejo y con muchos recursos, por lo que debe producir un impacto real y medible.
3. ¿Está preparada su organización?
Al igual que con la inteligencia de negocios, prepararse para utilizar Big Data requiere algo más que instalar software. Las organizaciones necesitan estar listas para que sus implementaciones tengan éxito. Eso incluye hardware tanto como otras consideraciones.
Un aspecto como es ser capaces de gestionar la gran cantidad de información que se recoge y almacena que antes era un problema para las empresas ahora se ha democratizado y ya no sólo está disponible para las grandes organizaciones. Esto puede ir desde una actualización de hardware o la compra de servidores adicionales. Hadoop es conocido por ser capaz de funcionar con hardware «estándar de la industria», sin embargo, como señala InformationWeek, las empresas que quieran encontrar sus propias metas requerirán diferentes configuraciones de hardware. Además las tecnologías cloud computing han llegado en el momento oportuno para abaratar los costes de hardware, seguridad y conectividad.
Las organizaciones también deben asegurarse de que tienen los procesos adecuados listos para recopilar los datos correctos, asegurando su integridad y manteniendo el gobierno de los datos. Y quizás lo más importante, utilizar eficazmente Big Data o cualquier otro tipo de análisis puede requerir un cambio cultural significativo.
Sin embargo, según el informe de The Economist y Teradata, las organizaciones tienden a centrarse en los cambios culturales necesarios en la última fase, y la tecnología y las herramientas en primer lugar. El informe enumeró dos factores claves de éxito necesarios para construir una cultura lista para abordar Big Data y análisis avanzado:
Liderazgo de arriba hacia abajo: Es fundamental que las personas responsables de la toma de decisiones en los puestos directivos dejen claro que la analítica formará la base para la toma de decisiones. La vinculación de las iniciativas de Big Data a la toma de decisiones en toda la organización ayudará a mantener esas iniciativas en marcha y mostrará al resto del negocio que el análisis funciona y es valioso.
Compromiso ascendente: Un liderazgo fuerte ayudará a atraer a los empleados de toda la organización a bordo. Otras claves son: hacer que las herramientas de análisis sean fáciles de usar, ofrezcan capacitación y soporte, y alinear el trabajo con las metas y tareas del día a día del negocio.
El Big Data representa el potencial para nuevos tipos de toma de decisiones, según McKinsey & Company. Las organizaciones y personas acostumbradas a tomar decisiones basadas en suposiciones deben aprender a cambiar de rumbo cuando sus ideas preestablecidas sean cuestionadas por los datos. De lo contrario, no tiene sentido invertir en la tecnología para ofrecer esos conocimientos.
El talento es también una consideración clave. En los últimos años, el número de personas con habilidades y experiencia en Big Data ha crecido, pero todavía puede ser difícil encontrar el talento adecuado. Más del 80% de los líderes de TI creen que hay una escasez significativa de empleados con las habilidades necesarias para planificar y ejecutar proyectos Big Data, según una encuesta de TEKsystems. Las empresas tendrán que averiguar cómo contratar a esas personas, o bien ofrecer oportunidades de capacitación para desarrollar esas habilidades entre las personas que ya tienen.
4. ¿Sus expectativas son realistas?
Las empresas también deben tener las expectativas correctas en cuanto a cuánto tiempo abarca un proyecto de Big Data y cuánto costará. Ése es a menudo uno de los desafíos más grandes. La mayoría de los líderes empresariales creen que el Big Data puede ayudar a tomar decisiones mejores y más informadas, según una encuesta de IDG Research. Sin embargo, sólo el 23% de los encuestados dice que sus proyectos de Big Data han tenido éxito completo, mientras que el 52% dice que ha tenido cierto éxito.
Una forma de ayudar a tener las expectativas correctas es asegurar una estrecha comunicación entre TI y el sector empresarial desde el principio. El negocio debe ser capaz de enumerar objetivos claros, y las herramientas TIC debe ser capaz de explicar lo que se necesita para llegar.