Big Data, significado y su utilidad en la sociedad

    Big Data

    Con la irrupción de Internet, llegaron nuevos conceptos que con el tiempo se han vuelto de uso cotidiano y que nos acompañan en nuestro día a día. Han repercutido para bien en nuestras vidas y casi no podemos entender las nuevas tecnologías sin estas geniales ideas. Uno de estos conceptos que han resonado mucho últimamente es Big Data; aunque como ya ha pasado en anteriores ocasiones, el halo de escepticismo y desconfianza ha planeado en torno a todo lo que lo rodea. Hay muchas dudas (fundadas) en cuanto a su concepto, uso y alcance; de esta manera se crea un ambiente de recelo aparejado a algo que parece intangible, incontrolable y sobre todo, que puede atentar nuestra privacidad. Vamos a arrojar un poco de luz sobre este tema, para por lo menos tener una opinión más fundamentada sobre todo esto, y de esta manera discutir, criticar y polemizar con argumentos. Big Data, qué significa y cuál es su utilidad en la sociedad.

     

    Qué significa Big Data

     

    Big Data (datos masivos en español, aunque apenas se utiliza la traducción) es el proceso de recolección de grandes cantidades de datos y su inmediato análisis para encontrar información oculta, patrones recurrentes, nuevas correlaciones, etc.; el conjunto de datos es tan grande y complejo que los medios tradicionales de procesamiento son ineficaces. Y es que estamos hablando de desafíos como analizar, capturar, recolectar, buscar, compartir, almacenar, transferir, visualizar, etc., ingentes cantidades de información, obtener conocimiento en tiempo real y poner todos los sentidos en la protección de datos personales. El tamaño para albergar todo el proceso ha ido aumentando constantemente para poder recopilar e integrar toda la información.

    La recolección de datos ha existido casi desde siempre, cuando en el amanecer del hombre se hacían muescas en piedras o huesos para hacer seguimiento de las actividades cotidianas o de los suministros esenciales para subsistir. La invención del ábaco supuso un determinante empuje al cálculo y análisis que tanto necesitábamos cuando los dedos y la memoria no eran suficientes, y las primeras bibliotecas representaron además un primer intento de almacenar datos. En la época actual, todo lo que hacemos está continuamente dejando un rastro digital que se puede utilizar y analizar; los avances en tecnología, junto a la expansión de Internet y el almacenamiento en la nube, han provocado que crezca la cantidad de datos que podemos almacenar.

     

     

     

    Para resumir, se puede utilizar 5 V’s como definición de Big Data (empezaron siendo 3), que es lo que caracteriza al sistema y al mismo tiempo explica sus ventajas:

     

    1. Volumen. La más evidente y la que hacer honor al nombre; captar y organizar absolutamente toda la información que nos llega es esencial para tener registros completos e insesgados, y que las conclusiones que obtengamos sirvan eficientemente a la hora de la toma de decisiones. Es el Business Intelligence que todos conocemos, pero a lo grande; aunque la diferencia con la clásica inteligencia de negocio viene marcada por el resto de V’s.
    2. Velocidad. Siempre es importante el tiempo si afrontamos tanto la necesidad de generar información (y recordemos que estamos hablando de muchos datos) como de analizarla, pero lo es más si necesitamos reaccionar inmediatamente; todo el proceso pide agilidad para extraer valor de negocio a la información que se estudia y que no se pierda la oportunidad.
    3. Variedad. Hay que dar uniformidad a toda la información, que tendrá su origen en datos de lo más heterogéneos, tal como veremos en el siguiente apartado. Una de las fortalezas del Big Data reside en poder conjugar y combinar cada tipo de información y su tratamiento específico para alcanzar un todo homogéneo.
    4. Veracidad. Se refiere a la calidad del dato y su disponibilidad; en un entorno descrito por la anterior V, Variedad, hay que encontrar herramientas para comprobar la información recibida; las tecnologías creadas al servicio del Big Data se muestran imprescindibles y eficientes para afrontar los retos.
    5. Valor. Trabajar con Big Data tiene que servir para aportar valor a la sociedad, las empresas, los gobiernos, en definitiva, a las personas; todo el proceso tiene que ayudar a impulsar el desarrollo, la innovación y la competitividad, pero también mejorar la calidad de vida de las personas.

     

    Tipos de datos en Big Data

     

    Para aclarar qué es lo que se recoge para el análisis, podemos dividirlos en dos grandes categorías:

     

    • Datos estructurados. Aquellos que tienen longitud y formato (por ejemplo fechas) y que pueden ser almacenados en tablas (como las bases de datos relacionales). En esta categoría entran los que se compilan en los censos de población, los diferentes tipos de encuestas, los datos de transacciones bancarias, las compras en tiendas online, etc.
    • Datos no estructurados. Son los que carecen de un formato determinado y no pueden ser almacenados en una tabla. Pueden ser de tipo texto (los que generan los usuarios de foros, redes sociales, documentos de Word), y los de tipo no-texto (cualquier fichero de imagen, audio, vídeo). Dentro de esta categoría, podemos añadir los Datos semiestructurados, que son los que no pertenecen a bases de datos relacionales ya que no se limitan a campos determinados, aunque poseen organización interna o marcadores que facilita el tratamiento de sus elementos; estaríamos hablando de documentos XML, HTML o los datos almacenados en bases de datos NoSQL.

     

    El uso del análisis de datos

     

    Para poder analizar todo esto, se precisa de técnicas potentes y avanzadas; las clásicas medias o varianzas no son por sí solas suficientes para extraer suficiente de toda esa cantidad de información, ni para entender los diferentes tipos de datos que hemos descrito.

    Antes de la irrupción Big Data, ya existían algoritmos matemáticos que nos facilitaban descubrir información oculta en los datos, como todos los que engloban el Data Mining (minería de datos): K-medias, arboles de decisión, redes neuronales, etc., que con la llegada de la potencia de cálculo de los ordenadores permitieron acortar el tiempo que se tardaba en obtener resultados. Aunque no se pensó para ser en tiempo real si no a posteriori, permite analizar datos para encontrar correlaciones entre ellos y de este modo desarrollar por ejemplo una estrategia de marketing adaptada a las conclusiones.

    Por eso el análisis de datos siempre ha tenido un gran peso en el marketing, un mejor conocimiento del consumidor y sus necesidades propicia saber cómo aumentar las ventas; el análisis de datos nos permite establecer relaciones entre variables, predecir comportamientos, realizar agrupaciones (clustering) de grupos homogéneos, e incluso analizar textos para extraer información. Ahora con Big Data, todo esto se consigue en tiempo real y con cada nueva actualización de nuestro repositorio de datos es posible ver los cambios en las estadísticas inmediatamente.

     

    Análisis de datos

     

    Qué utilidad puede tener

     

    Como todas las cosas en esta vida, puede tener un buen uso o usarse para propósitos “malvados”. Lo primero que llama la atención es el tema de la privacidad, ya que cada vez más detalles de nuestras vidas son almacenados y analizados por empresas y gobiernos; por supuesto, no es algo que nos debamos tomar a la ligera, pero a medida que siga avanzando la tecnología, habrá que ir adaptando las leyes y regulaciones para proteger a las personas. Por ahora, no hay más rastro de nosotros que los que ya estamos dejando día a día, y que ya están siendo analizados por terceros; a partir de este momento, todos esos registros se unen para formar un todo. Sí, podemos hablar de una representación de nosotros, pero no deja de ser un número entre millones de números, sin cara ni alma. Lo único que va a contar para estudiar es el comportamiento de grupos homogéneos tratados como tendencias en un segundo, para que al siguiente empiece de nuevo el proceso. Si alguien quiere hacer de esto algo punible, está todavía por ver, aunque no hay que bajar la guardia.

    En cambio los beneficios son muchos, y muy importantes. Veamos ejemplos.

    Una eCommerce puede optimizar el stock de sus almacenes a través de la información extraída de lo que busca la gente en su web o analizando las tendencias en redes sociales y foros; también fijar precios dinámicos en sus productos extrayendo datos de múltiples fuentes (las acciones de los clientes, preferencias de los proveedores o recopilación de precios de la competencia).

    El sector de las telecomunicaciones es una industria privilegiada, gracias a sus redes y a la proliferación de dispositivos móviles; la oportunidad más evidente es extraer información de la experiencia del usuario gracias al tráfico de voz y datos, y así poder ofrecer altas en contratos personalizados, ampliar la batalla por la competencia e incluso crear nuevas fuentes de ingresos.

    La banca tiene ante sí un reto, y una oportunidad, de poner medios para luchar contra el fraude, los delitos financieros y las brechas de seguridad, mediante Big Data. Las entidades financieras están invirtiendo enormes cantidades de dinero en perfeccionar algoritmos y la tecnología de análisis para minimizar riesgos y fortalecer su imagen de cara al cliente.

    La Federación Alemana de Fútbol empezó a usar el análisis de grandes volúmenes de datos para mejorar el rendimiento de sus jugadores, y con los deberes bien hechos se presentaron en el Mundial de Brasil 2014.

    Si piensas que todo lo que puede dar de sí Big Data es sólo aprovechable por grandes corporaciones, vas mal encaminado; por ejemplo, las fuerzas de seguridad utilizan estas herramientas para perseguir criminales y luchar contra el terrorismo de cualquier tipo. En materia de sanidad, el cruce de información de historiales clínicos, antecedentes familiares, clima y entorno, junto a los hábitos de consumo, permitirá un modelo predictivo personal para cada paciente, y de esta manera ayudar en la detención precoz de enfermedades y estrategias más efectivas para combatirlas. En muchas ciudades, ya se usa el análisis de datos para transformarse en más modernas e inteligentes: transportes públicos interconectados para minimizar los tiempos de espera, o semáforos que ante la previsión de un aumento del tráfico se regulan para minimizar los atascos.

    Y por supuesto, las pymes también pueden subirse al carro del Big Data, ya que no es necesaria una gran inversión. Es suficiente con tener un CRM y a un analista de datos para extraer conclusiones de la información que utiliza una pyme, aunque siempre cabe la posibilidad de externalizarlo.

     

    Big Data, modelando el futuro

     

    Todo el mundo habla cada día más, es una tendencia en aumento y ha llegado para quedarse. A medida que las herramientas se hagan más accesibles, se integrará poco a poco en nuestras vidas y pasará de ser algo desconocido o temido, a una forma más de comprender el comportamiento humano y nuestra relación con el entorno.

    Es como el Social Media, al principio las empresas lo veía como algo ajeno a ellas, que no debían destinar recursos porque creían que no reportaría ningún beneficio; ahora, lo más normal es hacer Social Marketing y elaborar informes exhaustivos con las estadísticas derivadas de su presencia online. Pues ahora es el momento de cruzar esos datos con el resto de aspectos de la organización, como ventas, tráfico web, interacción con distribuidores, etc., para encontrar nuevas vías de negocio y crear nuevas estrategias.

    Y por supuesto, para analizar toda esta información, es necesario contar con profesionales que tengan parte analista y parte creativa; estos “científicos de datos” serán muy demandados por las empresas y organizaciones, por lo que se abre un interesantísimo campo laboral para los amantes de los números.

     

    Big Data; para tí, ¿crees que es un peligro, una moda pasajera o ha venido para quedarse? ¿Hay algo que te preocupa acerca de la privacidad de tus datos personales? Si quieres abrir cualquier debate sobre el tema, bienvenido sea.

    Etiquetado , , , .Enlace para bookmark : Enlace permanente.

    31 Respuestas a Big Data, significado y su utilidad en la sociedad

    1. jorge dice:

      Bunos días me llamo Jorge
      Esta muy bien un post casi completo, pero….. como se tiene acceso a esa gran masa de datos? Es una gran base de datos donde cualquiera puede acceder? Necesitas algún software específico?
      Leo bastante sobre el big data pero no como acceder a esos datos.
      un saludo

      • MiguelAngelddl dice:

        Hola Jorge, bienvenido.

        Como comentaba, todo lo que hacemos genera datos, y una empresa todavía más. Imagina el caso del sector hotelero, una cadena de hoteles tiene unas bases de datos en Microsoft Access por ejemplo; estas bases de datos están generadas por las reservas, recepciones, etc. Pues el Big Data de la empresa es el conjunto de bases de datos de cada hotel por separado. Si a eso añadimos datos extraídos de las redes sociales y tráfico web, se puede obtener una importante fuente de información para analizar el mercado.

        Claro que para llevar a buen término, hay que usar software específico, como Hadoop, NoSQL, MapReduce, Pivotal etc, para poder almacenar y extraer convenientemente los datos; no hay un estándar todavía y ya dependería de las preferencias/presupuesto de la empresa. Estamos hablando de algo un poco más técnico, por eso es más complicado encontrar fuentes que te detallen algo sobre este software.

        Por supuesto, hay bases de datos públicas para extraer información que cualquiera puede usar para sus intereses; un ejemplo sería esta página de Quora donde podemos ver multitud de fuentes; la mayoría están en inglés, pero si entras en el enlace de la Wikipedia, te puedes bajar la base de datos de la Wiki en español. Para empezar a hacer cosas, está muy muy interesante, jeje.

        Saludos.

    2. Excelente artículo colega, la verdad es que recién estoy introduciéndome en el tema de Big Data y tu información es muy útil.
      Gracias por compartir
      Feliz semana
      Julia Echeverria

    3. Francisco Javier Cervigon Ruckauer dice:

      Nuevas necesidades y demandas que han surgido recientemente en la sociedad actual donde cada vez más la cantidad de datos y variables que rodean a la solución de un problema se incrementa de forma exponencial día a día. El objetivo es proporcionar las bases necesarias para comprender y resolver la problemática de encontrar valores añadidos de los propios datos de un negocio utilizando herramientas dentro del campo del Big Data. Estas bases incluyen conocimientos generales sobre el paradigma Big Data, aspectos de seguridad, privacidad, coste, interfaces y el uso de técnicas de minerías de datos aplicadas al Big Data.

    4. Que súper interesante!!! Muy bien explicado todo, la verdad que me ha venido genial la información.

      • MiguelAngelddl dice:

        Hola Carolina.

        Pues encantado de que te pueda ser útil el post. La realidad es que el Big Data está entrando con fuerza en muchas empresas, y a partir de ahora vamos a ver más cosas sobre esta nueva forma de entender nuestro tránsito por la red de redes.

        ¡Saludos!

    5. guido dice:

      el big data es ciego para predecir el futuro

      • MiguelAngelddl dice:

        Bueno, por supuesto no nos va a decir el número de la lotería; pero nos ayuda a segmentar y homogeneizar grupos y así poder revelar sus comportamientos.
        Nos dice cómo están actuando ahora, y de esta manera pronosticar sus movimientos e inquietudes a corto-medio plazo con un error mínimo.

    6. Pablo dice:

      Y por donde se empieza, para meterte en el mundillo?

      • MiguelAngelddl dice:

        Hola Pablo.

        Bueno, yo siempre antes recomiendo empaparse un poco de Estadística y el análisis de datos. Si te entusiasman los números no va a ser un problema, y te va a facilitar la comprensión de conceptos y herramientas que se aplican en el Big Data. También es positivo conocer las diferentes técnicas del Data Mining, ya que al fin y al cabo el Big Data es una evolución natural y actual de la minería de datos.

        • PABLO dice:

          Muchas Gracias Miguel, y hay algun lenjuage para programarlo que destaque sobre los demas o tenga mas salida en el mercado laboral.

          • MiguelAngelddl dice:

            Échale un vistazo mi post de recursos de big data para pymes para saber un poco más del tema a nivel de pyme.

            Las herramientas más utilizadas actualmente, pues por ejemplo pueden ser Hadoop, MongoDB, Apache Spark, Lenguaje R o el famoso Python.
            Es muy difícil recomendar una sobre otra, ya dependerá de las necesidades de la empresa, presupuesto, volumen de datos, etc.

            • Pablo dice:

              Y pasar de un lenguaje a otro es facil o son como la noche y el dia. Muchas gracias tienes un post genial.

            • MiguelAngelddl dice:

              Cada uno tiene sus peculiaridades. Pero quizás lo más importante en el Big Data es elegir el tipo de base de datos: sistemas relacionales RDBMS, NoSQL o NewSQL. Aquí, la naturaleza de nuestros datos es la que dictamina la elección de la tecnología que deberemos utilizar.

              Como veo que hay dudas con este tema, seguramente escriba un post un poco más extenso para presentaros las herramientas, y que vosotros podáis seleccionar con la que más a gusto os sintáis.

    7. Excelente Post Miguel te felicito. En BPulse contamos con una plataforma de Big Data para el apoyo a la gestión de las organizaciones y todo lo que comentas. Excelente. Puedes visitarnos en bpulse.io.

    8. José Luis dice:

      Muchas gracias por el artículo. Realmente, la toma de decisiones basadas en el análisis de datos es lo que debería hacer cualquier empresa, al margen de su actividad. Por supuesto hay que utilizar la estadística y métodos cuantitativos de organización industrial conocidos pero poco usados como Simplex, etc…Pero al final, yo entiendo que las decisiones de negocio en muchos sectores ya deberían estar bastante optimizadas por quién tiene el conocimiento y la información para hacerlo. Por ejemplo, la automoción. No veo nada nuevo bajo el sol excepto una impresionante campaña de marketing del sector de TI. Por ejemplo:
      https://www.emc.com/en-us/services/professional-services/big-data-vision-workshop.htm

      En definitiva, para gestionar empresas en el siglo XXI se necesitan aplicaciones informáticas potentes (*) y directivos competentes.

      No es menos cierto que en nuestra era digital, con la cantidad de información se genera y se intercambia, es fundamental gestionar grandes cantidades de información. No hay más que ver cómo funcionan los robots de Google.

      (*) Potentes no son siempre “caras”, sino que se ajusten a lo que se necesita y la aplicación “ayude” a gestionar. Miro para atrás y no puedo sino reirme con las masivas implantaciones, por ejemplo, de SAP. ¿Qué datos se están aprovechando?¿No hay Big data?

      Muchas gracias de nuevo

      • MiguelAngelddl dice:

        Muchas gracias a ti por tu estupenda aportación, José Luis.

        Es verdad que seguiremos hablando largo y tendido sobre la “democratización” del Big Data en nuestra sociedad. Muchas empresas no dan el paso por miedo (o desconocimiento); y las personas todavía son reticentes con el uso de sus datos, cuando desde hace mucho ya son plenamente digitales y no dudan en compartir su intimidad por medio de comentarios, fotografías o vídeos.

        Saludos.

    9. Hola Miguel, ante todo felicitaciones por la claridad del concepto. Yo vengo (y me he quedado) de las “humanísticas” y ahora me encuentro muy lejos del presente. El desafío va a ser vencer las resistencias, ponerme a estudiar estadística (por empezar). He leído atentamente tus consejos. Alguna sugerencia más?
      Muchas gracias.

      • MiguelAngelddl dice:

        Hola Laura, bienvenida.

        Pues si te ha picado el gusanillo, creo que ya has dado un paso muy importante. Si quieres, empieza a mirar estadística descriptiva, que es la más utilizada en cualquier sector o medio; de ahí ya podrás saltar a la estadística inferencial.
        También sería bueno echar un vistazo al tratamiento de bases de datos. Con esto ya tendrías una buena base para intentar acercarte al mundillo del Big Data.

        ¡Saludos!

    10. lciuca dice:

      Wow! Me suena incitante y escalofriante, je! Ya me pongo a investigar! Muchas gracias por abrir (una) Windows hacia el futuro.
      Te mantendré al tanto (… y te pediré consejos).
      Un abrazo

    11. David dice:

      Hola,
      Tengo una consulta respecto a la extracción de datos… Si al iniciar un proyecto no tenemos acceso a los datos orígenes y dejamos esta etapa de extracción de datos para el final del proyecto… ¿Qué consecuencias puede conllevar esta decisión?
      Gracias y un saludo.

      • MiguelAngelddl dice:

        Buenas David.

        Teniendo en cuenta que casi lo más importante en un proyecto Big Data son los datos, pues imagínate cómo podría ralentizar todo el proceso.

        La etapa en la que se estudian los datos de una fuente origen, ya se establecen mecanismos y procesos para su tratamiento, y luego tienen que ser volcados coherentemente en sistemas de almacenamiento. Esto nos lleva ya bastante tiempo. Sabiendo que tras la fase de Obtención de Datos, nos quedarían las de Preparación y Transformación de los Datos, Almacenamiento, Procesamiento y Visualización (he resumido), te puedes imaginar cómo se vería afectado todo el proyecto.

        Saludos.

    12. Jose Luis dice:

      Hola Miguel!! Tengo que realizar mi Tesis de grado y me interesa realizarla sobre BIG DATA. Que me aconsejarías.

      • MiguelAngelddl dice:

        Qué tal Jose Luis.

        Bueno, yo tesis de grado no he realizado nunca. Imagino que tendrás un asesor académico que te estará aconsejando para su confección.
        Si va a tratar sobre el Big Data, supongo que ya tendrás bastantes conocimientos sobre el tema. Recopila la información que tengas clasificada durante tu formación y esquematiza un desarrollo para tu tesis. Si tus estudios han versado sobre matemáticas/estadística, sin duda te servirán para la exposición de la materia y poder profundizar en el contenido.

        Saludos.

    13. Hugo Echeverri Carmona dice:

      Hola Miguel muy interesante Tu documento. Espero me puedas compartir mas información sobre el tema.

      Gracias

    14. Ramon Medellin dice:

      Felicidades realmente interesante, nos enfrentamos a grandes retos, será importante acelerar el paso, esta gran cantidad de información depositada en “nubes en condominio” pasando y procesando información parecería película de ciencia ficción, con la variante que estamos dentro de ella. Es urgente que todos tengamos este chip hay que acelerar este primer paso de lo contrario es costo puede ser muy alto. Saludos

      • MiguelAngelddl dice:

        Hola Ramón.

        Sin duda, los desafíos de las nuevas tecnologías van a seguir revolucionando la forma en la que vivimos y trabajamos. Y no ha hecho nada más que empezar. El impacto en la estructura social está siendo muy rápida, y las barreras que antes eran inamovibles, ahora sirven de puente para la transmisión de información relevante.

        Gracias por comentar.

    15. Con una buena dirección y enfocado para aportar valor a la sociedad en cuanto a mejorar la calidad de vida de las personas, como se enuncia en las ventajas, numeral 5, es impresionante y excelente. Buena publicación.

    Deja un comentario

    Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

    MiBloguel te informa que los datos de carácter personal que me proporcionas rellenando el presente formulario, serán tratados por Miguel Ángel Lucas como responsable de este blog personal.
    La finalidad de la recogida y tratamiento de los datos personales que te solicito es para gestionar tus comentarios en este blog.
    La legitimación se produce mediante el consentimiento del interesado. El hecho de que no introduzcas los datos de carácter personal que aparecen en el formulario como obligatorios, podrá tener como consecuencia que no pueda atender tu solicitud. Como usuario e interesado te informo que los datos que me facilitas estarán ubicados en los servidores de Webempresa Europa S.L. (proveedor de hosting de MiBloguel) dentro de la UE. Ver política de privacidad de Webempresa. Podrás ejercer tus derechos de acceso, rectificación, limitación y supresión de los datos en miguelangeldll@gmail.com, así como el derecho a presentar una reclamación ante una autoridad de control.
    Puedes consultar la información adicional y detallada sobre Protección de Datos en mi página web (https://mibloguel.com), así como consultar mi política de privacidad.

    Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.