Análisis del panorama actual del Big Data elaborado por Matt Turck

A principios del pasado mes de febrero Matt Turck publicó en su blog su cuarta revisión (aquí los enlaces a la primera, segunda y tercera versión) del panorama en torno al Big Data, recogido en su “Big Data Landscape 2016” a modo de gran mosaico de tecnologías, aplicaciones y empresas. Más allá del valor en sí de la infografía (sin duda con un enorme trabajo de recopilación y elaboración detrás), el contenido de la entrada de blog donde se publica recoge varias reflexiones importantes sobre el recorrido del Big Data desde sus orígenes y las tendencias que se apuntan en los últimos años, y que merece la pena revisar con algo más de detalle.

Como bien apunta Turck al comienzo de su entrada, los comienzos de las tecnologías Big Data tomaron como impulso el doble papel que jugaban las grandes compañías tecnológicas en torno a la Web que actuaban como desarrolladores de las tecnologías Big Data nucleares y al mismo tiempo como usuarios de las mismas para resolver sus necesidades de negocio en cuanto al análisis de sus bancos de datos (sólo cabría apuntar la incorrección que comete Turck al referirse a los artículos en los que Google divulga MapReduce y "BigTable" como origen de Hadoop, cuando en realidad la mención debería ser a MapReduce y Google File System). Con el paso de los años, el foco ha ido pasando a cómo extender el aprovechamiento de estas tecnologías por parte de un abanico más amplio de empresas. En este escenario, el principal obstáculo a superar es el reto de integrar estas nuevas tecnologías en negocios que, al contrario que las grandes empresas tecnológicas y las startups que fueron surgiendo para avanzar en el desarrollo de las tecnologías Big Data (empresas que Turck agrupa bajo el término de “digital native”), no empiezan precisamente de cero sino que ya cuentan con diversos sistemas desplegados durante años para resolver sus necesidades tecnológicas.

Es en esta integración de sistemas y modernización de los antiguos donde los proyectos de adopción de Big Data se encuentran las principales dificultades, teniendo en cuenta sobre todo (como también argumenta Turck) que son proyectos en los que no se trata de desplegar una tecnología sino también unos procesos complejos y unas responsabilidades en torno al procesamiento de los datos y donde se requiere un fuerte cambio cultural y compromiso por parte de la dirección del negocio. Además, se introduce la complejidad añadida de que el panorama tecnológico en torno al Big Data no ha alcanzado aún la madurez de desarrollo necesaria como para que las empresas usuarias puedan optar por una gran solución “llave en mano” que les resuelva todas sus necesidades, sino que sigue siendo necesaria una integración de tecnologías especializadas en diferentes aspectos del proceso de explotación y aprovechamiento de los datos, lo que incrementa la complejidad a la hora de gestionar estos proyectos.

El artículo también destaca la emergencia de Apache Spark, entre otros frameworks que también empiezan a aflorar, y el progresivo incremento en la atención prestada a la aplicación de la inteligencia artificial y el aprendizaje automático dentro del análisis de Big Data. En ese sentido, Turck apunta correctamente a las razones de esa simbiosis entre el aprendizaje automático y el Big Data (en la misma línea que ya habíamos analizado anteriormente en el blog), y cómo muchas de esas técnicas datan de décadas atrás y ha sido la posibilidad de almacenar y procesar eficientemente grandes volúmenes de datos lo que les ha permitido gozar de esa segunda juventud. Esta idea se resume a la perfección en la siguiente frase de Turck: “The recent resurrection of Artificial Intelligence is very much a child of Big Data”.