Evolución histórica de la relevancia de los diferentes términos que rodean al Big Data

[Click here for the English version]

Partiendo de la definición de los términos clave en torno al análisis de datos que se relacionan hoy en día con el concepto de Big Data, ¿cómo podríamos tener un reflejo más claro de su origen, desde cuándo data la relevancia de cada concepto y cómo ha sido la evolución histórica de dicha relevancia? Las herramientas web de las que disponemos hoy en día nos permiten visualizar información histórica recopilada automáticamente de diferentes fuentes y presentarla en este curioso ejemplo de análisis sobre los propios términos en torno al análisis de datos y el Big Data.

Si queremos revisar la tendencia histórica en el uso de estos términos, pero queremos remontarnos a épocas anteriores a la eclosión de la web y su uso masivo en nuestra sociedad, tenemos a nuestra disposición Google Books y su buscador de la frecuencia de aparición de términos y expresiones en todos los libros que se han tratado digitalmente en dicho servicio. Esta sería la gráfica que compara esta frecuencia de aparición para “big data”, “business intelligence”, “data mining”, “data science” y “machine learning”, en el período comprendido entre 1970 y 2008 (último año registrado):

Gráfica de Google Books comparando la frecuencia de aparición de “big data”, “business intelligence”, “data mining”, “data science” y “machine learning” en el histórico de libros de dicho servicio.
[Hacer clic sobre la imagen para ampliar]

La gráfica nos permite apreciar tendencias interesantes. Por ejemplo, vemos que históricamente es el concepto de Machine Learning el que primero adquiere cierta relevancia a lo largo de los años 80, justo cuando empieza a consolidarse como un campo de estudio con entidad propia frente a otras líneas de investigación en inteligencia artificial. Por otra parte, aunque los conceptos de Business Intelligence y Data Mining comienzan a despegar conjuntamente a principios de los 90 (justo después de que la definición de ambos se hubiera consolidado), la progresión del Data Mining es enormemente más pronunciada durante la segunda mitad de los 90 cuando comienzan a extenderse los usos empresariales en los sectores pioneros en este campo (finanzas, banca y aseguradoras). También se puede apreciar como la idea del Big Data no tiene apenas reflejo en libros publicados en este intervalo de años, cuando apenas habían empezado a desarrollarse las primeras herramientas que posteriormente popularizarían el concepto. También podemos observar cómo el concepto de Data Science aún no había despegado como propuesta de evolución de las áreas técnicas en torno a la Estadística.

Si pasamos al ámbito de las consultas web y comparamos la frecuencia con la que estos términos han sido buscados en Google desde 2004 hasta hoy, podemos prácticamente trazar una “segunda parte” de esta evolución con tendencias muy distintas a las anteriores:

Gráfica de Google Trends para comparar el volumen de búsquedas realizadas en Google sobre “big data”, “business intelligence”, “data mining”, “data science” y “machine learning”.

[Hacer clic sobre la imagen para ampliar]

Durante los primeros años de este intervalo de tiempo se ve claramente que el concepto de Big Data aún no había alcanzado popularidad, algo que cambia drásticamente a partir de 2011. Podemos relacionar fácilmente este hito con la publicación ese mismo año del informe del McKinsey Global Institute “Big Data: The next frontier for innovation, competition and productivity” que pone a este concepto en el radar de todos los análisis sobre tendencias globales en el mundo tecnológico. También se aprecia el incremento de interés por el concepto de Data Science a partir de 2012, justo cuando un artículo de Harvard Business Review parafrasea las palabras de Hal Varian de 2009 acerca del futuro de los estadísticos y presenta en sociedad el perfil del "data scientist" como el "trabajo más sexy del siglo XXI".

Por el contrario, la antigua preponderancia del concepto de Data Mining cae fuertemente durante este periodo y actualmente tiene un nivel de relevancia muy similar al Business Intelligence, aunque ambos siempre a la sombra del Big Data. Esto también parece ir en línea con la habitual confusión de llamar a todo “big data”, independientemente del enfoque adoptado para la analítica de datos o de las características de volumen o complejidad de dichos datos. El concepto que sí incrementa claramente su popularidad durante los últimos años es el de Machine Learning, lo que casa a la perfección con esa idea de la “segunda juventud” que están experimentando las técnicas de aprendizaje automático (que como hemos visto datan de mucho más atrás) gracias al auge del Big Data.