Parte del Trabajo de Fin de Grado de V\u00edctor Plaza Mart\u00edn, hasta ahora alumno de Ingenier\u00eda Inform\u00e1tica de la Universidad de La Laguna, ha sido publicado recientemente por la editorial Springer como cap\u00edtulo titulado \u00abAnalyzing Network Log Files Using Big Data Techniques\u00bb en el libro \u00abBig Data Management\u00bb, editado por F.P. Garc\u00eda-M\u00e1rquez y B. Lev.<\/p>\n
El trabajo ha sido desarrollado en la Escuela Superior de Ingenier\u00eda y Tecnolog\u00eda del centro universitario, por el mencionado V\u00edctor Plaza Mart\u00edn, junto a Carlos J. P\u00e9rez Gonz\u00e1lez y Teno Gonz\u00e1lez-Santos, y en colaboraci\u00f3n con Jos\u00e9 C. Gonz\u00e1lez (Servicio TIC), bajo la direcci\u00f3n de Marcos Colebrook y Jos\u00e9 L. Roda Garc\u00eda.<\/p>\n
Este trabajo aborda el dise\u00f1o y desarrollo de una aplicaci\u00f3n que usa t\u00e9cnicas de Big Data para analizar los ficheros log de la WiFi de la Universidad de La Laguna, con el objetivo de rastrear informaci\u00f3n sobre los distintos dispositivos conectados, as\u00ed como el n\u00famero y tipo de accesos a cada edificio. Esta aplicaci\u00f3n ayudar\u00e1 en un futuro al Servicio TIC a analizar estos registros en tiempo real. La publicaci\u00f3n estar\u00e1 accesible gratuitamente desde la ULL (a partir de 2017) en http:\/\/doi.org\/10.1007\/978-3-319-45498-6<\/a><\/p>\n El proyecto corresponde al curso acad\u00e9mico 2014\/15 y en ese momento uno de los campos tecnol\u00f3gicos de mayor relevancia era y sigue siendo la BigData como se pod\u00eda observar en los rankings Gartner sobre tecnolog\u00eda.\u00a0 \u201cB\u00e1sicamente podemos entender BigData como el procesamiento y an\u00e1lisis de grandes cantidades de datos atendiendo a tres factores claves, la velocidad con lo que lo procesamos, la variedad de los datos que confiere mayor dificultad de c\u00f3mputo, y por \u00faltimo el volumen de los datos ya que a mayor volumen el tiempo final de computaci\u00f3n aumenta\u201d, explica el autor del trabajo.<\/p>\n \u201cEstas tres variables, velocidad, variedad y volumen vienen a representar las tres V de la BigData y todas hacen referencia a los datos\u201d, prosigue, por lo que el primer paso del proyecto consisti\u00f3 en conseguir datos de calidad cuyo an\u00e1lisis tuviese inter\u00e9s y fuese relevante, para no realizar un proyecto eminentemente te\u00f3rico sino m\u00e1s bien pr\u00e1ctico.<\/p>\n En este contexto surgi\u00f3 la posibilidad de colaborar con el Servicio TIC, ya que por ley una entidad como la universidad debe almacenar un registro de la actividad de sus servicios como m\u00ednimo un a\u00f1o. El Servicio TIC gestiona m\u00e1s de un centenar de servicios telem\u00e1ticos, a los que se acceden desde los 26 edificios que componen la instituci\u00f3n. Esta potente red de comunicaciones con tecnolog\u00eda de 10Gb est\u00e1 formada por m\u00e1s de mil dispositivos de red entre WiFi y cableados que interconectan a los usuarios con los servicios, generando alrededor de 10 Gb de registros por hora. Dicho registro detalla el conjunto de peticiones que se realizan de manera transparente para el usuario pero que monitorizan su actividad, por lo que viene a configurar un mapa de la actividad de los usuarios en este caso de la red WiFi de la universidad.<\/p>\n En este contexto se plante\u00f3 el problema en colaboraci\u00f3n con el Servicio TIC de forma que de manera peri\u00f3dica tanto el volumen como la variedad de los datos iba aumentando. \u201cEsto se hizo con el fin de garantizar la exactitud de los datos, usando los procesos anteriores para validar los resultados obtenidos, ya que cuando se habla de cientos de millones de registros un fallo en su procesamiento puede pasar desapercibido y \u00e9ste era un aspecto clave para todas las partes interesadas\u201d.<\/p>\n Se opt\u00f3 por el uso de la herramienta l\u00edder en su momento para el an\u00e1lisis de datos masivos llamada Hadoop, la cual permit\u00eda afrontar el problema desde otra perspectiva, y realizar un an\u00e1lisis computacional basado en una t\u00e9cnica llamada clustering. \u201cB\u00e1sicamente consiste en dividir el conjunto de datos en bloques m\u00e1s peque\u00f1os y manejables, con el fin de realizar el an\u00e1lisis de manera distribuida en muchos ordenadores para posteriormente agregar los resultados. De esta manera conseguimos aplicar paralelizaci\u00f3n a nuestro proceso de an\u00e1lisis reduciendo notablemente el tiempo de procesamiento\u201d, explica el ingeniero inform\u00e1tico de la Universidad de La Laguna.<\/p>\n Para tener una referencia, el resultado final permit\u00eda llevar a cabo un an\u00e1lisis de cuatro servidores y cuatro d\u00edas en poco m\u00e1s de 15 minutos de media, contin\u00faa, haciendo uso de un cluster distribuido compuesto por cuatro ordenadores. Uno de las mejores cualidades de la soluci\u00f3n generada era su escalabilidad, es decir, el f\u00e1cil dimensionamiento de la soluci\u00f3n, de manera de que a\u00f1adir un mayor n\u00famero de ordenadores al cl\u00faster fuese casi transparente al usuario con el fin de agilizar el an\u00e1lisis.<\/p>\n Esta primera parte del an\u00e1lisis, conocida como ETL y que consiste en la adquisici\u00f3n, transformaci\u00f3n y carga de los datos fue sobre la que m\u00e1s tiempo se invirti\u00f3 y la que a la postre acab\u00f3 centrando el cap\u00edtulo publicado en el libro (referencia 3) debido a la escasez de documentaci\u00f3n pr\u00e1ctica en \u00e9ste sentido.<\/p>\n Gr\u00e1fica Gartner 2013: http:\/\/www.gartner.com\/newsroom\/id\/2575515<\/a><\/p>\n Parte del Trabajo de Fin de Grado de V\u00edctor Plaza Mart\u00edn, hasta ahora alumno de Ingenier\u00eda Inform\u00e1tica de la Universidad…<\/p>\n","protected":false},"author":23,"featured_media":29641,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"gallery","meta":{"inline_featured_image":false,"footnotes":""},"categories":[345,349,1],"tags":[643,1353,2392,2621],"acf":[],"yoast_head":"\n\n