Convertir la materia bruta en un valor positivo, mediante la tecnología, es la labor de un ingeniero de datos, que al igual que el concepto de la neguentropía, pone orden al sistema de datos y el resultado es una empresa u organización con rendimiento óptimo.
La descripción de esta especialidad va de la mano del perfil profesional, ya que un ingeniero de datos se encarga de diseñar, construir y gestionar los datos y la infraestructura necesaria, para almacenarlos y procesarlos; de tal manera que sean interpretados por científicos de datos o analistas de negocios.
“La ingeniería de datos surge de la necesidad que tienen las empresas de poder manipular su información, ya que esta garantiza que los datos sean fiables; que aquellos confidenciales estén enmascarados y que se logre ahorrar tiempos en la preparación de los datos a la hora de ponerlos en funcionamiento”, explica Nataly Miranda, directora de Ingeniería de Sistemas de la Universidad Franz Tamayo, Unifranz.
Esta especialidad surge de las ciencias de la computación, para el manejo de grandes datos o Big Data, es de gran demanda laboral, ya que varias empresas portan grandes cantidades de información.
El profesional tiene tareas específicas, como adquirir conjunto de datos que se ajusten a las necesidades del negocio, desarrollar algoritmos para transformar los datos en información útil y procesable; construir, probar y mantener arquitecturas de canalización de bases de datos.
También, colaborar con el gerente para entender los objetivos de la empresa, crear nuevos métodos de validación de datos y herramientas de análisis de información; y garantizar el cumplimiento de las políticas de seguridad y gobernanza de datos.
“La ingeniería de datos incide de una manera significativa, ya que sin su presencia la organización no tendría claridad de cómo manipular la información, porque el profesional se ocupa de administrar, gestionar, procesar y organizar datos, así como de implementar la infraestructura necesaria para almacenarlos”, agrega Miranda.
Se trata de una profesión de gran crecimiento. Según estudio de “Aprender Big Data” en 2019, la demanda de vacantes superaba el 50%. “Gracias a estos profesionales se puede diseñar y mantener sistemas de bases de datos de las organizaciones y de esta manera apoyar a su crecimiento”, afirma la entrevistada.
Conocimientos básicos
Entre los conocimientos básicos debe estar Linux. La mayoría de cargas y despliegues cloud y Biga Data están en este sistema operativo. Luego, automatización y scripting, con algún lenguaje de programación, como Python.
El Big Data suele tener lugar en sistemas distribuidos, que tienen numerosas particularidades, en torno a la replicación de datos, consistencia, tolerancia a fallos, particionado y concurrencia, en este punto se engloban a tecnologías como HDFS, Hadoop o Spark.
Entre las habilidades fundamentales, un buen ingeniero de datos debe conocer y tener experiencia en el uso de servicios cloud, sus ventajas y sus aplicaciones en proyectos Big Data, ya que son más extendidas, como las plataformas Azure o AWS.
También deben conocer el funcionamiento de las bases de datos, las diferencias que hay entre relacionales y NoSQL. Uno de los roles principales de los ingenieros de datos es crear pipelines Existen otras habilidades que se debe considerar, como la mensajería Kafka o RabbitMQ. También el lenguaje de programación funcional y orientado a objetos, como Scala o Java, que son muy útiles en el sector del Big Data.
Algunas ideas de proyectos que pueden desarrollar los ingenieros de datos son la creación de un almacén de datos escalable en la nube, que implica la integración de múltiples fuentes de datos y el uso de servicios y tecnologías cloud computing.
El desarrollo de una API para acceder a datos estructurados, que permita el acceso a los datos de una base, a través de una interfaz web. Análisis de datos en tiempo real con Apache Kafka y Apache Spark, que permiten la creación de una infraestructura streaming de datos que pueda procesar grandes volúmenes de datos en tiempo real.
La creación de una aplicación web de análisis de datos para cargar y analizar información de diferentes fuentes, con un framework web, como Python y Flask. Y, finalmente, la creación de un sistema de monitorización y alertas, con una plataforma de Nagios, Zabbix o Prometheus, con los cuales se podrá recibir alertas de sistemas de información y notificar a los equipos de soporte.
“En Bolivia existen muchas empresas dedicadas exclusivamente a la ingeniería de datos, que ofrecen sus servicios tanto a pequeñas como a grandes empresas, que cuya necesidad sea el diseño de aplicaciones o gestión de sus datos”, puntualiza Miranda.