IFCT0118 Big Data para ingenierías

Contenido SCORM para el curso IFCT0118 Big Data para ingenierías

El curso IFCT0118 Big Data para ingenierías está diseñado para proporcionar los conocimientos y competencias necesarios para gestionar, procesar y analizar grandes volúmenes de datos mediante tecnologías y herramientas especializadas en Big Data, con aplicaciones en el ámbito de las ingenierías.

Este contenido formativo permite comprender los fundamentos del Big Data, sus principales características y los paradigmas de procesamiento de datos. También aborda el funcionamiento de los sistemas de almacenamiento distribuido y el ecosistema Hadoop, incluyendo herramientas como HDFS, MapReduce, YARN, Apache Flume y Sqoop, así como aspectos relacionados con la seguridad y la eficiencia energética.

A lo largo del curso, se profundiza en el procesamiento avanzado de datos mediante Apache Spark, el uso de DataFrames, Spark SQL y RDDs, y la ejecución de aplicaciones en entornos distribuidos. Asimismo, se introducen técnicas de ciencia de datos y aprendizaje automático mediante Spark MLlib, abordando el desarrollo, la evaluación y la validación de modelos de machine learning.

Además, la formación aborda el análisis y almacenamiento de información mediante Hive e Impala, junto con el procesamiento de datos en tiempo real utilizando Spark Streaming y Apache Kafka. De este modo, los participantes podrán adquirir una visión práctica de las tecnologías necesarias para desarrollar soluciones de análisis de datos y optimizar el tratamiento de información en proyectos de ingeniería.

Objetivos del curso

Objetivo general:
– Adquirir competencias en Big Data aplicadas a ingenierías, abarcando la gestión, procesamiento y análisis de grandes volúmenes de datos mediante Hadoop, Spark y herramientas de consulta como Hive e Impala, además de aprender técnicas de machine learning y procesamiento en tiempo real.

Objetivos específicos:
– Explorar los conceptos clave de Big Data y aprender a gestionar y procesar grandes volúmenes de datos mediante Hadoop y herramientas de su ecosistema.
– Aplicar Apache Spark para el procesamiento avanzado en memoria y desarrollar habilidades en ciencia de datos y machine learning usando Spark MLlib.
– Realizar análisis de datos y almacenamiento utilizando Hive e Impala, así como aplicar procesamiento en tiempo real con Spark Streaming.

Índice de contenidos

MÓDULO 1. FUNDAMENTOS DE BIG DATA Y PROCESAMIENTO DE DATOS

1. CONOCIMIENTO DE LOS FUNDAMENTOS DE BIG DATA
1.1. Definición y conceptos básicos de Big Data
1.2. Características de Big Data (las 8 Vs)
1.3. Principales paradigmas de procesamiento en Big Data
1.4. Introducción a los sistemas de almacenamiento distribuido

2. PROCESAMIENTO DE DATOS
2.1. Introducción a Hadoop y el sistema de archivos HDFS
2.2. Funcionamiento de MapReduce en Hadoop
2.3. Gestión de recursos con YARN
2.4. Ingestión de datos con Apache Flume y Sqoop
2.5. Configuración de seguridad en Hadoop con Kerberos

3. CONOCIMIENTO DE PROCESOS Y HERRAMIENTAS QUE FAVORECEN LA EFICIENCIA ENERGÉTICA EN EL TRABAJO CON GRANDES VOLÚMENES DE DATOS

MÓDULO 2. PROCESAMIENTO AVANZADO, CIENCIA DE DATOS Y APRENDIZAJE AUTOMÁTICO

1. PROCESAMIENTO AVANZADO CON SPARK
1.1. Conceptos básicos y ventajas de Spark
1.2. Uso de DataFrames y Spark SQL para análisis de datos
1.3. Operaciones con DataFrames y optimización de consultas
1.4. Operaciones con Resilient Distributed Datasets (RDDs)
1.5. Ejecución de aplicaciones en Spark y manejo de clusters

2. USO DE LA CIENCIA DE DATOS Y MACHINE LEARNING
2.1. Introducción a Spark MLlib y algoritmos básicos de machine learning
2.2. Modelado, evaluación y validación de modelos de datos
2.3. Librerías y funciones de MLlib para procesamiento de datos
2.4. Implementación de pipelines de machine learning

MÓDULO 3. ANÁLISIS Y PROCESAMIENTO EN TIEMPO REAL

1. ANÁLISIS Y ALMACENAMIENTO DE DATOS
1.1. Introducción a Hive e Impala para consultas SQL en Hadoop
1.2. Creación y gestión de tablas y bases de datos
1.3. Consultas avanzadas con HiveQL y optimización de Impala
1.4. Análisis de datos complejos con Hive y consultas de Impala

2. PROCESAMIENTO EN TIEMPO REAL
2.1. Fundamentos de Spark Streaming y fuentes de datos en tiempo real
2.2. Configuración y ejecución de flujos de datos en Spark
2.3. Integración con Apache Kafka para ingestión de datos en tiempo real
2.4. Análisis en streaming y actualización en tiempo real