Big Data Analyst

Der Lehrgang zeigt die Anforderungen von Daten und Datenbanken, die Nutzung von Künstlicher Intelligenz (KI) in diesem Bereich, die Data Warehouse Modellierung, den ETL-Prozess und das Management der Datenanalyse im Big Data. Abschließend werden die Anforderungen des Data Engineerings erläutert.

Data Engineer

Grundlagen Business Intelligence (ca. 2 Tage)

Anwendungsfelder, Dimensionen einer BI Architektur
Grundlagen Business Intelligence, OLAP, OLTP, Aufgaben der Data Engineers
Data Warehousing (DWH): Umgang und Verarbeitung von strukturierten, semi-strukturierten und unstrukturierten Daten

Anforderungsmanagement (ca. 2 Tage)

Aufgaben, Ziele und Vorgehensweise in der Anforderungsanalyse
Datenmodellierung, Einführung/Modellierung mit ERM
Einführung/Modellierung in der UML
· Klassendiagramme
· Use-Case Analyse
· Aktivitätsdiagramme

Künstliche Intelligenz (KI) im Arbeitsprozess

Vorstellung von konkreten KI‐Technologien
sowie Anwendungsmöglichkeiten im beruflichen Umfeld

Datenbanken (ca. 3 Tage)

Grundlagen von Datenbanksystemen
Architektur von Datenbankmanagementsystemen
Anwendung RDBMS
Umsetzung Datenmodell in RDBMS, Normalformen
Praktische und theoretische Einführung in SQL
Grenzen von Relationalen Datenbanken, csv, json

Data Warehouse (ca. 4 Tage)

Star Schema
Datenmodellierung
Erstellung Star Schema in RDBMS
Snowflake Schema, Grundlagen, Datenmodellierung
Erstellung Snowflake Schema in RDBMS
Galaxy Schema: Grundlagen, Datenmodellierung
Slowly Changing Dimension Tables Typ 1 bis 5 - Restating, Stacking, Reorganizing, mini Dimension und Typ 5
Einführung in normal, causal, mini und monster, heterogeneous und sub Dimensions
Vergleich von state und transaction oriented
Faktentabellen, Density und Storage vom DWH

ETL (ca. 4 Tage)

Data Cleansing
· Null Values
· Aufbereitung von Daten
· Harmonisierung von Daten
· Anwendung von Regular Expressions
Data Understanding
· Datenvalidierung
· Statistische Datenanalyse
Datenschutz, Datensicherheit
Praktischer Aufbau von ETL-Strecken
Data Vault 2.0, Grundlagen, Hubs, Links, Satellites, Hash Key, Hash Diff.
Data Vault Datenmodellierung
Praktischer Aufbau eines Data Vault Modells - Raw Vault, Praktische Umsetzung von Hash-Verfahren

Projektarbeit (ca. 5 Tage)

Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse

Data Analytics

Einführung Datenanalyse (ca. 1 Tag)

CRISP-DM Referenzmodell
Data Analytics Workflows
Begriffsabgrenzung Künstliche Intelligenz, Machine Learning, Deep Learning
Anforderungen und Rolle im Unternehmen der Data Engineers, Data Scientists und Data Analysts

Wiederholung Grundlagen Python (ca. 1 Tag)

Datentypen
Funktionen

Datenanalyse (ca. 3 Tage)

Zentrale Python-Module im Kontext Data Analytics (NumPy, Pandas)
Prozess der Datenaufbereitung
Data Mining Algorithmen in Python

Künstliche Intelligenz (KI) im Arbeitsprozess

Vorstellung von konkreten KI‐Technologien
sowie Anwendungsmöglichkeiten im beruflichen Umfeld

Datenvisualisierung (ca. 3 Tage)

Explorative Datenanalyse
Insights
Datenqualität
Nutzenanalyse
Visualisierung mit Python: Matplotlib, Seaborn, Plotly Express
Data Storytelling

Datenmanagement (ca. 2 Tage)

Big Data Architekturen
Relationale Datenbanken mit SQL
Vergleich von SQL- und NoSQL-Datenbanken
Business Intelligence
Datenschutz im Kontext der Datenanalyse

Datenanalyse im Big Data Kontext (ca. 1 Tag)

MapReduce-Ansatz
Spark
NoSQL

Dashboards (ca. 3 Tage)

Bibliothek: Dash
Aufbau von Dashboards - Dash Components
Customizing von Dashboards
Callbacks

Text Mining (ca. 1 Tag)

Data Preprocessing
Visualisierung
Bibliothek: SpaCy

Projektarbeit (ca. 5 Tage)

Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse

Big Data Specialist

Was ist Big Data? (ca. 1 Tag)

Volume, Velocity, Variety, Value, Veracity
Chancen und Risiken großer Datenmengen
Abgrenzung: Business Intelligence, Data Analytics, Data Science
Was ist Data Mining?

Einführung in Apache Frameworks (ca. 2 Tage)

Big-Data-Lösungen in der Cloud
Datenzugriffsmuster
Datenspeicherung

MapReduce (ca. 3 Tage)

MapReduce Philosophie
Hadoop Cluster
Verketten von MapReduce Jobs

Künstliche Intelligenz (KI) im Arbeitsprozess

Vorstellung von konkreten KI‐Technologien
sowie Anwendungsmöglichkeiten im beruflichen Umfeld

Komponenten (ca. 3 Tage)

Kurzvorstellung von verschiedenen Tools
Datenübertragung
YARN-Anwendungen
Hadoop JAVA-API
Apache Spark

NoSQL und HBase (ca. 3 Tage)

CAP-Theorem
ACID und BASE
Typen von Datenbanken
HBase

Big Data Visualisierung (ca. 3 Tage)

Theorien der Visualisierung
Diagrammauswahl
Neue Diagrammarten
Werkzeuge zur Datenvisualisierung

Projektarbeit (ca. 5 Tage)

Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse

Änderungen möglich. Die Lehrgangsinhalte werden regelmäßig aktualisiert.