Data Scientist Bootcamp

Ziele

Der "Data Scientist" - Mit massiv steigenden Datenmengen in Unternehmen und daraus resultierenden Bedarf an Datenanalysen steigt der Bedarf an Fachleuten und bietet exzellente Zukunftsaussichten.

Nicht alles, was das Profil eines Data Scientist ausmacht, ist neu, aber manches ist anders. Deshalb macht es Sinn, an der vertrauten "klassischen" Position der Datenhaltung und ihrer Auswertung anzusetzen und Schritt für Schritt die neuen Möglichkeiten und Anforderungen kennen zu lernen und anhand praktischer Aufgabenstellungen intensiv zu üben.

Dieser Spezialisierungskurs wendet sich an alle Auf- und Umsteiger, die in der Vergangenheit Erfahrungen mit der Anwendung von Business Intelligence gesammelt haben. Er stellt eine schlüssige Ergänzung zum Kurs "Data Scientist Methoden Vertiefung" dar, indem die dort diskutierten Herangehensweisen mit praktischen Tools umgesetzt werden.

Der Kurs wurde mit dem "Big Data Lab e.V." entwickelt.

Weitere Seminarinfos:

• Darreichung: PowerPoint-Präsentation, Live-Demos sowie eigenständige Übungen (Labs) der Teilnehmer.
• Der dargebotene Inhalt unterscheidet sich geringfügig je nach Wahl der Hadoop-Distribution (Cloudera oder Hortonworks), da nicht alle Komponenten in beiden Distributionen verfügbar sind.
• Materialien: Präsentation in elektronischer Form (Format .PDF). Übungsunterlagen in gedruckter und elektronischer Form.
• Die für die Übungen erforderliche IT-Infrastruktur wird in virtualisierter Form bereitgestellt.
• Der Anteil eigenständiger Übungen beträgt etwa 45 %.

Zielgruppe

Fachanwender

Voraussetzungen

Praktische Erfahrungen im Umgang mit Daten, sowie Grundkenntnisse in einer beliebigen Programmiersprache (bevorzugt R oder Python).

Agenda

Modul 1: Einführung. Was ist Data Science und worin besteht das Profil eines Data Scientist?

Data Science ist als Begrifflichkeit älter als mancher vermutet und wird etwa seit Mitte der 90er Jahre inhaltlich in der Form interpretiert, wie er heute allgemein verwendet wird: Der Ableitung von neuem Wissen aus Daten. Allerdings wurde er in den letzten fünf Jahren in Zusammenhang mit der Zunahme der Bedeutung von Daten stark aufgewertet. In diesem Abschnitt wird auf verschiedene aktuelle Interpretationen und Abgrenzungen eingegangen und Fragen wie beispielsweise: "Was ist ein Data Scientist?" und "Welche Anforderungen sind an einen Data Scientist zu stellen?" beantwortet.

Modul 2: Moderne Informations-Architekturen im Zeitalter von Big Data.

Die moderne Verarbeitung von Informationen muss nicht nur große Datenmengen handhaben können, sondern unter Umständen auch in der Lage sein, zeitnah Ergebnisse bereit zu stellen. Dies ist mit dem klassischen Architekturansatz nicht lösbar und so sind verschiedene Lösungsansätze entstanden, die alle auf einer verteilten Speicherung und Verarbeitung der Daten beruhen und den unterschiedlichsten Anforderungen gerecht werden.

In diesem Modul lernen die Teilnehmer auf Hadoop basierende Architekturen kennen, die entweder für die Stapelverarbeitung oder die Verarbeitung nahe Echtzeit eingesetzt werden können sowie eine Kombination aus beiden Anforderungen.

Die Teilnehmer aktivieren in einer praktischen Übung ihre individuelle Arbeitsumgebung auf der Grundlage eines virtualisierten Hadoop-Clusters.

Modul 3: Die Speicherung von Daten

Die traditionelle Speicherung von Daten in "strukturierter" Form auf einem zentralen Server hat enorm an Bedeutung verloren. Heute speichert man die Daten verteilt und zumeist nur gering strukturiert, immer öfters aber auch in der Cloud.

In diesem Abschnitt lernen die Teilnehmer das verteilte Dateisystem HDFS lernen sowie verschiedene Möglichkeiten der Datenhaltung in NoSQL-Datenbanken.

Die gewonnenen Erkenntnisse werden in praktischen Übungen (Labs) vertieft.

Modul 4: Die Aufbereitung von Daten

Je nach gewählter Architektur stehen sowohl für die Stapelverarbeitung als auch für die permanente Aufbereitung von Daten unterschiedliche Konzepte und Komponenten zur Verfügung. Für die Stapelverarbeitung kommt immer noch recht häufig MapReduce zum Einsatz, welches entweder direkt oder in Form von darauf aufsetzenden Werkzeugen (wie beispielsweise Pig) genutzt wird. Für die permanente Aufbereitung von Daten wird in der Regel ein Queue-basierter Ansatz auf der Basis von Kafka verfolgt.

Darüber hinaus stehen vollständige IDEs (Integrated Development Environments) für die Aufbereitung von Daten für Big Data zur Verfügung. Neben den traditionellen ETL-Anbietern wie beispielsweise Talend oder Pentaho, die ihre Angebote entsprechend erweitert haben, sind es vor allem neue Konzepte, wie sie zum Beispiel mit der Open Source-Lösung NiFi umgesetzt werden.

Die Teilnehmer machen sich mit den aufgeführten Komponenten vertraut, die ausführlich demonstriert werden. Entsprechend der Orientierung der Lab-Plattform lösen die Teilnehmer zahlreiche praktische Aufgabenstellungen

Modul 5: Die Evaluierung von Daten

Für die Evaluierung von Daten im Kontext von Big Data stehen eine Vielzahl von Möglichkeiten je nach Datengrundlage und favorisierter Anwendung zur Verfügung. Die vertrauteste Form bietet immer noch die SQL-basierte Evaluierung, die unter der Voraussetzung von definierten Datenstrukturen mit Werkzeugen wie Hive, Kudu, Phoenix oder Impala möglich ist. Darüber hinaus steht mit Spark SQL eine mächtige Engine zur Verfügung, mit der in einer interaktiven Konsolenanwendung SQL-Abfragen ausgeführt werden können.

Die Teilnehmer machen sich mit den aufgeführten Komponenten vertraut, die ausführlich demonstriert werden. Zusätzlich werden Alternativen im Überblick vorgestellt, die auf einem nicht SQL-basierten Ansatz beruhen.

Entsprechend der Orientierung der Lab-Plattform lösen die Teilnehmer praktische Aufgabenstellungen neben Hive und Spark SQL mit der Komponente Phoenix (Hortonworks) oder mit Kudu und Impala (Cloudera).

Modul 6: Datenanalysen und Vorhersagen

Mit Spark steht eine universelle Engine für die Verarbeitung von Daten in einer verteilten Umgebung zur Verfügung. Mit MLLib verfügt die Komponente auch über spezielle Routinen, die für die Analyse und Vorhersage genutzt werden können.

Die Bibliothek MLlib verfügt über Standard-Algorithmen für Clustering, Regressions- und Klassifikations-Verfahren und andere wie auch über Hilfsmittel, um den Prozess der Informationsgewinnung geeignet zu unterstützen (Feature Transformation, Hyperparameter Tuning, Pipelines, …).

Die Teilnehmer machen sich mit den verwendeten Begrifflichkeiten und dem Konzept von und Ablauf in Spark MLlib. In aufeinander aufbauenden Schritten wird die Lösung verschiedener praktischer Aufgabenstellungen demonstriert.

Die gewonnenen Erkenntnisse werden in praktischen Übungen (Labs) vertieft.

Modul 7: Programmierung im Zeitalter von Big Data.

Im Kontext von Big Data haben sich eine Vielzahl von Programmiersprachen etabliert, wovon im produktiven Umfeld die Sprache Java und in bestimmten Umfang auch Scala dominieren. Für den Data Scientist sind dagegen eher interaktive Konsolenanwendungen von Interesse sowie insbesondere die Sprachen Python und "R".

Da der Zugriff von der Konsole bereits in den Modulen 5 und 6 thematisiert wurde, wird in diesem Modul der Schwerpunkt auf die Sprachen Python und R gelegt.

Die Teilnehmer machen sich mit den Basis-Konstrukten von Python und R vertraut und lernen Notebook-Anwendungen wie beispielsweise Jupyter, Zeppelin oder die Cloudera Data Science Workbench kennen.

Entsprechend der Orientierung der Lab-Plattform lösen die Teilnehmer praktische Aufgabenstellungen mit dem Notebook Zeppelin (Hortonworks) oder der Cloudera Data Science Workbench (Cloudera).

Modul 8: Die Visualisierung von Daten

Für die Visualisierung von Daten im Kontext von Big Data stehen je nach gewählter Plattform unterschiedliche Werkzeuge zur Verfügung. Grundsätzlich können mit der gewählten Anwendung wie beispielsweise Zeppelin oder Cloudera Data Science Workbench auch Daten visualisiert werden. Darüber hinaus stehen in Python und "R" leistungsfähige Bibliotheken für die Visualisierung zur Verfügung. Alternativ ist unter bestimmten Voraussetzungen auch der Einsatz klassischer BI Tools für die Visualisierung möglich, wie am Beispiel von Microsoft Power BI gezeigt wird.

Die Teilnehmer erhalten einen Überblick und machen sich mit den Möglichkeiten der Datenvisualisierung vertraut.

Entsprechend der Orientierung der Lab-Plattform lösen die Teilnehmer praktische Aufgabenstellungen mit dem Notebook Zeppelin (Hortonworks) oder der Cloudera Data Science Workbench (Cloudera).