Karteikarten
Big Data
Karten in diesem Stapel (50)
- 1Mit was beschäftigt sich Big Data?- Sammeln von Daten
- Gewinnen von Informationen
- Finden und Nutzen von Datenquellen
- Daten in beliebiger Form und Menge - 2Warum Big Data?- Erstellen von Prognosen
- Ableiten von Strategien
- gezieltere und bessere Werbung - 3Woher kommen die Daten?- Kunden für sich arbeiten lassen
- Facebook: Likes, Freundschaften, Nachrichten
- Google: Double-Captcha
- Daten einkaufen - 4Wann sind Daten nutzlos?- keine Umwandlung in Information
- vor allem wenn Daten nicht schnell zu Information werden
- wenn Information selbst nicht schnell genutzt wird - 5Herausforderungen der Analyse- Diversität der Daten
viele Quellen
Schemalos
schwer zu integrieren - 6Lösungen für die Datenanalyse- Algorithmen: Effizienz + Qualität der Algorithmen
- Mensch: vereinfachte Handhabung + menschliche Intelligenz
- Maschine: parallele Verarbeitung + Ausführung - 7Die 3 VVariety (Vielfalt)
Velocity (Geschwindigkeit)
Volume (Menge) - 8Variety - Vielfalt- verschiedene Datentypen
- Integration von Daten aus unterschiedlichen Quellen
- flexible Verknüpfung von Daten
- große Bandbreite an Datenmodellen - 9Velocity - Geschwindigkeit- Realt-Time Daten von Events
- In-Memory-Verarbeitung: Unmittelbare Analyse ohne Zwischenspeicherung der Daten
- Event-basierte Architekturen
- Arbeitsspeicher statt Festplattenspeicher
- Weniger I/O, mehr Hauptspeicher Nutzung - 10Volume - Menge- erfordert verteilte Infrastrukturen
- Nutzung von Cloud Computing Plattformen
- Abkehr vom klassischen Client-Server-Modell - 11Data Compliance - Risiken- Einhaltung gesetzlicher Vorgaben zum Datenschutz
- Risiko ergibt sich aus dem Sammeln, Speichern, Verändern, Analyse, Weitergabe und Löschen von Daten - 12Data Compliance - Nationale Rahmenbedinungen- Recht auf informationelle Selbstbestimmung
- BDSG: grundsätzliches Verbot der Erhebung personenbezogener Daten
- Daten nur zu einem bestimmten Zweck erheben und nur zu diesem Zweck verwenden
- Grundsatz der Datensparsamkeit und Datenvermeidung
- Grundsatz der Transparenz (informieren) - 13Data Compliance - §28 BDSG- Datenerhebung ist erlaut zur Erfüllung der eigenen Geschäftszwecke
- 14Data Compliance - §29 BDSG- Nutzung von Daten aus öffentlich zugänglichen Quellen ist erlaubt
- 15Data Compliance - anonymisierte Daten- ist zulässig, wenn auch durch Anreicherung der Daten nicht ersichtlich ist, wer die Person ist
- 16Data Compliance - Sozialrisiko- Kunde hat Eindruck überwacht zu werden
- personalisierte Werbung
- Kundenbindung kann Schaden nehmen - 17Datenrisiken- Sicherheit der Daten --> Verschlüsselung
- Qualität der Daten: Vollständigkeit, Konsistenz, Verfügbarkeit, Plausibilität - 18Modellbildungsrisiko- Auswahl geeigneter statistisch-mathematischer Modelle
- Auswahl geeigneter Analysetechniken und Verfahren - 19Intepretationsrisiko- bei der Auswertung der Ergebnisse können Probleme auftreten
- Fehlinterpretationen durch Laien möglich
- viele Modelle haben eine nicht-triviale Darstellungsform - 20Risikovermeidung - Data- Löschfristen einhalten
- Prüfen der Qualität - 21Risikovermeidung - Data Management- Datenschutzgesetze prüfen und einhalten
- Daten sollten nur endgültig gelöscht werden können - 22Risikovermeidung - Organisation- klare Formulierung der Verantwortlichkeiten und Aufgaben sowie Zugriffsrechte
- 23Risikovermeidung - Prozesse- kontinuierliche Überprüfung der Rechtskonformität
- 24Risikovermeidung - Kunde- Vertrauen durch Transparenz
- ohne explizite Einwilligung keine Speicherung und Verarbeitung der Daten - 25Methodische Herausforderungen- Kombination bisheriger mit neuen Techniken
- organisatorische Maßnahmen
- Definition von Rollen und Verantwortlichkeiten
- Kulturwandel - 26Technische Herausforderungen- Planung und Installation neuer Systeme
- Integration in bestehende Landschaft
- Leistungsfähigkeit des Netzwerkes - 27Auswirkungen auf den Einzelhandel- gezieltere Werbung
- Optimierung der Lagerbestände und gesamten Supply Chain
- Dynamische Preisanpassung
- Verbesserung des Layouts der Filialen
- Probleme für kleinere Unternehmer
- gewaltige Datenmengen - 28Wie können diese Auswirkungen erreicht werden?- Aufbau der benötigten Kapazitäten in Form von Wissen, Infrastruktur und Personal
- Verwendung von In-Memory-Datenbanken, In-Database-Analytics und Grid Computing (z.B. Hadoop)
- Tracking der Einkäufe durch Kundenkarten, Kreditkarten, PLZ, ... - 29NoSQL - Entstehung- Relationales Datenmodell für viele Webanwendungen zu starr
- neue Projekte müssen flexibler werden
- Skalierbarkeit und hohe Verfügbarkeit wichtiger als Konsistenz
- schneller für viele Anwendungen mit großen Datenmengen - 30NoSQL - Eigenschaften- keine festgelegte Definition
- schemafrei oder nur schwächere Schemarestriktionen
- andere Konsistenzmodelle (BASE)
- einfache API
- weniger, aber mächtige Funktionen - 31NoSQL - Vorteile- lösen Skalierungsprobleme
- schemafreie Datenpräsentation
- Struktur muss vorab nicht festgelegt werden und kann sich ändern
- kürzere Entwicklungszeiten
- schnellere Systeme durch Verteilung der Anfragen und Entfall des Transaktionsoverheads - 32Key/Value Systeme- einfachstes NoSQL-Modell
- zwei Spalten: key & value
- schemalos
- weniger geeinget für komplexe Datenstrukturen
- beschränkte Abfragemächtigkeit - 33Spaltenorientierte Datenbanken- zweidimensionale Tabellen werden spaltenweise gespeichert
- effizienter, wenn Aggregtae über viele Zeilen und nur wenige Spalten gebildet werden muss
- effizienter, wenn für alle Zeilen gleichzeitig eine Spalte einen neuen Wert erhält
- ineffizienter, wenn gleichzeitig viele Spalten einer einzigen Zeile benötigt werden
- ineffizienter beim Einfügen einer neuen Zeile, wenn alle Daten dieser Zeile auf einmal eingefügt werden - 34Dokumentenorientierte Datenbanken- Daten sind Dokumenten
- Dokument ist meist eine strukturierte Datei
- jedes Dokument hat einen eindeutigen Identifikator
- Anfragen auf Dokumente - 35Graphendatenbanken- Graphen, um stark vernetzte Informationen abzuspeichern
- Knoten und Kanten
Property-Graphen: ergänzen Eigenschaften
- Daten können sehr flexibel strukturiert werden - 36NoSQL- Zusammenfassung- schlank und effizient
- kostengünstige Verwaltung
- einfache Strukturierung großer Datenmengen
- bessere Performance und ausfalltolerantere Datenverteilung durch Verzicht auf strenge Konsistenz
- mehr Arbeit bei der Analyse der Daten und Anforderungen
- relationale Modell bei bestimmten Anwendungen immer noch besser - 37ACID- Konsistenzmodell relationaler Datenbanken
- Konsistenz als zentrales Thema
- Atomicity: Transaktionen werden ganz oder gar nicht ausgeführt
- Consistency: nach jeder Transaktion bleibt die Konsistenz erhalten
- Isolation: Parallel ablaufende Transaktionen behindern sich nicht
- Durability: nach erfolgreichem Abschluss einer Transaktion sind die Daten dauerhaft gespeichert - 38CAP- Theorem (Brewers)- es ist unmöglich sowohl Consistency, Availability und Partition Tolerance gleichzeitig zu gewährlesiten
- Konsistenz: Zustand ist konsistent nach Abschluss einer Transaktion
- Availability: Alle Clients können stets schreiben und lesen
- Partitionstoleranz: Knoten fällt aus, Gesamtsystem läuft weiter
- maximal zwei der drei können gleichzeitig erreicht werden - 39BASE- Basically, Available, Soft State, Eventually Consistent
- Löst den Konflikt des CAP-Theorems
- Gegenpart zum klassischen ACID, aber keine schwarz-weiß Auswahl
- Verfügbarkeit vorrangig, Konsistenz untergeordnet
- Konsistenz erst nach einem Zeitfenster der Inkonsistenz erreicht - 40Neo4Jsiehe Code Beispiele in der Zusammenfassung!!!
- 41Verteilte Infrastruktur- Berechnungen und Speicherung auf Cloud Infrastrukturen
- skalierbar
- flexibel
- fehlertolerant - 42Verteilte Verarbeitung- über einzelne Maschine hinaus
- komplexe Programmieraufgaben sollen vereinfacht werden
- MapReduce-Ansatz
- geeignet für Commodity-Hardware um Kosten zu reduzieren - 43MapReduce - Funktionsweise- Problem muss parallelisierbar sein
- Problem aufgeteilt in kleine Unterprobleme
- Lösung der kleinen Probleme
- Zusammenfassen der Lösungen der kleinen Probleme als Lösung für das ursprüngliche Problem - 44MapReduce - Ausführung- Master weist den Knoten Aufgaben zu und sagt ihnen, wo sie ihre Daten finden
- Prozesse werden an Knoten zugewiesen
- Master kennt den Status aller Knoten
- MapWorker fertig --> Nachricht an Master
- Master stößt Reduce Phase an, wenn Map Phase vollständig beendet ist - 45MapReduce - Gruppierung & Aggregation- erst Gruppierung, dann Aggregation
- findet zwischen Map und Reduce statt
- Key-Value-Paare werden nach Key sortiert, als Vorbereitung für Reduce
- wird durch den Master erledigt - 46MapReduce - Reduce- Zusammenführen der gruppierten und aggregierten Vorlösungen zu einer Gesamtlösung
- 47MapReduce - Ausfall von Knoten- Ausfall Master: Neustart der MapReduce Aufgabe
- Ausfall MapWorker Knoten: Neustart der Map Aufgaben für diesen Knoten und alle Reduce Aufgaben informieren über neue Lokation des Inputs dieses Knotens
- Ausfall Reduce Worker Knoten: Neustart Reduce Aufgabe sobald Knoten wieder verfügbar - 48Apache Spark - Grundlagen- Engine für verteilte Datenverarbeitung
- diverse Erweiterungen möglich (SQL, Machine Learning, Visualisierung,...) - 49Apache Spark - Grundidee- Berechnungen sind Operationen auf einem RDD Datensatz
- Spark verteilt die Daten auf mehrere Knoten beim Laden einer Datei
- Partitionierung der Daten ist nicht transparent
- Entwickler hantiert mit nur einer generischen JavaRDD Instanz - 50Apache Spark - RDD- Resilient Distributed Dataset
- Resilient: Datensatz kann bei Fehlern wiederhergestellt werden
- Distributed: Daten werden beim Laden partitioniert und über mehrere Knoten verteilt
Informationen
- Beschreibung
- Karteikarten am Big Data, erstellt von Daniel Eberwein am 18/07/2016.
- Erstellt von
- Daniel Eberwein
- Aufrufe
- 3
- Bewertung