Data Governance in Microsoft Fabric
Mit Fabric hat Microsoft auch von Anfang an eine Data Governance-Strategie implementiert. Der Dienst Microsoft Purview (ehemals Azure Purview) ist nun nämlich integraler Bestandteil von Fabric. Die Vorteile einer gewissenhaften Data Governance haben wir bereits in einigen Blogbeiträgen beschrieben. Auch das Tool Purview haben wir schon ausführlich vorgestellt. Doch was bedeutet nun die Implementierung, muss man für Purview extra bezahlen und wie sieht die Implementierung in Fabric überhaupt aus?
Die Kosten von Purview in Fabric
Kommen wir gleich zu Beginn zu einem der wichtigsten Punkte, nämlich den Kosten von Purview in Fabric. Diese Frage ist schnell beantwortet. Für die Nutzung von Purview in Fabric fallen keine zusätzlichen Kosten an. Der Service ist von Anfang an implementiert und läuft automatisch im Hintergrund. In Azure ist das anders. Dort muss man für bestimmte Dienste, die in Purview integriert sind, bezahlen.
Die Implementierung
Um Purview nutzen zu können, muss lediglich ein Fabric-Abo abgeschlossen werden. Von Anfang an „protokolliert“ der Dienst alles und erstellt Lineage-Diagramme. So kann man jederzeit nachvollziehen, woher die Daten stammen. Aber was bedeutet es, dass der Dienst „alles aufzeichnet“?
Nehmen wir ein einfaches Beispiel. Wir erstellen ein Lakehouse in Fabric, um Daten zu speichern. Um dieses Lakehouse zu füllen, verwenden wir Notebooks. Diese Notebooks greifen wahrscheinlich auf verschiedene Datenquellen zu und werden von einer Pipeline getriggert. Möglicherweise ist die Pipeline noch mit einem SQL-Server verbunden, um die Daten anzureichern. Dann gibt es noch einen SQL-Endpunkt, auf dem semantische Modelle aufgebaut werden können. Verstanden? Wahrscheinlich nicht. Und genau das ist der Vorteil von Purview. Denn in Purview sieht das Ganze so aus:
Wir sehen also auf einen Blick die Bewegung der Daten. Bei möglichen Fehlern, kann man somit das Lineage abgehen und an jeder Stelle prüfen, ob die Daten noch stimmig sind.
Daten Verantwortlichkeiten in Fabric
Neben der Übersichtlichkeit gibt es einen weiteren großen Vorteil von Purview. Es ist möglich, an bestimmten Punkten im Lineage-Diagramm Kontakte hinzuzufügen. Die daraus resultierende Kontaktliste enthält dann alle Personen, die 1. für die Daten verantwortlich sind. Und 2. diejenigen, die mit den Daten arbeiten. Ändert man also zum Beispiel etwas an einem Lakehouse, kann man mit einem Knopfdruck die Personen kontaktieren. So wissen alle sofort, wenn Daten geändert wurden. Das verbessert die Kommunikation im Unternehmen enorm.
Unsere Spezialisten
Wir bei arelium verfügen über langjährige Erfahrung im Bereich der Verarbeitung und Analyse von Big Data. Unsere Experten haben Kunden sowohl bei der Analyse großer Datenmengen mit Databricks als auch beim Prototyping von ML-Modellen mit ML Studio unterstützt. Sie verfügen in Ihrem Unternehmen über große Datenmengen und möchten noch mehr Informationen aus diesen Daten gewinnen? Kontaktieren Sie uns und unsere Experten helfen Ihnen gerne weiter.
