GitHub user IMTB-FHE created a discussion: # Superset-Kachel „Datenqualität“ (Chart-Plugin) umsetzen
# Superset-Kachel „Datenqualität“ (Chart-Plugin) umsetzen ## Ziel Endnutzer sollen direkt im Dashboard sehen, wie belastbar die angezeigten Daten sind. Die Kachel ist generisch (ohne fachliche Annahmen) und bei mehreren Kunden einsetzbar. ## Umfang Chart-Plugin mit zwei Modi und gemeinsamer Darstellung: **Modus „Direkt prüfen“** – beliebiger Superset-Datensatz, Konfiguration im Chart-Builder: - Vollständigkeit: Anteil leerer Werte je Pflichtspalte - Eindeutigkeit: doppelte und leere Schlüssel - Aktualität: Alter des neuesten Eintrags - Datenmenge: Zeilenzahl im erwarteten Bereich - Eigene Regeln: Superset-Kennzahlen, die Verstöße zählen - Alle Prüfungen in einer Abfrage; Rechte, RLS, Cache und Dashboard-Filter wirken automatisch **Modus „Pipeline-Ergebnisse“** – liest `dq.pruefprotokoll` (Datenvertrag v1): - Nummerierte Schrittfolge je Kette, letzter Lauf je Kette - Zeilenbilanz, betroffene Zeilen, Abweichung, Referenz, Link je Prüfung - Hinweis bei veraltetem Datenstand **Architektur** - `src/core/`: Bewertung + Darstellung, ohne Superset-Abhängigkeit (späterer Umzug ins Extension-Framework) - `src/superset/`: Adapter (Registrierung, controlPanel, buildQuery, transformProps) ## Stand Gerüst liegt vor (`superset-plugin-chart-datenqualitaet`, v0.2.0): - Typprüfung gegen `@superset-ui/core` 0.20.x erfolgreich - 12 Unit-Tests grün, Darstellung beider Modi testweise gerendert - Noch **nicht** in einer echten Superset-Instanz gelaufen ## Aufgaben - [ ] Zielversion von Superset festlegen und Fork-Branch `kunde/<version>` anlegen - [ ] Importe/Typen gegen Generator-Ausgabe (`yo @superset-ui/superset`) der Zielversion abgleichen - [ ] Plugin in `MainPreset` registrieren (`key: 'datenqualitaet'`), Abhängigkeit in `package.json` - [ ] Im Chart-Builder prüfen: Ein-/Ausblenden je Modus (`visibility`), Einzelauswahl (`multi: false`) - [ ] Live-Modus gegen PostgreSQL-Testdatensatz testen (inkl. Ad-hoc-SQL-Spalten, eigene Regeln) - [ ] Protokoll-Modus mit Testdaten in `dq.pruefprotokoll` testen - [ ] Zeitzonenverhalten der Aktualitätsprüfung klären (Zeitstempel ohne Zeitzone) - [ ] Image-Build in CI (`integration/build-image.sh`), Target-Name im Dockerfile bestätigen - [ ] Vorschaubild und Texte final abstimmen ## Akzeptanzkriterien - Kachel ist im Chart-Builder unter „Datenqualität“ auswählbar und auf ein Dashboard ziehbar - Live-Modus liefert auf einem beliebigen Datensatz korrekte Werte für alle fünf Prüfbereiche - Protokoll-Modus zeigt Schritte, Status und Details gemäß Datenvertrag - Dashboard-Filter verändern das Prüfergebnis entsprechend - Status ist ohne Farbe erkennbar (Zeichen + Text), Bedienung per Tastatur möglich - Leere oder falsch konfigurierte Kachel zeigt einen Hinweis, was zu tun ist ## Offene Punkte - Nutzungsrechte am Code für den Einsatz bei weiteren Kunden (Vertrag prüfen), ggf. Open Source unter Apache-2.0 - Verantwortliche Rolle für Pflege bei Superset-Updates (fachlicher Betrieb Daten & BI) - Zeitpunkt für Umstieg auf Dashboard-Komponenten im Superset-Extension-Framework ## Anhänge - `superset-plugin-chart-datenqualitaet.zip` - `sql/pruefprotokoll.sql` (Datenvertrag) GitHub link: https://github.com/apache/superset/discussions/44606 ---- This is an automatically sent email for [email protected]. To unsubscribe, please send an email to: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
