Custom DatabasesDataset Manager (Beta)
Ingestion & Scan
Wie Daten in den Dataset Manager geladen und analysiert werden
Ingestion-Pfad
Daten werden pro Dataset in Tabellen geladen, typischerweise über Exporte aus Drittsystemen oder vorbereitete Pipelines.
Unterstützte Upload-Formate:
- CSV
- JSON
- SQLite
- XML
Beim Upload werden Tabellen erstellt/aktualisiert (optional mit dropExisting) und Dataset-Metriken aktualisiert.
Was beim Scan passiert
Der Schema-Scan analysiert das Dataset und cached ein angereichertes Schema.
Erfasst werden u. a.:
- Tabellenliste und geschätzte Tabellengröße
- Spalten inkl. Datentypen, Nullable, Defaults
- Basisstatistiken (Distinct, Null-Anteil, Top Values, Min/Max je nach Typ)
- Primary-/Foreign-Keys und Referenzen
- Index-Informationen
- erkannte Join-Pfade zwischen Tabellen
Der Scan kann on-demand refreshed werden und dient als Grundlage für präzisere Agent-Queries.
Dokumentation pro Dataset/Table
Neben der technischen Analyse gibt es eine menschlich pflegbare Dokumentation:
- Dataset-Dokumentation (Markdown)
- Table-Dokumentation
- Query-Beschreibungen und Parameter für Stored Queries
So entsteht ein kombiniertes Modell aus Auto-Introspection + Business-Kontext.