Change - Renames as SQL Table #3

New issue

Open

opened 2025-11-21 09:09:48 +01:00 by anton.luckhardt · 0 comments

anton.luckhardt commented

2025-11-21 09:09:48 +01:00

Owner

Beschreibung

Bisher erzeugt das Seed Script für Archivdatenbanken lediglich die Datei renames.csv, welche für jedes erzeugte Dokument eine Zeile im Format:

objektid,neuerDateiname

enthält.
Diese Datei wird später in NiFi als Lookup-Basis genutzt.

Für große Datenmengen ist die CSV jedoch nicht ideal.
Um schnelle indexed Lookups zu ermöglichen ist eine relationale Tabelle notwendig.

Das Script soll deshalb erweitert werden um:

automatische Anlage einer neuen Datenbank _renames
Erzeugung einer Tabelle

RENAMES
Schema:

objektid VARCHAR(32) PRIMARY KEY neuerDateiname VARCHAR(255) NOT NULL

Einfügen eines Datensatzes für jede erzeugte Zeile, die derzeit in renames.csv landet
Weiterhin beide Ausgaben erzeugen (CSV und Tabelle)
Sicherstellen, dass die Tabelle vor dem Seed‐Prozess geleert oder frisch angelegt wird.

Beschreibung Bisher erzeugt das Seed Script für Archivdatenbanken lediglich die Datei renames.csv, welche für jedes erzeugte Dokument eine Zeile im Format: ` objektid,neuerDateiname ` enthält. Diese Datei wird später in NiFi als Lookup-Basis genutzt. Für große Datenmengen ist die CSV jedoch nicht ideal. Um schnelle indexed Lookups zu ermöglichen ist eine relationale Tabelle notwendig. Das Script soll deshalb erweitert werden um: 1. automatische Anlage einer neuen Datenbank <db-prefix>_renames 2. Erzeugung einer Tabelle RENAMES Schema: ` objektid VARCHAR(32) PRIMARY KEY neuerDateiname VARCHAR(255) NOT NULL ` 3. Einfügen eines Datensatzes für jede erzeugte Zeile, die derzeit in renames.csv landet 4. Weiterhin beide Ausgaben erzeugen (CSV und Tabelle) 5. Sicherstellen, dass die Tabelle vor dem Seed‐Prozess geleert oder frisch angelegt wird.