piwik-script

Deutsch Intern
    Chair of Computer Science VI - Artificial Intelligence and Applied Computer Science

    Datenimport

    Das PaDaWaN-Framework besitzt verschiedene Tools und Schnittstellen um alle für den Datenimport notwendigen Prozesse durchführen zu können:

    -          Mit einem generischen Importer können die gängigsten Datenformate (CSV, XML, Text) importiert werden, indem in einer dafür vorgesehenen Importer-Sprache eine Import-Konfiguration definiert wird, die den Importer regelt.

    -          Mit speziellen Java-Importer-Klassen können für komplexe Datendomänen Importer geschrieben werden, um jeden gewünschten Datenbestand auf das PaDaWaN-Datenmodell abbilden zu können. Die abstrakten Importer-Klassen bieten dabei unterstützenden Zugriff auf die jeweiligen Tabellen des Datenbankschemas.

    -          Daten können mit direkten SQL-Statements direkt in die jeweiligen Tabellen geschrieben werden

    -          Um die Quelldaten für die Verwendung in einem DataWarehouse entsprechend anonymisieren zu können gibt es ein Anonymisierungs-Tool, das als Service in den ETL-Prozess eingebunden werden kann.

    Nach dem Befüllen der Datenbank wird mit einem Indexer-Tool der Datenbestand der Datenbank mit dem Solr-Index synchronisiert.

    Abbildung 1 illustriert den ETL-Prozess von den Quelldaten bis hin zur Abfrage des Systems.

    Abbildung 1: ETL-Prozessfluss zur Befüllung eines PaDaWaN-Systems

    Data privacy protection

    By clicking 'OK' you are leaving the web sites of the Julius-Maximilians-Universität Würzburg and will be redirected to Facebook. For information on the collection and processing of data by Facebook, refer to the social network's data privacy statement.

    Data privacy protection

    By clicking 'OK' you are leaving the web sites of the Julius-Maximilians-Universität Würzburg and will be redirected to Twitter. For information on the collection and processing of data by Facebook, refer to the social network's data privacy statement.

    Contact

    Lehrstuhl für Informatik VI (Künstliche Intelligenz und angewandte Informatik)
    Am Hubland
    97074 Würzburg

    Phone: +49 931 31-86731
    Email

    Find Contact