Allgemeines / Typen von Tools

Der Import-Prozess sieht normalerweise folgendermaßen aus:

• Metadaten in Tabelle (Excel, CSV) und PDFs der Volltexte der einzelnen Artikel werden entweder von Hand erzeugt oder über ein Tool aus vorhandenen Datenquellen generiert; hier bieten wir aktuell ein Tool an, das Metadaten über die Springer API einliest und eines, das Metadaten aus der DBLP ausliest.
• Diese Tabelle kann (muss) teilweise noch etwas ergänzt und/oder sonstwie qualitätsgesichert werden - Handarbeit
• Dann kann das MetaDataTool genutzt werden um Metadaten und Volltexte in das SimpleArchiveFormat zu bringen, welche für den Import in die DL benötigt wird. Hierbei werden auch gleich die Metadaten korrekt auf die Metadatenschemata in der DL aufgeteilt und bei Bedarf die Volltext-Dateien noch mal umbenannt.
• Wenn der Web-Import genutzt werden soll, dann ist das vom MetaDataTool generierte SimpleArchiveFormat-Verzeichnis noch zu zippen
• Das Ergebnis kann dann direkt in eine Sammlung in der DL importiert werden (über die Web-UI oder über die Kommandozeilen-UI) - Vorher ist natürlich händisch in der Web-UI die Sammlung anzulegen, in die importiert werden soll

Werkzeuge zum Laden von Metadaten aus verschiedenen Repositories

Springer Import Tool

Hauptsächliche Funktion: Export einer kompletten Zeitschrift nach Jahrgängen über die Springer API zum Import in die Digitale Bibliothek (via SAFBuilder)

Zum Betrieb wird ein API Key für die Springer API. Dieser kann kostenlos bei Springer bezogen werden: https://dev.springernature.com

Hinweis: Die API-Zugriffe werden von Springer begrenzt. Es gibt ein Tageslimit. Sollte beim Export ein Fehler auftreten, wurde das API-Limit erreicht. In dem Fall muss einen Tag gewartet (oder ein anderer API-Key) verwendet werden.

-- Aufruf: 
java -jar SpringerAPIReader.jar <issn> <api key> [<volume> [<issue>]]
ISSN: Ist die ISSN der zu exportierenden Zeitschrift (Format: xxxx-xxxx)
VOLUME, ISSUE: Optionale Einschränkung auf einen Jahrgang der Zeitschrift bzw. zusätzlich auf ein Heft des Jahrgangs
API KEY: Der von Springer erzeugte Key für die API

-- Ausgabe: 
Im aktuellen Verzeichnis wird pro Jahrgang eine CSV-Datei mit den benötigten Spalten und Metadaten für GI-DL und SAFBuilder erstellt.

DBLP Import Tool

TBD

MetaDataTool

Hauptsächliche Funktion: Generierung von SimpleArchiveFormat-Verzeichnissen aus einer Metadatentabelle und einer Menge von Volltextdateien - zum anschließenden Import als neue Sammlung (oder als Ergänzung einer Sammlung) in der DL.

-- Vorbedingung: 
-- Metadatentabelle liegt zusammen mit den Volltextdateien in einem Verzeichnis (hier /Users/kochm/gi/dl/)
java -jar MetaDataTool.jar -c gensaf -f /Users/kochm/gi/dl/informatik-spektrum-40-2.xlsx
-- Nachbedingung / Resultat: 
-- im Verzeichnis der Metadatentabelle ist ein neues Verzeichnis SimpleArchiveFormat mit der notwendigen Dateistruktur erzeugt worden
-- nun noch das Verzeichnis zum Hochladen in ein ZIP-File packen
cd /Users/kochm/gi/dl
zip -r informatik-spektrum-40-2-saf.zip SimpleArchiveFormat

Siehe auch Import von Sammlungen (z.B. neuen Heften einer Zeitschrift) zur Nutzung.

Aktuelle Sourcen im GI Bitbucket unter DSpaceTools.

Eine aktuelle Version des JAR-Files mit dem Tool finden Sie unter https://dl.dropbox.com/s/h05s5ggo3lsactj/MetaDataTool.jar