2. Künstliches und künstlerisches Sehen (WIN-Programm)

2. Künstliches und künstlerisches Sehen. Computer Vision und
Kunstgeschichte in methodisch-praktischer Zusammenarbeit
Kollegiaten: Jun.-Prof. Dr. Peter Bell1, Dr. Miguel Bautista2
Mitarbeiter: Dr. Sabine Lang2, Timo Milbich2
1 Juniorprofessur für Digital Humanities mit Schwerpunkt Kunstgeschichte, Universität Er-
langen-Nürnberg
2 Heidelberg Collaboratory for Image Processing, Universität Heidelberg
Die Zusammenarbeit zwischen Kunstgeschichte und Computer Vision hat das Se-
hen, den Zugang sowie die Analyse von Bildern grundlegend beeinflusst. Informa-
tische Methoden und Systeme verarbeiten tausende von Digitalisaten in kürzester
Zeit und ermöglichen einen umfassenden Bildvergleich. Konkret können so mo-
tivische und stilistische Entwicklungen, Brüche, Rezeptionsprozesse und künstle-
rische Netzwerke offengelegt werden. Digitale Verfahren gewinnen weiterhin an
Relevanz und hinterfragen traditionelle Methoden und Terminologie der Kunst-
geschichte. Für die Computer Vision führt die Zusammenarbeit zu einer Über-
prüfung der Verfahren bezüglich Anwendbarkeit und Validität der Resultate: Was
können Maschinen von Kunsthistorikern lernen, in der Art wie diese Bilder sehen,
vergleichen und analysieren, und was können Kunsthistoriker von informatischen
Verfahren lernen? Das WIN-Projekt demonstrierte eine enge Zusammenarbeit der
beiden Disziplinen, die in einer unmittelbaren Arbeitsumgebung erfolgte; wäh-
rend der Laufzeit wurden verschiedene Verfahren und interaktive Systeme entwi-
ckelt, die nicht zuletzt eine automatische Bildanalyse unterstützen und weiterhin
der kunsthistorischen Forschung zur Verfügung stehen. Die Projektmitarbeiter
haben benannte Modelle auf diverse Datensätze angewendet und damit deren Po-
tential für die Auswertung großer Bildersammlungen demonstriert.
Die (1) erste Phase schuf die Basis für nachfolgende Arbeiten und widme-
te sich unter anderem dem künstlichen und künstlerischen Bildverstehen und
Bildvergleich; dies resultierte in der Entwicklung einer interaktiven Oberfläche,
welche die Detektion von Objekten, Objekt-Teilen und Bildregionen in kunst-
historischen Datensätzen erlaubt (Bell et al., 2015). Mit Hilfe des Systems wurde
unter anderem der Sachsenspiegel (cl220), eine mittelalterliche Rechtsschrift, ana-
lysiert; im Fokus stand dabei die Detektion von Gesten und ihre kommunikative
Funktion (Bell et al., 2013). Der Objekt-Fokus wurde im zweiten Zeitraum (2)
durch ein Interesse an der gesamten Bildszene abgelöst; das Projekt widmete sich
der Komposition, Gattung und dem Stil und damit zunehmend einem semanti-
schen Bildverständnis. Durch die Etablierung von sogenannten Convolutional Neu-
ral Networks in der Computer Vision stand auch eine Überprüfung der Methode
des Interfaces im Vordergrund der zweiten Phase. (3) 2017, in der dritten Phase

339