2. Künstliches und künstlerisches Sehen (WIN-Programm)
satz. Hier kann gezeigt werden, wie eine computergestützte Bildverarbeitung der
textlichen Annotation vorgelagert werden kann.
Das aus all diesen Datensätzen gewonnene facettenreiche Konvolut, das aus
monochromen und kolorierten Strichzeichnungen, Druckgraphik, Tafel-, Fres-
ko- und Buchmalerei sowie aus Fotographien besteht, wird mit unterschiedlichen
Computer-Vision-Ansätzen traktiert.
Ein Großteil der menschlichen Wahrnehmungsleistung an Kunstwerken be-
steht aus Abstraktionsfähigkeit, Assoziation und Verständnis der künstlerischen
Umsetzung. Daran kann sich die Maschine nur langsam herantasten und zu je-
der Fragestellung muss entschieden werden, wieviel Training aufgewendet wer-
den muss. Hier sind die Qualität der Suchergebnisse und die Laufzeit der Suche
abhängig vom Aufwand händig erstellter Trainingsbeispiele und des gewählten
informatischen Ansatzes. Auch die Interaktion mit den Nutzern, das Vorschlägen
und Evaluieren von Ergebnissen können die Suche beschleunigen und effizienter
werden lassen.
Bisher wurden in Bildsuchen aus Oxford und München sog. Bag-of-words-
Ansätze veiwendet, in denen Bildelemente unter Vernachlässigung räumlicher In-
formationen und Geometrie wie Wörter in einem Glossar geordnet werden. Diese
Registrierung der Daten führt zu einer schnellen Suche, bedarf aber einer aufwen-
digen Vorbereitung des Datensatzes und führt dazu, dass in der Suche nur Dinge
gefunden werden können, die zuvor registriert wurden. Für die Varianz, die bei
Kunstwerken und händigen wie drucktechnischen Kopien vorliegt, ist diese Me-
thode unzureichend. Der von uns entwickelte Suchalgorithmus soll die Schwä-
chen des Bag-of-words-Modells aufheben und damit für beliebige Suchanfragen
nutzbar sein und auch Variationen des gesuchten Objekts finden können. Der
Nutzer kann über ein einfach zu bedienendes Webinterface Bildpartien aus dem
Datensatz oder in selbst hochgeladenen Bilder markieren, um die ausgewählten
Bereiche im Datensatz zu suchen. Der Algorithmus veiwendet einen auf Kon-
turen basierenden Klassifikator mit prototypischen Negativbeispielen. Die Suche
ermöglicht nicht nur das Auffinden von identischen oder sehr ähnlichen Parti-
en, sondern eben auch von größeren Abweichungen, wobei die Ergebnisse nach
Ähnlichkeit sortiert erscheinen. Der Nutzer kann somit selbst den Suchvorgang
nachvollziehen und entscheiden, wann das Ergebnis zu weit von der Sucheingabe
entfernt ist.
Ohne dass im Programm eine Semantik der Objekte angelegt wäre, ergeben
sich in einigen Suchen dennoch semantische Zusammenhänge durch das vom
Nutzer gezeichnete Auswahlfenster. So entsteht bei der Suche nach einer hegen-
den Figur in den vier Sachsenspiegelausgaben eine Bildfolge, in der zunächst wei-
tere alte Männer mit Bart erscheinen, dann Alter, dann Geschlecht wechseln, bis
schließlich ähnlich gelagerte Objekte als offensichtliche Fehler den Zusammen-
hang aufheben. Die Haltung der Figur ist so signifikant, dass sie lange stabil von
247
satz. Hier kann gezeigt werden, wie eine computergestützte Bildverarbeitung der
textlichen Annotation vorgelagert werden kann.
Das aus all diesen Datensätzen gewonnene facettenreiche Konvolut, das aus
monochromen und kolorierten Strichzeichnungen, Druckgraphik, Tafel-, Fres-
ko- und Buchmalerei sowie aus Fotographien besteht, wird mit unterschiedlichen
Computer-Vision-Ansätzen traktiert.
Ein Großteil der menschlichen Wahrnehmungsleistung an Kunstwerken be-
steht aus Abstraktionsfähigkeit, Assoziation und Verständnis der künstlerischen
Umsetzung. Daran kann sich die Maschine nur langsam herantasten und zu je-
der Fragestellung muss entschieden werden, wieviel Training aufgewendet wer-
den muss. Hier sind die Qualität der Suchergebnisse und die Laufzeit der Suche
abhängig vom Aufwand händig erstellter Trainingsbeispiele und des gewählten
informatischen Ansatzes. Auch die Interaktion mit den Nutzern, das Vorschlägen
und Evaluieren von Ergebnissen können die Suche beschleunigen und effizienter
werden lassen.
Bisher wurden in Bildsuchen aus Oxford und München sog. Bag-of-words-
Ansätze veiwendet, in denen Bildelemente unter Vernachlässigung räumlicher In-
formationen und Geometrie wie Wörter in einem Glossar geordnet werden. Diese
Registrierung der Daten führt zu einer schnellen Suche, bedarf aber einer aufwen-
digen Vorbereitung des Datensatzes und führt dazu, dass in der Suche nur Dinge
gefunden werden können, die zuvor registriert wurden. Für die Varianz, die bei
Kunstwerken und händigen wie drucktechnischen Kopien vorliegt, ist diese Me-
thode unzureichend. Der von uns entwickelte Suchalgorithmus soll die Schwä-
chen des Bag-of-words-Modells aufheben und damit für beliebige Suchanfragen
nutzbar sein und auch Variationen des gesuchten Objekts finden können. Der
Nutzer kann über ein einfach zu bedienendes Webinterface Bildpartien aus dem
Datensatz oder in selbst hochgeladenen Bilder markieren, um die ausgewählten
Bereiche im Datensatz zu suchen. Der Algorithmus veiwendet einen auf Kon-
turen basierenden Klassifikator mit prototypischen Negativbeispielen. Die Suche
ermöglicht nicht nur das Auffinden von identischen oder sehr ähnlichen Parti-
en, sondern eben auch von größeren Abweichungen, wobei die Ergebnisse nach
Ähnlichkeit sortiert erscheinen. Der Nutzer kann somit selbst den Suchvorgang
nachvollziehen und entscheiden, wann das Ergebnis zu weit von der Sucheingabe
entfernt ist.
Ohne dass im Programm eine Semantik der Objekte angelegt wäre, ergeben
sich in einigen Suchen dennoch semantische Zusammenhänge durch das vom
Nutzer gezeichnete Auswahlfenster. So entsteht bei der Suche nach einer hegen-
den Figur in den vier Sachsenspiegelausgaben eine Bildfolge, in der zunächst wei-
tere alte Männer mit Bart erscheinen, dann Alter, dann Geschlecht wechseln, bis
schließlich ähnlich gelagerte Objekte als offensichtliche Fehler den Zusammen-
hang aufheben. Die Haltung der Figur ist so signifikant, dass sie lange stabil von
247