Kaum eine CSI-Folge in der nicht ein Ermittler aus einem pixeligen Bildauschnitt von einer Überwachungskamera ein hochaufgelöstes einwandfreies Portraitfoto mit dem Täter generiert. „Zoom mal ran, die rechte Ecke oben!“, sagt einer meistens. „Und: Bekommst du es noch besser?“. So etwas ähnliches funktioniert, aber das Ergebnis muss nicht die echte Person zeigen. Es zeigt eine unter Wahrscheinlichkeiten und Erfahrungen konstruierte Version.
Mit den Schlagworten „Zoom and Enhance“ haben einige Publikationen in den vergangenen Wochen gemeldet, dass diese Science-fiction-hafte Bildwiederherstellung technisch möglich wäre, dank eines Projekts im Google Brain Projekt. Tatsächlich gibt es ein Projekt, das sich mit der Verbesserung von Bildern beschäftigt. Das Paper zu „Pixel Recursive Super Resolution“ ist auf einem Vorveröffentlichungsserver zu finden: https://arxiv.org/pdf/1702.00783.pdf
Als Slideshow ist das Paper hier abgebildet:
Im Prinzip werden aus den niedrig aufgelösten Bildern (Bildausschnitten) mit nur wenigen Pixeln (in diesem Beispiel 32 mal 32 Bildpunkte) die fehlenden Informationen durch eine bestimmte Art an Schätzung ergänzt. Die Algorithmen vergleichen das niedrig aufgelöste Bildmaterial mit bekannten Bildmaterial. Zur Demonstration haben die Forscher das unter anderem mit einer Bilddatenbank mit Fotos von Prominenten umgesetzt. Sie nutzen das Celeb A Bilderset (hier zugänglich: http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html)
Die Algorithmen sind so angelegt, dass sie versuchen, aus jeweils einem Bildpunkt des niedrig aufgelösten Bildes die wahrscheinlichsten Nachbarbildpunkte zu ermitteln. Dieser Prozess wird für alle Bildpunkte fortgesetzt bis ein höher aufgelöstes Bild entsteht.
Basis für diese Schätzung, welcher Nachbarbildpunkt der richtige sein könnte, sind Erfahrungswerte aus bekannten Bildern. Die in neuronalen Netzen abgebildeten Erfahrungswerte stammen aus Charakteristika von Bildern menschlicher Gesichter. Als Trainingsmaterial für die neuronalen Netze diente die oben erwähnte Bilddatenbank.
Um ein niedrig aufgelöstes Gesichtsbild in ein höher aufgelöstes Bild zu überführen, lassen sich diese Charakteristika gut anwenden. Tatsächlich entstehen aus hochgradig pixeligen Bildern mit diesem Verfahren Bilder mit menschlichen Gesichtern. Allerdings handelt es sich „nur“ um die wahrscheinlichste Ausgabe vieler möglicher Bilder, die man aus dem niedrig aufgelösten Bild aus diese Weise rekonstruieren könnte.
Erstaunlicherweise liefert das Verfahren mit menschlichen Gesichtern überzeugendere Ergebnisse als beispielsweise mit Bildern, die Schlafzimmer zeigen.
