fuji x secrets Adobe Super Resolution Praxisbeispiel

[Rico Pfirstinger]

Werbung (verschwindet nach Registrierung)

Ich habe Adobes neues Super Resolution Demosaicing zunächst anhand von vier verschiedenen Bayer- und X-Trans-Sensorauflösungen (24 MP B, 26 MP X, 50 MP B und 100 MP X ) mit dem Testchart von DPR getestet und war nicht sonderlich begeistert. 

Umso erfreulicher geriet das Ergebnis mit einer "Real World"-RAW-Datei aus einer GFX 50S, die via Super Resolution auf mehr als 204 MP aufgebohrt wird.

Hier das fertige Bild in voller Auflösung auf Flickr:

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

 

bearbeitet 24. März 2021 von Rico Pfirstinger

[Rico Pfirstinger]

Hier ein paar 1:1-Ausschnitte in Lightroom:

https://www.flickr.com/gp/ricopfirstinger/xh7P0M

https://www.flickr.com/gp/ricopfirstinger/qVcnba

https://www.flickr.com/gp/ricopfirstinger/6V83y1

Super Resolution vergrößert auch brav das berüchtigte Moiré der GFX 50, sodass man die Folgen des missratenen Mikrolinsen-Designs jetzt umso detaillierter bestaunen kann.

Das SR-DNG muss man für optimale Ergebnisse übrigens neu schärfen, mit der automatischen Übernahme der Schärfung aus dem RAF ist es nicht getan. Auch hierbei gilt dann wie so oft: weniger ist mehr.

[Rico Pfirstinger]

Hier geht es direkt zum 86 MB großen JPEG-Export aus Lightroom, hier dann schon mit einem Moiré-Filter: 

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

bearbeitet 24. März 2021 von Rico Pfirstinger

[zoom]

Das ist ja Wahnsinn 😮. Ich habe auch viel damit gespielt, war am Anfang skeptisch, weil irgendwas über AI im Zusammenhang mit SR gesprochen wurde. Die SR hat anscheinend gar nichts mit AI zu tun, sondern das ist rein mathematisches Prozess was direkt RAW Pixels überarbeitet. Besonders gut sieht man es in den von Michael @mjh & Andreas @AS-X gezeigten Beispielen mit einem 16MP X-Trans RAW Bildern wo die Ergebnisse echt zum staunen bringen. Dass SR noch in einem Zug beides (Details verbessern & Vergrößern) tut und noch dass es Moires vernichtet ist fein ⭐. Eins habe ich festgestellt, dass wenn man es in 2 schritten durchführt (erst DV und dann SR was in diesem fall 0 Sinn ergibt), gehen die automatischen Objektivkorrekturen (konkret CAs) verloren. Eins finde ich aber Ka--e, dass jetzt SR auch aus einem JPG einen DNG generiert. 😕 Ein RAW Bild war für mich immer etwas "heiliges" 😇 unangefasstes. Jetzt machen die aus einer Komprimierter Pixelbrühe (JPG) einen DNG raus ☹️, ...dürfte nicht sein und finde ich Käse.

Super Beispiele von dir von einem tollen Porträt 👍, danke 🙂

Gruß aus Tiflis

bearbeitet 25. März 2021 von zoom

[mjh]

vor 20 Minuten schrieb zoom:

Die SR hat anscheinend gar nichts mit AI zu tun, sondern das ist rein mathematisches Prozess was direkt RAW Pixels überarbeitet.

Nein, das ist schon AI. Man kann sich darüber streiten, was das Verfahren mit Intelligenz zu tun hat, aber jedenfalls ist hier ein neuronales Netz am Werk, das mit einer Vielzahl von Bildausschnitten trainiert worden ist. Im Adobe-Blog ist das ja genauer beschrieben. Das Ergebnis des maschinellen Lernens könnte man natürlich als eine sehr komplexe mathematische Formel beschreiben – wie sonst sollte es ein Computer berechnen können? –, aber das gilt für jede AI auf Basis neuronaler Netze, oder für AI generell.

[AS-X]

vor 2 Stunden schrieb zoom:

und noch dass es Moires vernichtet ist fein ⭐

Das tut es aber wohl nicht, wenn ich Rico richtig verstanden habe. 
 

[zoom]

Werbung (verschwindet nach Registrierung)

vor 12 Minuten schrieb AS-X:

Das tut es aber wohl nicht, wenn ich Rico richtig verstanden habe. 

Vor paar tagen in meinem Test hat es schon einiges weggewischt, vielleicht nicht ganz, aber schon deutlich Moirefrei finde ich. Besonders fein fand ich die Schärfe in den Farbkontrasten wo sonst die Komplementäre Farben in den Schärfebereichen ganz hässliche Artefakte erzeugen.

 

[zoom]

vor 2 Stunden schrieb mjh:

Nein, das ist schon AI. Man kann sich darüber streiten, was das Verfahren mit Intelligenz zu tun hat, aber jedenfalls ist hier ein neuronales Netz am Werk, das mit einer Vielzahl von Bildausschnitten trainiert worden ist. Im Adobe-Blog ist das ja genauer beschrieben. Das Ergebnis des maschinellen Lernens könnte man natürlich als eine sehr komplexe mathematische Formel beschreiben – wie sonst sollte es ein Computer berechnen können? –, aber das gilt für jede AI auf Basis neuronaler Netze, oder für AI generell.

Unter AI meinte ich dass es keine Gesichter oder Strukturen unterscheidet/erkennt. D.h. wenn die Haut genauso behandelt wird wie der Himmel oder andere Stellen z.B.

bearbeitet 25. März 2021 von zoom

[mjh]

vor 3 Stunden schrieb zoom:

Unter AI meinte ich dass es keine Gesichter oder Strukturen unterscheidet/erkennt. D.h. wenn die Haut genauso behandelt wird wie der Himmel oder andere Stellen z.B.

OK, das ist dann eine etwas ungewöhnliche Interpretation von AI. „AI“ ist einfach die Abkürzung für „Artificial Intelligence“, also künstliche Intelligenz. Von spezifischen Funktionen wie einer Gesichtserkennung ist da keine Rede.

[Rico Pfirstinger]

So wie ich es sehe, funktioniert SR wohl am besten mit Sensoren, die vergleichsweise große Pixel, also eine geringe Auflösung haben, dafür aber auch weniger Rauschen zwischen benachbarten Pixeln. Mein Versuch mit einem Bild aus der GFX 100 war im Vergleich zu meinem Beispiel mit der GFX 50S jedenfalls sehr ernüchternd. Das mag daran liegen, dass der Algo mit "vielen schlechten" Pixeln weniger gut klarkommt als mit "wenigen guten" Pixeln und die Fehler (also Artefakte zwischen einzelnen Pixeln) dann eher betont und aufbläst anstatt sie auszugleichen. Das geht soweit, dass mein Beispiel mit 200 MP (berechnet aus 50 MP) klarer erscheint als ein Landschaftsbeispiel aus der GFX 100 mit demselben Objektiv, das ich von 100 auf 400 MP hochgerechnet und das dann zurück auf 100 MP skaliert wurde. Dabei habe ich die Schärfung in der 400 MP Version vor dem erneuten Herunterskalieren bereits auf 0 gestellt.

So gesehen sollte SR mit der alten X100 tolle Ergebnisse produzieren, denn deren Sensor ist mit dem in der GFX 50 durchaus verwandt, hat aber bessere Mikrolinsen und einen AA-Filter. Ich werde das nachher mal ausprobieren und bei Erfolg ein Beispiel posten.

 

bearbeitet 25. März 2021 von Rico Pfirstinger

[zoom]

D.h. mein absurder Wunsch über eine GFX 25r würde in diesem Fall schon Sinn machen 😊. Eine MF Kamera für ca. €2500 die man noch mithilfe des SR auf 50MP hochschaukelt, ah das wäre so schön 🙂

[AS-X]

vor 22 Minuten schrieb zoom:

D.h. mein absurder Wunsch über eine GFX 25r würde in diesem Fall schon Sinn machen 😊. Eine MF Kamera für ca. €2500 die man noch mithilfe des SR auf 50MP hochschaukelt, ah das wäre so schön 🙂

Das würde weder für einen regelmäßigen Workflow bei dir noch für den Hersteller einer solchen Kamera (für den schon gar nicht) Sinn machen. Aber das man aus den vorhandenen Xen, besonders aus den älteren, so viel rauskitzeln kann ist doch auch toll. 

[Rico Pfirstinger]

So einfach ist es nicht, es hängt enorm von der Qualität des Ausgangsmaterials ab. Habe ich jetzt gerade auch bei der X100 gesehen. Auch dort kann der Algo Bildfehler eher verstärken und somit betonen.

Einige Motive kann man jedoch schon verbessern und für große Ausdrucke, 8K Bildschirme oder Bildausschnitte optimieren: https://www.flickr.com/gp/ricopfirstinger/FmE265

[Rico Pfirstinger]

Ich habe jetzt noch ein zweiten X100-Beispiel gerechnet und hochgeladen: https://www.flickr.com/gp/ricopfirstinger/8X09V2

Hier sieht man denke ich ganz gut, wie der Algo Details und dabei vor allem Muster dazu erfindet, die aber nicht unbedingt passen. Etwa in den Details der Mauer und im farbigen Hintergrundbild, wo im Gebüsch plötzlich kleine kammartige Muster auftauchen.

Bei diesem neuen Beispiel würde ich wohl nach Möglichkeit beim regulären "Details verbessern" bleiben. 

[mjh]

vor 1 Stunde schrieb Rico Pfirstinger:

So wie ich es sehe, funktioniert SR wohl am besten mit Sensoren, die vergleichsweise große Pixel, also eine geringe Auflösung haben, dafür aber auch weniger Rauschen zwischen benachbarten Pixeln. Mein Versuch mit einem Bild aus der GFX 100 war im Vergleich zu meinem Beispiel mit der GFX 50S jedenfalls sehr ernüchternd. Das mag daran liegen, dass der Algo mit "vielen schlechten" Pixeln weniger gut klarkommt als mit "wenigen guten" Pixeln und die Fehler (also Artefakte zwischen einzelnen Pixeln) dann eher betont und aufbläst anstatt sie auszugleichen.

Das macht Sinn. Wie jedes andere Demosaicing-Verfahren tut Adobes Superresolution ja das, was man nicht tun soll: Es schaut sich selbst die Aufnahmen mit den höchsten Megapixelzahlen in 100 Prozent an. Geht ja auch nicht anders. Wenn man aber fehlende Bilddaten erraten muss, was beim Demosaicing ja schon ohne Auflösungserhöhung nötig ist, gelingt das um so besser, je zuverlässiger die Bilddaten sind, die man hat. Bis zu einem gewissen Rauschanteil kann ein neuronales Netz das Rauschen beim Demosaicing ignorieren – es ist ja auf echte Bilddetails trainiert, nicht auf Rauschen, und wird daher nicht ausdrücklich Rauschmuster produzieren –, aber wenn das Rauschen zu stark wird, unterlaufen dem Netz Fehler.

[Rico Pfirstinger]

Darauf läuft es offenbar hinaus. Beim Auffüllen feiner Details scheint das System bisweilen zu erfinderisch zu sein und greift daneben. Auch sind die Ergebnisse oft übertrieben scharf – selbst dann, wenn ich die Schärfung des aufgeblasenen linearen DNG auf 0 stelle.

Es ist recht einfach, beim Testen von SR einer Agenda zu folgen und die Funktion entweder sehr gut oder sehr schlecht aussehen zu lassen. Man muss sich nur passende Ausgangsbilder suchen und die Ergebnisse dann entsprechend herausstellen.

Die Wahrheit liegt hier indes ausnahmsweise wirklich in der Mitte. Es gibt offenbar Fälle, wo das Ganze ausgesprochen hilfreich ist – und andere, in denen das Bild verschlimmbessert wird. Das Gros der Fälle ist wohl irgendwie von beiden Faktoren betroffen und liegt somit dazwischen – einige Bildteile profitieren, andere verlieren. 

[mjh]

vor 12 Minuten schrieb Rico Pfirstinger:

Darauf läuft es offenbar hinaus. Beim Auffüllen feiner Details scheint das System bisweilen zu erfinderisch zu sein und greift daneben. Auch sind die Ergebnisse oft übertrieben scharf – selbst dann, wenn ich die Schärfung des aufgeblasenen linearen DNG auf 0 stelle.

Das neuronale Netz schätzt seine eigenen Fähigkeiten offenbar recht optimistisch ein und liefert daher von vornherein scharfe Bilder. Klassische Demosaicing-Algorithmen stehlen sich ja oft aus der Entscheidung – der Wert könnte dieser oder auch jener sein, und da wählt man dann einen Wert dazwischen, der sicher nicht ganz richtig, aber auch nicht völlig falsch ist. Diese Taktik, Fehler zu minimieren, führt zu unscharfen Bildern.

Das Verhalten des neuronale Netzes erinnert an den alten Witz, dass ein Naturwissenschaftler wie jemand sei, der in einem stockdunklen Raum versuche, eine schwarze Katze zu fangen, ein Philosoph jemand sei, der im stockdunklen Raum eine Katze jagt, die gar nicht da ist, und der Theologe ebenfalls eine nicht vorhandene Katze jage, aber dauernd ausriefe „Ich hab’ sie!“ Das neuronale Netz verhält sich gegenüber stark verrauschten Bildern (die Katze – also die echten Bilddetails – sind gar nicht da) wie der Theologe und sagt: „Ich weiß, was das ist!“ (Nein, weißt Du nicht …)

[Rico Pfirstinger]

vor 3 Stunden schrieb mjh:

Das neuronale Netz schätzt seine eigenen Fähigkeiten offenbar recht optimistisch ein und liefert daher von vornherein scharfe Bilder. Klassische Demosaicing-Algorithmen stehlen sich ja oft aus der Entscheidung – der Wert könnte dieser oder auch jener sein, und da wählt man dann einen Wert dazwischen, der sicher nicht ganz richtig, aber auch nicht völlig falsch ist. Diese Taktik, Fehler zu minimieren, führt zu unscharfen Bildern.

Mein Eindruck ist, dass der Algo wohl bestimmte Objekte wie Gesichter, Augen etc. erkennt und diese entsprechend behandelt. Ansonsten scheint er nach regelmäßigen Strukturen zu suchen und diese dann beim Vergrößern mit regelmäßigen feinen Details aufzufüllen. Das funktioniert hervorragend bei Textilien wie auf dem ersten Bild, aber nicht so gut mit der Gefängnismauer und der Vegetation im letzten Beispiel. Dort findet man dann im Spritzputz der Mauer auf einmal kleine Spots mit einem regelmäßigen Minimuster, die dort nicht hingehören.

bearbeitet 25. März 2021 von Rico Pfirstinger

[mjh]

vor 4 Stunden schrieb Rico Pfirstinger:

Hier sieht man denke ich ganz gut, wie der Algo Details und dabei vor allem Muster dazu erfindet, die aber nicht unbedingt passen. Etwa in den Details der Mauer und im farbigen Hintergrundbild, wo im Gebüsch plötzlich kleine kammartige Muster auftauchen.

Und um den Kopf herum und über den Schultern wird die Mauer seltsamerweise leicht unscharf – als wäre die KI durch den Gegensatz zweier ganz unterschiedlicher Motive irritiert worden.

[Rico Pfirstinger]

vor 50 Minuten schrieb mjh:

Und um den Kopf herum und über den Schultern wird die Mauer seltsamerweise leicht unscharf – als wäre die KI durch den Gegensatz zweier ganz unterschiedlicher Motive irritiert worden.

Das ist mir auch aufgefallen, diesen Effekt sieht man auch bei anderen Motiven.

[Objektivfett]

vor 4 Stunden schrieb mjh:

Das neuronale Netz schätzt seine eigenen Fähigkeiten offenbar recht optimistisch ein  [...]

Uiiiii, wenn die KI (AI) soweit wäre, über sich selbst zu reflektieren, dann wäre man wohl beim Thema der "Starken künstlichen Intelligenz" einen großen Schritt weiter.

Jetzt stelle man sich vor, die KI würde sich selbst nach langem Lernen als risikoavers einschätzen. Dann würde sie sich "denken": Bevor ich hier einen Müll hinzuinterpretiere, lasse ich es lieber sein. Nach langer Rechenzeit würde dann das selbe Foto herauskommen...

[zoom]

Also, haben wir doch mit nicht ganz ausgereiftem und unkontrolliertem AI Eingriff zu tun. Ich glaube, ich bleibe auf das good old fashioned "Details verbessern". Im Notfall könnte man den RAW als Smart Objekt im PS öffnen und eine "neues Smart Objekt durch Kopie" Ebene drüber legen, mit SR aufblasen, danach die besten Stellen ausmaskieren, somit selbst entscheiden was bleibt und was nicht. In dem Fall auch mal eigenes "I" einschalten 🙂.

bearbeitet 26. März 2021 von zoom

[Rico Pfirstinger]

vor 31 Minuten schrieb zoom:

Also, haben wir doch mit nicht ganz ausgereiftem und unkontrolliertem AI Eingriff zu tun.

Natürlich, so wie auch bei den anderen führenden Upscalern, etwa Topaz AI.

Ich sehe das pragmatisch. Wenn ich für einen Kunden etwa einen Bildausschnitt vergrößern muss, probiere ich natürlich auch das smarte Hochskalieren aus, bevor ich absage oder das Ganze aufwändig noch einmal fotografieren muss. Dann sehe ich ja direkt, ob es reicht – am Ende entscheidet ohnehin der Kunde, der vermutlich in den meisten Fällen weniger kritisch ist als wir selbst.

So einen Fall hatte ich erst vor einigen Wochen, damals noch mit Topaz. Jetzt gibt es eine Option mehr. Dass das Ganze mit der Zeit dann auch noch besser wird, ist umso ermutigender.

Auf die Idee, aus SR einen Standard-Workflow für alle Bilder zu machen, kann man natürlich auch kommen, aber das erweist sich in der Praxis als nicht sinnvoll. SR ist für mich in erster Linie ein Mittel, das in der Not helfen kann. Ohne Not setzt man es wohl eher nur in den Ausnahmefällen ein, wo es (wie im obersten Beispiel) überragende Ergebnisse liefert. Dann werden tolle Bilder eben noch toller.

Aber eigentlich ist SR wohl eher dort gefragt und hilfreich, wo noch mehr Auflösung nicht nur "nice to have", sondern "must have" ist. 

[zoom]

vor einer Stunde schrieb Rico Pfirstinger:

...SR ist für mich in erster Linie ein Mittel, das in der Not helfen kann.

Jetzt sehe ich es genauso ⭐.

vor 22 Stunden schrieb Rico Pfirstinger:

Ich habe jetzt noch ein zweiten X100-Beispiel gerechnet und hochgeladen: https://www.flickr.com/gp/ricopfirstinger/8X09V2

Rico, aber das Bild mit dem Mauer, ist wohl nicht aus einem RAW erstellt oder? Oder hast du es nach dem Prozess selektiv kombiniert (S/W und Farbe(Gebüsch))?

[Rico Pfirstinger]

vor 1 Minute schrieb zoom:

 

Rico, aber das Bild mit dem Mauer, ist wohl nicht aus einem RAW erstellt oder? Oder hast du es nach dem Prozess selektiv kombiniert (S/W und Farbe(Gebüsch))?

Das ist ganz normal in Lightroom entwickelt worden. Die Farbe habe ich dort wohl freigepinselt.

[Dein Support für das Forum]

Hat dir das Forum geholfen? So kannst du das Forum unterstützen!

Premium Mitglied werden | Spenden | Bei Amazon* oder eBay* kaufen
Software: Topaz* | DxO Nik Collection* | Skylum Luminar* (–10€ mit Gutschein FXF) | * Affiliate Links