fuji x secrets 2x Oversampling vs. AI Demosaicing

[Rico Pfirstinger]

Werbung (verschwindet nach Registrierung)

Nachdem es hier gestern bereits um Sensorvergleiche und RAW-Konverter ging, hier nun ein Vergleich, der bei den Fanpersons (m/f/d) von Capture One und der GFX 50 kognitive Dissonanz hervorrufen könnte.

Ausgangspunkt der Betrachtung ist die Tatsache, dass viele Benutzer am Ende mit Dateien zufrieden sind, die nicht größer als – sagen wir – 24 MP sind. Diese Exportgröße erfüllt für die meisten "typischen" Benutzer die Anforderungen an Druck und Publikation, privat wie beruflich.

Wir wissen freilich auch, dass 24 MP nicht gleich 24 MP sind. Ein mit 100 MP aufgenommenes und auf 24 MP herunterskaliertes Bild sieht besser aus als eins, das direkt mit einer 24-MP-Kamera aufgenommen wurde, und zwar unabhängig von der Sensorgröße. Eine APS-C-Kamera mit 100 MP würde hier also auch eine Mittelformatkamera mit 24 MP schlagen, sofern am Ende JPEGs oder TIFFs mit 24 MP verglichen werden – und der RAW-Konverter mit einem Standard-Demosaicing-Algorithmus ohne künstliche Intelligenz operiert. 

Was aber passiert, wenn man stattdessen einen modernen Algorithmus verwendet? Hat das Oversampling dann immer noch einen sichtbaren Vorteil, oder verschwimmen die Unterschiede?

bearbeitet 29. April 2023 von Rico Pfirstinger

[Rico Pfirstinger]

Um dies herauszufinden habe ich RAWs aus der Panasonic S1 mit denen aus der GFX 50R verglichen, und zwar bei 24 MP, sprich einer Bildhöhe von 4000 px an der kurzen Kante. 

Das RAW aus der GFX 50R wurde am Ende also auf 4000 px an der kurzen Kante herunterskaliert, während das RAW aus der S1 in Originalgröße exportiert wurde, um am Ende zwei gleich große Dateien zu erhalten, die man wunderbar vergleichen kann.

Der erste Vergleich wurde hierbei mit Capture One Pro durchgeführt – einfach deshalb, weil Capture One in der Mainstream-Propaganda der sozialen Medien derzeit von der großen Mehrheit als Nonplusultra gefeiert wird, wir also davon ausgehen können, dass die meisten Benutzer von Capture One mit der Qualität des Demosaicings hochzufrieden sind. 

Vergleich zwei wurde mit Lightroom und "Details verbessern" durchgeführt, also einem Demosaicing-Algorithmus, der künstiche Intelligenz mit ins Spiel bringt, um typische Demosaicing-Fehler auszumerzen.

Die Frage, die wir damit beantworten wollen, ist also die: Kann die künstliche Intelligenz den Vorteil eines gut zweifachen Oversamplings wettmachen?

bearbeitet 17. Februar 2020 von Rico Pfirstinger

[Rico Pfirstinger]

Hier nun die Antwort: https://www.flickr.com/gp/ricopfirstinger/Q939N8

 

[Rico Pfirstinger]

Links sehen wir jeweils die GFX 50R, rechts jeweils die S1: Es wurden dabei vier problematische Bereiche der DPR-Studioszene verglichen. In den Vergleichen 1 bis 4 (hergestellt mit Capture One Pro) sieht man schön, welche Vorteile das zweifache Oversampling der GFX 50R gegenüber der S1 bietet. In den Vergleichen 1A bis 4A (hergestellt mit Lightroom und "Details verbessern") verschwinden diese Vorteile jedoch – die doppelte Auflösung der GFX bringt bei einer Ausgabe mit 24 MP keinen relevanten Vorteil mehr. Im Gegenteil: An einigen Stellen scheint der Algorithmus aus dem 24 MP RAW sogar besser zurechtzukommen und mehr herauszuholen als aus dem 51 MP RAW.

Hieraus ergibt sich Einsparpotenzial, denn der mit 24 MP zufriedene Fotograf kann sich eine preiswerte Kamera mit weniger MP kaufen und muss nicht auf die deutlich teureren Modelle mit 40 oder 50 MP aufsteigen – natürlich nur, sofern Lightroom und "Details verbessern" zum Einsatz kommen).

Wer weiterhin mit Capture One Pro und ähnlichen Programmen operiert, profitiert hingegen weiterhin vom Oversampling, muss dafür allerdings auch deutlich mehr für entsprechende Kameras bezahlen.

Bei der S1 kommt noch positiv hinzu, dass sie zusätzlich einen Multishot-Modus für besonders hohe Auflösungen bietet. Derlei ist bei der GFX 50 nicht möglich und kommt bei der deutlich teureren GFX 100 erst noch via Firmware.

 

bearbeitet 29. April 2023 von Rico Pfirstinger

[Rico Pfirstinger]

Fazit: Lightroom liefert mit beiden Kameras und 24 MP Ausgabegröße nicht nur durchweg bessere Ergebnisse als Capture One Pro – das Programm nivelliert auch den Oversampling-Vorteil der Kamera mit der mehr als doppelten Pixelzahl.

[Volker]

vor 4 Stunden schrieb Rico Pfirstinger:

einfach deshalb, weil Capture One in der Mainstream-Propaganda der sozialen Medien derzeit von der großen Mehrheit als Nonplusultra gefeiert wird

...dicht gefolgt von Luminar, würde ich sagen.

vor 4 Stunden schrieb Rico Pfirstinger:

die doppelte Auflösung der GFX bringt bei einer Ausgabe mit 24 MP keinen relevanten Vorteil mehr. Im Gegenteil: An einigen Stellen scheint der Algorithmus aus dem 24 MP RAW sogar besser zurechtzukommen und mehr herauszuholen als aus dem 51 MP RAW.

Erstaunliche Ergebnisse. Was mir noch nicht klar ist: bringt "Details verbessern" beim 51MP großen RAW keine (oder kaum noch) Verbesserungen oder sind die Verbesserungen nur nicht ausreichend, um bei einer Skalierung auf 24MP noch einen sichtbare Unterschied zu bewirken?

[platti]

Werbung (verschwindet nach Registrierung)

Nur für zwischendurch:

Ist mir, und wahrscheinlich vielen anderen, völlig egal, weil wir mit 24 MP unsere Dateien produzieren. Wir , unsere Freunde und unsere Kunden sind völlig zufrieden mit den Ergebnissen. Egal ob die jetzt mit LR oder C1 kodiert worden sind.

So  ... und jetzt kannst du weiterhin den verdammten kleinen Teufel im digitalen Detail suchen, der dir bestätigt, dass LR der absolute Rawkonverterking ist ... was eigentlich sowas von egal ist.

[Rico Pfirstinger]

Zitat

Was mir noch nicht klar ist: bringt "Details verbessern" beim 51MP großen RAW keine (oder kaum noch) Verbesserungen oder sind die Verbesserungen nur nicht ausreichend, um bei einer Skalierung auf 24MP noch einen sichtbare Unterschied zu bewirken?

Der Grenznutzen der AI nimmt mit zunehmender Auflösung naturgemäß ab. Wenn "brute force" bereits alle im Bild enthaltenen Details fein auflöst, hat die AI weniger zu tun, weil es schlicht und einfach weniger Artefakte zu korrigieren gibt. Die Artefakte werden mit zunehmender Auflösung ja immer kleiner (bezogen auf die im Bild enthaltenen Details), sodass sie beim weiteren Herunterskalieren praktisch verschwinden.

bearbeitet 15. Februar 2020 von Rico Pfirstinger

[Rico Pfirstinger]

vor 38 Minuten schrieb Volker:

...dicht gefolgt von Luminar, würde ich sagen.

Das stimmt natürlich.

Die Crux ist letztlich, dass man sich mit dem entsprechenden Konverter die Mehrkosten einer Z7 zur Z6 oder A7RIII zur A7III oder S1R zur S1 evtl. sparen kann, wenn für die Ausgabe ohnehin nur die geringere Auflösung benötigt wird. Gleichzeitig hat man dann auch noch den Vorteil kleinerer RAW-Dateien, braucht also weniger Speicherplatz. Mithilfe von preisgünstiger Software erreicht mal also Ergebnisse, für die zahlreiche Benutzer bisher eine Menge zusätzliches Geld in Kamera-Hardware stecken, um eine vergleichbare Ausgabequalität via "brute force" Oversampling zu erzielen.

 

[Fugu]

Wenn jetzt im anderen Thread „ Bayer vs X-Trans“ die Fuji X H1 mit der Panasonis S1 gleichzieht oder besser ist, ist sie also auch kaum schlechter als die G50...

Ok, Äpfel mit Birnen...😉

bearbeitet 15. Februar 2020 von Fugu

[Rico Pfirstinger]

vor 4 Minuten schrieb Fugu:

Wenn jetzt im anderen Thread „ Bayer vs X-Trans“ die Fuji X H1 mit der Panasonis S1 gleichzieht oder besser ist, ist sie also auch kaum schlechter als die G50...

Es würde mich nicht wundern, wenn normalisiert auf 24 MP und mit "Details verbessern" ebenfalls keine großen Unterschiede zu sehen sind. Beim Moiré wird die X-H1 sogar mit deutlichem Abstand vorne liegen. Probier es doch einfach selbst aus und mache einen normalisierten Vergleich, die RAWs kann sich schließlich jeder selbst bei DPR herunterladen.

[Volker]

vor 42 Minuten schrieb Rico Pfirstinger:

Gleichzeitig hat man dann auch noch den Vorteil kleinerer RAW-Dateien, braucht also weniger Speicherplatz.

Die Dateigröße der mit "Details verbessern" erzeugten DNGs verdreifacht sich allerdings gegenüber den Original-RAFs.

[Rico Pfirstinger]

vor 4 Minuten schrieb Volker:

Die Dateigröße der mit "Details verbessern" erzeugten DNGs verdreifacht sich allerdings gegenüber den Original-RAFs.

Das demosaicte DNG lagert man bei Platzmangel nach dem Export aus oder löscht es einfach. Es handelt sich dabei nur um ein Intermediate, das einzige Original ist und bleibt das RAF.

Man sollte beachten, dass sich der Algo von "Details verbessern" jederzeit verbessern kann – und sicherlich auch wird. Dann braucht man ohnehin wieder das RAF, um die noch besseren demosaicten DNGs zu erzeugen. Im Endeffekt also nichts anderes als das Arbeiten mit Iridient X-Transformer, der den Zweck von "Details verbessern" bereits seit Jahren erfüllt, allerdings ohne AI.

bearbeitet 15. Februar 2020 von Rico Pfirstinger

[UweHB]

vor 1 Stunde schrieb Rico Pfirstinger:

Der Grenznutzen der AI nimmt mit zunehmender Auflösung naturgemäß ab. Wenn "brute force" bereits alle im Bild enthaltenen Details fein auflöst, hat die AI weniger zu tun, weil es schlicht und einfach weniger Artefakte zu korrigieren gibt. Die Artefakte werden mit zunehmender Auflösung ja immer kleiner (bezogen auf die im Bild enthaltenen Details), sodass sie beim weiteren Herunterskalieren praktisch verschwinden.

Kannst du bitte erklären was du mit "AI" und  mit "brute force" meinst. Mir ist noch nicht klar was du hier eigentlich vergleichst.

[Volker]

vor 44 Minuten schrieb Rico Pfirstinger:

Das demosaicte DNG lagert man bei Platzmangel nach dem Export aus oder löscht es einfach. Es handelt sich dabei nur um ein Intermediate, das einzige Original ist und bleibt das RAF.

Auch wieder wahr. Hat nur den Nachteil, dass man beim Löschen des DNG auch die darauf angewendeten Bearbeitungen löscht. Allerdings auch kein Drama: wenn man das Auto-Sync aktiviert und bei der Bearbeitung RAF und DNG auswählt, werden die Bearbeitungen auf beide Bilder angewandt (oder alternativ vor Löschung des DNG einmal syncen). Wenn man dann später nochmal die Bearbeitung ändern oder von einem verbesserten "Details verbessern"-Algo profitieren möchte, werden beim neu Erzeugen des DNG erfreulicherweise die Entwicklungseinstellungen des RAF übernommen. Für zukünftige LR-Versionen wäre noch nett: Option, die RAF-Entwicklunseinstellungen mit denen des "Details verbesserrn"-DNGs zu koppeln (also ein Auto-Sync als generelle Voreinstellung für RAF<->DNG - Paare), so dass man nicht mehr ans syncen denken muss.

bearbeitet 15. Februar 2020 von Volker

[Rico Pfirstinger]

vor 4 Minuten schrieb UweHB:

Kannst du bitte erklären was du mit "AI" und  mit "brute force" meinst. Mir ist noch nicht klar was du hier eigentlich vergleichst.

Ich habe es schnell für dich gegoogelt: https://de.wikipedia.org/wiki/Künstliche_Intelligenz und https://de.wikipedia.org/wiki/Brute-Force-Methode.

Im aktuellen Kontext bedeutet brute force, das Problem der unvermeidlichen Demosaicing-Fehler dadurch zu minimieren, dass man Kameras mit deutlich höherer nomineller Auflösung verwendet, als man am Ende eigentlich für die Ausgabedatei anstrebt. Dieser eher kostspielige Ansatz kann prinzipiell durch bessere Algorithmen (inkl. solcher mit AI wie bei Adobe) ersetzt werden – zumindest funktionierte dies im hier gezeigten Beispiel.

[Rico Pfirstinger]

vor 9 Minuten schrieb Volker:

Auch wieder wahr. Hat nur den Nachteil, dass man beim Löschen des DNG auch die darauf angewendeten Bearbeitungen löscht.

Die Bearbeitungen hat man normalerweise bereits im RAF gemacht. Das demosaicte DNG wird mit einem Mausklick "on demand" erzeugt. 

bearbeitet 15. Februar 2020 von Rico Pfirstinger

[UweHB]

vor 2 Minuten schrieb Rico Pfirstinger:

Ich habe es schnell für dich gegoogelt: https://de.wikipedia.org/wiki/Künstliche_Intelligenz und https://de.wikipedia.org/wiki/Brute-Force-Methode.

Im aktuellen Kontext bedeutet brute force, das Problem der unvermeidlichen Demosaicing-Fehler dadurch zu minimieren, dass man Kameras mit deutlich höherer nomineller Auflösung verwendet, als man am Ende eigentlich für die Ausgabedatei anstrebt. Dieser eher kostspielige Ansatz kann prinzipiell durch bessere Algorithmen (inkl. solcher mit AI wie bei Adobe) ersetzt werden – zumindest funktionierte dies im hier gezeigten Beispiel.

Danke für deine Suche.

Ich habe das ungute Gefühl das die KI oder AI bei einem Testbild mit Siemensstern und Strichpaaren gut funktionieren wird, aber was ist mit realen Bildern?  Das in Kameras auf Tiefpassfilter vor dem Sensor verzichtet werden kann beruht ja auf der Erkenntnis das es eben keine Testbilder sind die fotografiert werden. Hier sehe ich die KI nicht besonders hilfreich. Das Ergebnis kann doch nicht ein künstliches Bild sein, oder? Ich weiß, die Smartphones gehen da schon so einen Weg.

Bute Force erschließt sich mir hier nicht, wenn ich zum Lösen des Problems es richtig mache und dem Sensor eine höhere Auflösung als das verwendete Objektiv verpasse.

[Volker]

vor 10 Minuten schrieb Rico Pfirstinger:

Die Bearbeitungen hat man normalerweise bereits im RAF gemacht.

OMG. Ja, manchmal denke ich zu kompliziert. 😆

[Rico Pfirstinger]

vor 1 Minute schrieb UweHB:

Ich habe das ungute Gefühl das die KI oder AI bei einem Testbild mit Siemensstern und Strichpaaren gut funktionieren wird, aber was ist mit realen Bildern?

Probier es halt aus, oder lies meinen Bericht dazu letztes Jahr in Fujiove Gear Talk. Da habe ich auch einige praktische Beispiele drin. Aber am besten testet man solche Unterschiede mit denen eigenen Dateien. Realer wird's nicht.

[Rico Pfirstinger]

vor 3 Minuten schrieb UweHB:

 

Bute Force erschließt sich mir hier nicht, wenn ich zum Lösen des Problems es richtig mache und dem Sensor eine höhere Auflösung als das verwendete Objektiv verpasse.

Das Objektive spielt keine Rolle. Wir gehen naturgemäß von einem vernunftbegabten Benutzer aus, der seine Aufnahmen mit Objektiven anfertigt, deren Auflösung/Leistung den Anforderungen dieses Benutzers genügt. 

Es geht um die simple Frage, ob man Demosaicing-Artefakte am besten mit Oversampling (brute force) oder alternativ auch mit neuen Algorithmen minimieren kann. Da eine Software-Lösung deutlich billiger und praktischer ist als Kameras mit doppelter oder dreifacher Gebrauchsauflösung, ist das sicherlich die Zukunft. Den Kameraherstellern wird sie womöglich nicht gefallen, weil dann etwa eine Z7 gegenüber einer Z6 gar nicht so viel bessere Ergebnisse liefert, solange man nicht mehr als 24 MP ausgibt.

[UweHB]

vor 1 Minute schrieb Rico Pfirstinger:

Probier es halt aus, oder lies meinen Bericht dazu letztes Jahr in Fujiove Gear Talk. Da habe ich auch einige praktische Beispiele drin. Aber am besten testet man solche Unterschiede mit denen eigenen Dateien. Realer wird's nicht.

Artefakte die durch Unterabtastung entstanden sind können nicht durch Algorithmen herausgerechnet (entfernt) werden. Eine KI kann nicht komplexe Bilder erkennen und interpretieren. Im übrigen versucht auch unser menschlicher Sehapparat  das gesehene Bild zu interpretieren, teilweise mit erstaunlichen Fehlleistungen, man nennt es auch Sinnestäuschungen. Also doch besser den hochauflösenden Sensor benutzen, da weiß man was man bekommt.

 

[UweHB]

vor 2 Minuten schrieb Rico Pfirstinger:

Das Objektive spielt keine Rolle. Wir gehen naturgemäß von einem vernunftbegabten Benutzer aus, der seine Aufnahmen mit Objektiven anfertigt, deren Auflösung/Leistung den Anforderungen dieses Benutzers genügt. 

Es geht um die simple Frage, ob man Demosaicing-Artefakte am besten mit Oversampling (brute force) oder alternativ auch mit neuen Algorithmen minimieren kann. Da eine Software-Lösung deutlich billiger und praktischer ist als Kameras mit doppelter oder dreifacher Gebrauchsauflösung, ist das sicherlich die Zukunft. Den Kameraherstellern wird sie womöglich nicht gefallen, weil dann etwa eine Z7 gegenüber einer Z6 gar nicht so viel bessere Ergebnisse liefert, solange man nicht mehr als 24 MP ausgibt.

Sorry, aber hier steige ich aus. Wodurch entstehen Artefakte? Das scheint dir nicht klar zu sein. Wenn du mit deinen künstlich gerechneten Bildern glücklich bist.... ich bin es nicht.

[Rico Pfirstinger]

vor 1 Minute schrieb UweHB:

Artefakte die durch Unterabtastung entstanden sind können nicht durch Algorithmen herausgerechnet (entfernt) werden. Eine KI kann nicht komplexe Bilder erkennen und interpretieren. Im übrigen versucht auch unser menschlicher Sehapparat  das gesehene Bild zu interpretieren, teilweise mit erstaunlichen Fehlleistungen, man nennt es auch Sinnestäuschungen. Also doch besser den hochauflösenden Sensor benutzen, da weiß man was man bekommt.

 

Das ergibt für mich leider keinen Sinn, schließlich geht es beim Demosaicing allein um die Qualität des Rate-Algorithmus, die die Farbbilder aus den nur zu einem Drittel vollständingen RAW-Daten erst produziert. Ich habe lieber eine präzisere Prognose als eine so hohe Überauflösung im Eingangssignal, dass die Ratefehler dann beim Herunterskalieren nicht mehr ins Gewicht fallen. 

[Rico Pfirstinger]

vor 2 Minuten schrieb UweHB:

Wodurch entstehen Artefakte?

Beim Demosaicing, das 2/3 der Bildinformationen "erraten" muss, indem es Werte aus benachbarten Pixeln heranzieht und diese verarbeitet. Und die Ratequalität hängt von der Software ab. Ein bisschen wie bei der Wettervorhersage.

bearbeitet 15. Februar 2020 von Rico Pfirstinger

[Dein Support für das Forum]

Hat dir das Forum geholfen? So kannst du das Forum unterstützen!

Premium Mitglied werden | Spenden | Bei Amazon* oder eBay* kaufen
Software: Topaz* | DxO Nik Collection* | Skylum Luminar* (–10€ mit Gutschein FXF) | * Affiliate Links