fuji x secrets Oversampling vs. AI Demosaicing vs. ISO

[Rico Pfirstinger]

Werbung (verschwindet nach Registrierung)

Nachdem im Nachbarthema (siehe Link) die Frage aufkam, wie sich Oversampling gegenüber smartem Demosaicing bei höheren ISO-Werten verhält, habe ich beschlossen, dieser Frage in einer dreidimensionalen Betrachtung auf den Grund zu gehen.

 

bearbeitet 16. Februar 2020 von Rico Pfirstinger

[Rico Pfirstinger]

Wie macht man das am besten?

Zum Glück gibt's Sony, die viele verschiedene Sensoren in ihre Kameras einbauen. Idealerweise vergleichen wir hier eine A7SII (12 MP) mit einer A7RIV (61 MP) – und zwar bei einer Ausgabegröße von jeweils 12 MP. Auf diese Weise erzielen wir mit der A7RIV ein 5-faches Oversampling gegenüber der klassischen A7SII.

Gleichzeitig vergleichen wir das Ganze bei drei verschiedenen ISO-Werten: 100, 12800 und 51200.

Und wir vergleichen alles jeweils mit normalem Demosaicing (Lightroom) und mit smartem AI-Demosaicing (Lightroom "Details verbessern")

bearbeitet 16. Februar 2020 von Rico Pfirstinger

[Rico Pfirstinger]

Wer die Ergebnisse direkt in einem praktischen Flickr-Album vergleichen möchte, der klickt bitte hier: https://www.flickr.com/gp/ricopfirstinger/0f1h2M

[Rico Pfirstinger]

Die Ergebnisse erlauben folgende Schussfolgerungen:

1. Die A7RIV ist bei allen ISO-Werten und mit beiden Demosaicing-Methoden eine bessere 12-MP-Kamera als die A7SII. Die mit Oversampling erzielten 12-MP-Ergebnisse zeigen mehr Details und mehr Detailtreue (weniger "false detail" und weniger Artefakte), ohne dass das Rauschen dabei negativer als bei der nativen 12-MP-Kamera in Erscheinung tritt. Dies entspricht unseren Erwartungen, schließlich sind beide Sensoren gleich groß (KB) und sammeln somit gleich viel Licht, die A7RIV hat dabei jedoch einen unübersehbaren Auflösungsvorteil durch 5-faches Oversampling.
2. "Details verbessern" liefert bei allen ISO-Werten einen sichtbaren Vorteil gegenüber dem herkömmlichen Demosaicing, das Ausmaß dieses Vorsprungs nimmt jedoch mit zunehmender ISO-Zahl ab. Auch dies entspricht unseren Erwartungen, schließlich wirkt "Details verbessern" nur auf das Demosaicing, nicht aber auf das Eingangssignal, das mit zunehmender ISO-Zahl schlechter (fehlerhafter, verrauschter) wird. Mit zunehmender ISO-Zahl überlagert die abnehmende Qualität des Eingangssignals (vom Rauschen überlagerte Details) also den im Vergleich dazu immer geringeren Qualitätszuwachs durch das bessere Demosaicing von "Details verbessern". 
3. 5-fache Oversampling in Kombination mit "Details verbessern" ist kaum besser als 5-faches Oversamling ohne "Details verbessern". Man kann die Vorteile aus beiden Verfahren also nicht aufaddieren. "Details verbessern" bewirkt am meisten bei Aufnahmen, die mit niedriger auflösenden Sensoren erstellt wurden.

bearbeitet 16. Februar 2020 von Rico Pfirstinger

[Rico Pfirstinger]

Daraus ergibt sich für die Praxis:

• Wer Aufnahmen bei schwachem Licht mit hohen ISO-Werten machen muss, ist unabhängig von der späteren Ausgabegröße mit der hochauflösenden A7RIV besser bedient als mit dem "Low-Light-Wunder" A7SII. Die 12-MP-Ergebnisse aus der A7RIV sind denen der A7SII durchweg überlegen – zumindest bei ISO-Werten zwischen 100 und 51200, mit oder ohne "Details verbessern".
• "Details verbessern" kann bei Basis-ISO (sauberes Eingangssignal mit wenig Rauschen) den enormen Auflösungsvorsprung der A7RIV gegenüber der A7SII zu einem guten Stück nivellieren, sofern mit beiden Kameras ein Bild mit 12 MP (etwa für 4K Displays) erzeugt werden soll. Solange man die Kameras also bei Basis-ISO 100 betreibt (etwa bei der Landschaftsfotografie oder im Studio), ist der Auflösungsvorteil der A7RIV bei 12 MP nicht mehr gewaltig – jedoch nur mit "Details verbessern". Ohne "Details verbessern" ist der Bildqualitätsunterschied auch bei 12 MP beachtlich.
• Wer in seinem Workflow bereits mehrfaches Oversamling betreibt (also zum Beispiel mit einer GFX 100 fotografiert und damit durchweg JPEGs mit 25 MP erzeugt – 4-faches Oversampling), kann sich "Details verbessern" in der Regel sparen. Das Oversampling sorgt hier bereits für so viel Qualitätszugewinn, dass der kleine zusätzliche Beitrag von "Details verbessern" darin praktisch untergeht.

bearbeitet 16. Februar 2020 von Rico Pfirstinger

[Rico Pfirstinger]

Als Fuji-Benutzer, der sowohl Mittelformat als auch APS-C zur Auswahl hat, interessierte mich in diesem Zusammenhang, welche Auflösungsvorteile ich mit einer GFX 100 gegenüber eine X-T3 bei unterschiedlichen ISO-Werten genieße – jeweils bezogen auf ein Ausgabeformat von 26 MP (genauer gesagt: jeweils 4160 Pixel an der kurzen Kante, denn die beiden Sensoren haben mit 4:3 und 3:2 unterschiedliche Seitenverhältnisse).

Hierzu habe ich zunächst eine ähnliche Testreihe wie oben mit den beiden Sonys gemacht, wieder basierend auf standardisierten Studio-Testbildern von dpreview, deren RAWs öffentlich zugänglich sind, sodass man den Test jederzeit selbst im eigenen Konverter nachvollziehen kann – unabhängig davon, ob man die fragliche Kamera selbst besitzt.

Dabei stellte sich heraus, dass die Varianten mit "Details verbessern" keine Nachteile gegenüber den regulären Varianten haben, sondern stets mindestens so gute und vielfach bessere Ergebnisse liefern. Aus diesem Grund habe ich den anschließenden direkten/gegenüberstellenden Vergleich dann nur noch mit Varianten durchgeführt, die mit "Details verbessern" erzeugt wurden.

Getestet habe ich die beiden Kameras (GFX 100 bzw. X-T3) hierbei bei Basis-ISO (100 bzw. 160), bei ISO 12800 sowie beim jeweils höchsten verfügbaren regulären ISO-Wert (102400 bzw. 51200).

 

bearbeitet 16. Februar 2020 von Rico Pfirstinger

[Rico Pfirstinger]

Werbung (verschwindet nach Registrierung)

Die Ergebnisse kann man in diesem Album begutachten: https://www.flickr.com/gp/ricopfirstinger/u9D97i

[Rico Pfirstinger]

Bei Basis-ISO zeigt sich der Vorteil von "Details verbessern" wie erwartet (siehe Sony-Vergleich) am deutlichsten. Zwar ist die auf 4160 Pixel Bildhöhe (kurze Kante) normalisierte GFX-Aufnahme noch präziser und detailreicher, die X-T3 kommt jedoch auch ohne Oversampling ausgesprochen nahe an die GFX heran. Bei Alltagsmotiven dürfte der Unterschied deshalb nicht besonders ins Gewicht fallen. Ohne "Details verbessern" haben wir allerdings eine andere Situation. Bei der Frage, lieber ein Lightroom-Abo zu kaufen oder zwecks vierfachem Oversampling von der X-T3 zur GFX 100 zu wechseln, ist die Software-Lösung sicherlich rationaler. Sie gilt jedoch nur mit Einschränkungen: Basis-ISO, höchste Ausgabe-Auflösung 26 MP, und natürlich braucht man dann auch an der X-T3 hervorragende Objektive.

Dass sich das Ganze mit höheren ISO-Werten zugunsten der Oversampling-Variante (und den größeren Sensor) verschiebt, ist klar, und dementsprechend fallen auch die Ergebnisse bei ISO 12800 aus: Hier erkennt man bei der GFX 100 praktisch keinen Detailverlust gegenüber ISO 100, während das Ergebnis aus der X-T3 bereits erkennbar schwächelt: mehr Rauschen, weniger Detailauflösung.

Beim maximalen regulären ISO-Wert ist die Lage-Umkehrung dann komplett vollzogen: Hier sticht die GFX 100 die X-T3 selbst dann noch deutlich aus, wenn sie mit ISO 102400 eine Blendenstufe knapper als die X-T3 mit ISO 51200 belichtet wird.

Da es mir bei diesem Fuji-Vergleich mehr um die Praxis ging, habe ich bei den Beispielen mit den höheren ISOs (ab 12800) jeweils passende Einstellungen für die Rauschunterdrückung angewendet, um die jeweils – für mich – ideale Balance aus Rauschen und Details zu erzielen und dann miteinander zu vergleichen.

bearbeitet 16. Februar 2020 von Rico Pfirstinger

[snooopy]

Naja, wenn Adobe auch mal schafft die Performance zu steigern wird diese Befehl vielleicht interessant... wer eine Hochauflösende Kamera hat kann sich beruhigt zurück lehnen und lachen. Auch die kleinen X-T30 FujiRaws werden zu über 100MP großen DNGs durch diesen Befehl... am Ende bleibt es eine Krücke mit viel Datenmüll, weil man die RAWs und DNGs hat. 

[Fugu]

Die DNGs kann man ja gleich wieder entsorgen. Bleibt nur noch der Rechenzeitaufwand als Nachteil..

[Volker]

vor 4 Minuten schrieb snooopy:

Naja, wenn Adobe auch mal schafft die Performance zu steigern wird diese Befehl vielleicht interessant... 
...
am Ende bleibt es eine Krücke mit viel Datenmüll, weil man die RAWs und DNGs hat. 

Das hatten wir ja in diesem Thread schon besprochen. Du kannst die RAF ganz normal entwickeln und dann vor Export (ggfs. mit Reduzierung der Augabegröße) die DNGs erzeugen (geht im Batch) und anschließend die DNGs löschen.

Etwas Rechenpower ist allerdings notwendig. Wenn die allerdings vorhanden ist, geht das sehr fix - auf meinem Rechner bei einer 24MP Datei wenige Sekunden pro Bild.

[snooopy]

vor 14 Minuten schrieb Volker:

Das hatten wir ja in diesem Thread schon besprochen. Du kannst die RAF ganz normal entwickeln und dann vor Export (ggfs. mit Reduzierung der Augabegröße) die DNGs erzeugen (geht im Batch) und anschließend die DNGs löschen.

Etwas Rechenpower ist allerdings notwendig. Wenn die allerdings vorhanden ist, geht das sehr fix - auf meinem Rechner bei einer 24MP Datei wenige Sekunden pro Bild.

Aha, wozu werden die DNGs dann eigentlich erzeugt? Um diese später zu löschen?

[Volker]

vor 5 Minuten schrieb snooopy:

Aha, wozu werden die DNGs dann eigentlich erzeugt? Um diese später zu löschen?

ernsthaft?

[Volker]

Ich habe mir gerade die TIFFs der Testcharts runtergeladen (beim A7SII vs. A7RIV und GFX100 vs. X-T3 Vergleich). Es ist in der Tat erstaunlich, wie gering bei Basis-ISO die Unterschiede sind. Ich hätte tatsächlich einen deutlich größeren Vorteil durch das Oversampling erwartet.

Bzgl. "Details verbessern" vs. "normalem" Demosaicing: ich finde den Unterschied in 1:1 Ansicht in den meisten Bereichen der Testcharts nur schwer erkennbar (verglichen bei Basis-ISO). Die in den Flickr-Alben gezeigten Ausschnitte sind stärkere Vergrößerungen, wenn ich mich nicht irre. Am deutlichsten sieht man den Unterschied in Bereichen mit starken Kontrasten (die schwarz-weiß Bereiche wie Siemensstern und Text) in Form von Farbartefakten. In den anderen Bereichen des Testcharts, die mehr "normales" Zeugs zeigen (Gesichter, Pinsel + Farben, Garn etc.) muss ich schon weiter reinzoomen, um einen Unterschied zu erkennen. Aber man darf natürlich nicht vergessen, dass man (zumindest ich), später häufiger seine Bilder noch beschneidet, wodurch sich vorher kaum sichtbare Artefakte bemerkbar machen.

Ich werde als "Learning" aus diesem Thread bei meinen Fuji-X Bildern das "Details verbessern" Feature, das ich bisher ignoriert habe, häufiger einsetzen, allerdings nur selektiv, d.h. für gelungenen Aufnahmen, die mir gefallen und die ich weiter bearbeiten möchte.

[snooopy]

vor 20 Minuten schrieb Volker:

ernsthaft?

Klar ernsthaft! Anscheinend reden wir an einander vorbei, die Verbessrungen sind in der DNG, mit dieser Datei arbeite ich weiter Tiefen, Lichter, Farben usw... Export ins PS... wieso sollte ich dann die "verbesserte" DNG Datei löschen? Oder wird die FujiRaw mit den verbesserten Details überschrieben? Mir geht`s nicht um Massen an Bildern in JPG zu wandeln... 

bearbeitet 16. Februar 2020 von snooopy

[Rico Pfirstinger]

vor 20 Minuten schrieb Volker:

Ich werde als "Learning" aus diesem Thread bei meinen Fuji-X Bildern das "Details verbessern" Feature, das ich bisher ignoriert habe, häufiger einsetzen, allerdings nur selektiv, d.h. für gelungenen Aufnahmen, die mir gefallen und die ich weiter bearbeiten möchte.

Für mich handelt es sich aus meiner bisherigen Erfahrung heraus ebenfalls um ein "on demand"-Feature. Wenn man eine 26-MP-Aufnahme auf ein JPEG mit 2048 px an der langen Kante (und < 800 KB) für Facebook, Instagram oder Foren komprimiert, spielt "Details verbessern" in den meisten Fällen keine wahrnehmbare Rolle mehr. Hier liegt dann schließlich wieder Oversampling vor, und wie wir ja nun wissen, addieren sich die Vorteile von "Details verbessern" nicht zu denen des Oversamplings hinzu. 

Da es sich bei "Details verbessern" nur um eine weitere Demosaicing-Option handelt, ändert sich für die meisten wenig bis nichts am Workflow, denn viele ernsthafte Lightroom-Benutzer verwenden für ihre Fuji-RAWs seit Jahren den X-Transformer, der auch nichts anderes macht als Alternativen für ein besseres Demosaicing mit mehr Details, besseren Details und weniger Artefakten zu liefern. Auch X-Transformer war und ist eine solche "on demand"-Funktion, und auch er wird andauernd verbessert, sodass es oft gar keinen Sinn macht, die mit älteren X-Transformer-Versionen erzeugten demosaicten DNGs ewig zu behalten. 

bearbeitet 16. Februar 2020 von Rico Pfirstinger

[Volker]

vor 13 Minuten schrieb snooopy:

Klar ernsthaft! Anscheinend reden wir an einander vorbei, die Verbessrungen sind in der DNG, mit dieser Datei arbeite ich weiter Tiefen, Lichter, Farben usw... Export ins PS... wieso sollte ich dann die "verbesserte" DNG Datei löschen? Oder wird die FujiRaw mit den verbesserten Details überschrieben? Mir geht`s nicht um Massen an Bildern in JPG zu wandeln... 

Wie geschrieben: das hatten wir hier im Thread schon besprochen. Der Workflow: du machst deine Bearbeitung am RAF. Erst wenn Du fertig bist, führst Du "Details verbessern" aus, prüfst, ob es dem Bild gut getan hat und machst dann den JPG-Export mit Skalierung auf die gewünschte Ausgabegröße. Anschließend kannst Du das DNG löschen, wenn Du den Speicherplatz nicht belegen möchtest - deine Bearbeitungsschritte bleiben ja erhalten (in der XMP-Datei des RAF). Du kannst das DNG natürlich auch behalten und bei spätester Bearbeitung mit der "Auto Sync" Funktion auch Bearbeitungen parallel an RAF und DNG machen.
Wenn Du dich dazu entschlossen hast, das DNG zu löschen und später nochmal an das Bild ran willst, kannst Du es ja jederzeit wieder erzeugen und dort wieder aufsetzen, wo Du mit der Bearbeitung aufgehört hast.

[Rico Pfirstinger]

vor 58 Minuten schrieb snooopy:

Aha, wozu werden die DNGs dann eigentlich erzeugt? Um diese später zu löschen?

Genau. Es handelt sich ja praktisch nur um Internegative, die früher auch häufig aus Platzmangel geschreddert wurden, nachdem damit im Kopierwerk die benötigten Filmkopien für die Kinos produziert worden waren. Unser Master-Negativ ist und bleibt das RAF.

Wenn ein Film später erneut in die Kinos kam, wurden aus dem Master einfach neue Internegative hergestellt und an die Kopierwerke geliefert, die damit neue Filmkopien für die Kinos herstellten. Und wir machen analog dazu aus dem RAF einfach ein neues Verbessert-DNG (Aufwand: 1 Klick) und exportieren daraus dann die neuen JPEGs.

Ganz großes Kino! 😆

bearbeitet 16. Februar 2020 von Rico Pfirstinger

[Rico Pfirstinger]

Der geniale Unterschied zum Kino ist letztlich der, dass die Internegative immer etwas schlechter waren als das Master-Negativ. Im Gegensatz dazu ist unser Verbessert-DNG ein wenig besser als das in Echtzeit live demosaicte RAF. 

Aber dieses Verfahren kennt man ja auch längst vom digitalen Filmschnitt. Da arbeitet der Cutter in der Regel mit Dateien in niedrigerer Auflösung, um die Datenmengen niedrig und die Performance hoch zu halten – und erst am Ende werden die Schnittkommandos auf die vollwertigen Videodaten in voller Auflösung angewendet.

Insofern: alles nichts Neues.

[Tommy43]

Das war mr tatsächlich auch nicht klar, dass alle Bearbeitungsschritte in LR dann am Ende erst in das DNG einfließen und es dann problemlos gehimmelt werden kann. Ich hab es am Anfang erzeugt und dann damit weitergearbeitet, da ich dachte, dass „Demosaicing“ am Anfang des Prozesses stehen muss. So ist das natürlich ein Schritt, den man öfter mal einsetzen kann.

[Volker]

vor 1 Minute schrieb Rico Pfirstinger:

Aber dieses Verfahren kennt man ja auch längst vom digitalen Filmschnitt. Da arbeitet der Cutter in der Regel mit Dateien in niedrigerer Auflösung, um die Datenmengen niedrig und die Performance hoch zu halten – und erst am Ende werden die Schnittkommandos auf die vollwertigen Videodaten in voller Auflösung angewendet.

Jo, bei meinen eher seltenen Videobearbeitungen mit Adobe Premiere arbeite ich eigentlich immer mit runterskalierten und komprimierten "Proxy-Dateien" - damit kann man dann auch 4K-Material auf "haushaltsüblichen" Rechnern in vernünftiger Geschwindigkeit bearbeiten. LR hat ja mit den "Smart Previews" ein ganz ähnliches Konzept.

vor 7 Minuten schrieb Tommy43:

da ich dachte, dass „Demosaicing“ am Anfang des Prozesses stehen muss

Muss es auch, sonst könnte das RAW nicht dargestellt werden. Ich nehme an, beim Anwenden von "Details verbessern" auf einem bereits bearbeiteten RAF spult LR einfach nochmal den kompletten Prozess ab: Demosaicing auf Basis des Ausgangs-RAWs mit dem AI-Algorithmus und anschießend die Anwendung aller Bearbeitungsschritte, die zuvor auf dem RAF gemacht wurden.

[Rico Pfirstinger]

vor 7 Minuten schrieb Volker:

Demosaicing auf Basis des Ausgangs-RAWs mit dem AI-Algorithmus und anschießend die Anwendung aller Bearbeitungsschritte, die zuvor auf dem RAF gemacht wurden.

Klar, genau wie mit dem X-Transformer. Ansonsten kann man sämtliche Einstellungen ja auch mit 2 Klicks von jedem Foto zu einem anderen (etwa vom RAF aufs DNG und wieder zurück) kopieren.

So läuft das ja auch mit virtuellen Kopien (Befehlstaste-T) – da bekommt die Kopie beim Erzeugen serienmäßig auch sämtliche Einstellungen des Originals. 

Es gibt wie schon gesagt seltene Fälle, bei denen das Verbessert-DNG mit gleichen Entwicklungseinstellungen anders aussieht als das RAF. Das passiert bei Bildern mit extremen ISO-Werten oder solchen, die massiv gepusht werden. Ähnliches passiert ja auch bei entsprechenden DNGs aus dem X-Transformer, wobei man dort dann oft eine Verbesserung(!) des Dynamikumfangs gegenüber dem direkt bearbeiteten RAF feststellen kann, insbesondere bei 12-Bit-RAWs aus älteren Kameras – das wurde von mir auch schon ausführlich dokumentiert, ist Teil des RAW-Workshops und steht  auch in Fuji X Secrets.

bearbeitet 16. Februar 2020 von Rico Pfirstinger

[mjh]

vor 11 Stunden schrieb Tommy43:

Ich hab es am Anfang erzeugt und dann damit weitergearbeitet, da ich dachte, dass „Demosaicing“ am Anfang des Prozesses stehen muss.

Muss es ja auch. Es gibt die Entwicklungspipeline, in der bestimmte Verarbeitungsschritte in einer festen Reihenfolge angewandt werden, und das Demosaicing steht da am Anfang. Völlig unabhängig davon gibt es Deinen Workflow, in dem Du bestimmte Einstellungen zuerst und andere später machst. Auch wenn Du „Details verbessern“ erst ganz zum Schluss anwendest, ist das Bild, das Du dann siehst und daraufhin exportierst, das Produkt einer Pipeline, in der das Demosaicing weiterhin am Anfang steht. Nur dass das Resultat des Demosaicing bereits vorhanden war – man kann sich das Zwischen-DNG als eine Art Cache für das Ergebnis des Demosaicing vorstellen. Alle weiteren Verarbeitungsschritte der Pipeline gehen von diesem Resultat aus. Und wie bei jedem Cache kann man das DNG bedenkenlos löschen und das gespeicherte Zwischenergebnis bei Bedarf wieder neu erzeugen.

Falls Adobe es nicht schaffen sollte, „Details verbessern“ zeitnah so zu beschleunigen, dass es regulär anhand des konventionellen Demosaicing angewandt werden kann, könnten sie auch eine Art Lazy-Details-verbessern einführen: Dann würde man irgendwo in einem Panel ein Häkchen setzen, wenn man „Details verbessern“ für diese Aufnahme nutzen will, aber Lightroom würde daraufhin erst einmal gar nichts tun. Vielleicht erzeugt LR das Zwischen-DNG im Hintergrund, während sonst gerade nichts zu tun ist, oder eben erst, wenn der Export gestartet wird. Man könnte LR vielleicht so konfigurieren, dass ein Zwischen-DNG nach einer bestimmten Zeit automatisch gelöscht wird, oder man gibt vor, wie viel Speicher die Zwischen-DNGs belegen dürften – wenn dieser überschritten wird, löscht Lightroom das älteste DNG, nachdem es ein neues (einer anderen Aufnahme) erzeugt hat. Und wenn man ein gelöschtes DNG doch noch einmal braucht, wird es eben on-the-fly neu berechnet.

[Dein Support für das Forum]

Hat dir das Forum geholfen? So kannst du das Forum unterstützen!

Premium Mitglied werden | Spenden | Bei Amazon* oder eBay* kaufen
Software: Topaz* | DxO Nik Collection* | Skylum Luminar* (–10€ mit Gutschein FXF) | * Affiliate Links