fuji x secrets 2x Oversampling vs. AI Demosaicing

[Tommy43]

Werbung (verschwindet nach Registrierung)

 

vor 6 Minuten schrieb UweHB:

aber was ist mit realen Bildern?

Ich habe mal ein „reales“ Bild mit „Details verbessern“ behandelt, als die Funktion neu war. Landschaft inklusive Häuser, Straßen z.T. in sehr weiter Entfernung. Die AI scheint auch mit solchen Dingen klarzukommen. Aus wenigen Pixeln von weit entfernten Verkehrsschildern bastelte sie etwas, was dann schon eher wie ein Verkehrsschild wirkte bei 400%. Auch Ecken von Fenstern etc. wirkten gerader. Allein, in der Normalansicht war dies alles nicht auszumachen. Insofern lasse ich „Details verbessern“ bisher weg, außer ich will ein Bild an die Wand hängen. Dann gibt mir das ein besseres Gefühl, die Entwicklung ausgereizt zu haben. Notwendig ist es auch da vermutlich nicht. 
Ich finde die Testserie hier trotzdem spannend, konterkariert sie doch die Meinung so genannter Experten in Foren und ist dabei auch noch mit jederzeit nachvollziehbaren Vergleichsbildern belegt.

[UweHB]

vor 2 Minuten schrieb Rico Pfirstinger:

Beim Demosaicing, dass 2/3 der Bildinformationen "erraten" muss. Und die Ratequalität hängt von der Software ab. Ein bisschen wie bei der Wettervorhersage.

Vor dem Demosaicing liegt die Abtastung des Bildes durch die diskreten Pixel. Das der X-Trans Sensor eine bessere Unterdrückung von Artefakten hat gegenüber dem Bayersensor liegt an der etwas schlechteren Auflösung des errechneten Farbbildes.  Mit Wettervorhersage hat das nichts zu tun. Das kann man auch gut selbst ausprobieren wenn man einen Siemensstern mit leicht defokussierten Objektiv ablichtet. 

[Rico Pfirstinger]

vor 2 Minuten schrieb UweHB:

Das kann man auch gut selbst ausprobieren wenn man einen Siemensstern mit leicht defokussierten Objektiv ablichtet. 

So bastelt man sich einen Tiefpassfilter mit dem Objektiv. Geht mit Abblenden (Beugung) besser als mit leichtem Defokus, wenn ich mich an die entsprechenden Artikel von Jim Kasson richtig erinnere, der das mal genau verglichen hat. 

Darum geht es hier allerdings nicht. Wir wollen ja die volle Auflösung des Sensors (bzw. der Ausgabedatei) nutzen, mit möglichst wenig Artefakten.

bearbeitet 15. Februar 2020 von Rico Pfirstinger

[UweHB]

vor 9 Minuten schrieb Tommy43:

 

Ich habe mal ein „reales“ Bild mit „Details verbessern“ behandelt, als die Funktion neu war. Landschaft inklusive Häuser, Straßen z.T. in sehr weiter Entfernung. Die AI scheint auch mit solchen Dingen klarzukommen. Aus wenigen Pixeln von weit entfernten Verkehrsschildern bastelte sie etwas, was dann schon eher wie ein Verkehrsschild wirkte bei 400%. Auch Ecken von Fenstern etc. wirkten gerader. Allein, in der Normalansicht war dies alles nicht auszumachen. Insofern lasse ich „Details verbessern“ bisher weg, außer ich will ein Bild an die Wand hängen. Dann gibt mir das ein besseres Gefühl, die Entwicklung ausgereizt zu haben. Notwendig ist es auch da vermutlich nicht. 
Ich finde die Testserie hier trotzdem spannend, konterkariert sie doch die Meinung so genannter Experten in Foren und ist dabei auch noch mit jederzeit nachvollziehbaren Vergleichsbildern belegt.

Wer das mag soll es machen. Hat aber mit realen Fotos nicht mehr viel zu tun. Ich fürchte das ist die KI erst am Anfang ihrer Möglichkeiten mir ein "gutes" Foto zu erstellen.

[Rico Pfirstinger]

vor 3 Minuten schrieb UweHB:

Das der X-Trans Sensor eine bessere Unterdrückung von Artefakten hat gegenüber dem Bayersensor liegt an der etwas schlechteren Auflösung des errechneten Farbbildes.

Dass X-Trans-Aufnahmen weniger Auflösung haben sollen als ansonsten identische Bayer-Aufnahmen, wäre mir neu – bitte um Belege. 

[Rico Pfirstinger]

vor 4 Minuten schrieb UweHB:

Hat aber mit realen Fotos nicht mehr viel zu tun.

Die Bilder mit mehr Demosaicing-Fehlern haben in der Tat weniger mit der Realität zu tun als jene mit weniger solchen Fehlern. Denn jedes Demosaicing-Artefakt ist eine Abweichung von der Realität. Deshalb sind die Aufnahmen aus "Details verbessern" realitätsnäher.

Im wissenschaftlichen Bereich spielt das eine beachtliche Rolle bei der Dokumentation von Dingen oder Vorgängen. Deshalb hat eine Hasselblad auch Multishot mit 400 MP, um etwa einem Museum Dokumentationsaufnahmen von Exponaten ohne Demosaicing-Probleme erstellen zu können.

Die Panasonic S1 hat auch Multishot, die GFX 100 bekommt es demnächst.

bearbeitet 15. Februar 2020 von Rico Pfirstinger

[UweHB]

Werbung (verschwindet nach Registrierung)

vor 2 Minuten schrieb Rico Pfirstinger:

Dass X-Trans-Aufnahmen weniger Auflösung haben sollen als ansonsten identische Bayer-Aufnahmen, wäre mir neu – bitte um Belege. 

Ist leider so, siehe https://de.wikipedia.org/wiki/Bayer-Sensor

[Volker]

vor 9 Minuten schrieb UweHB:

Vor dem Demosaicing liegt die Abtastung des Bildes durch die diskreten Pixel.

What? 🤔Die Pixel tasten das Bild ab? Ich kann dir nicht folgen.

vor 5 Minuten schrieb UweHB:

Wer das mag soll es machen. Hat aber mit realen Fotos nicht mehr viel zu tun. Ich fürchte das ist die KI erst am Anfang ihrer Möglichkeiten mir ein "gutes" Foto zu erstellen.

Warum denn? Es werden doch keine grünen Männchen durch KI in die Bilder retuschiert, sondern nur das per se unvollkommene Demosaicing verbessert. Idealerweise zeigt das Ergebnis mehr von der Realität (im Sinne von: was das Auge gesehen hat) als das Ergebnis ohne KI-Einsatz. Oder siehst Du die Welt mit Demosaicing-Artefakten.

bearbeitet 15. Februar 2020 von Volker

[Rico Pfirstinger]

Gerade eben schrieb UweHB:

Ist leider so, siehe https://de.wikipedia.org/wiki/Bayer-Sensor

In dem Artikel kommt der Begriff X-Trans gar nicht vor.

[UweHB]

vor 3 Minuten schrieb Rico Pfirstinger:

In dem Artikel kommt der Begriff X-Trans gar nicht vor.

lies einfach mal den Abschnitt "Alternative Entwicklungen"

[Rico Pfirstinger]

Den praktischen Vergleich gab es hier ja erst gestern: 

 

 

[snooopy]

Die andere Richtung ist interessanter Bilder z.B. aus 12MP nach 24MP interpolieren... 

[Rico Pfirstinger]

vor 1 Minute schrieb UweHB:

lies einfach mal den Abschnitt "Alternative Entwicklungen"

Da steht kein Wort darüber, dass X-Trans weniger Auflösung als Bayer haben soll. Da steht nur, dass einige Algorithmen mit X-Trans weniger gut zurechtkommen. Was ja auch stimmt – deshalb verwendet man ja "Details verbessern", denn dieser neue Algo kommt mit X-Trans hervorragend zurecht und wurde ja auch extra für X-Trans trainiert, separat vom Bayer-Training.

[Tommy43]

vor 10 Minuten schrieb UweHB:

Wer das mag soll es machen.

Ich mach’s ja in der Regel nicht 😂

vor 3 Minuten schrieb UweHB:

lies einfach mal den Abschnitt "Alternative Entwicklungen"

Da steht aber nicht, was Du behauptest. 

[Rico Pfirstinger]

vor 2 Minuten schrieb snooopy:

Die andere Richtung ist interessanter Bilder z.B. aus 12MP nach 24MP interpolieren... 

Dazu hat Jim auch interessante Tests auf seinem Blog gepostet, inkl. Vergleich verschiedener Programme und Algorithmen. 

[snooopy]

Diese Beispiel sind interessant aber nicht ganz aus der Praxis... wie sieht es aus wenn ich mit Tiefe, Lichter spiele, sobald ein gewisses Rauschen zu sehen ist. Dann sieht man wie so ein Algorithmus arbeitet es reicht nicht nur etwas Moire zu entfernen, welches sowieso kaum entsteht. Auch HighIso Fotos, die man dann zurück verkleinert was macht die AI mit den Details wie geht sie damit um, dass sind so Sachen, die interessieren. 

bearbeitet 15. Februar 2020 von snooopy

[Rico Pfirstinger]

vor 27 Minuten schrieb snooopy:

Auch HighIso Fotos, die man dann zurück verkleinert was macht die AI mit den Details wie geht sie damit um, dass sind so Sachen, die interessieren.

Ich freue mich schon auf entsprechende Vergleiche und Ergebnisse der interessieren User hier.

Mir persönlich ist in LR bisher kein signifikanter Einfluss auf das Rauschen aufgefallen, deshalb kann man ja auch alle gemachten Einstellungen übernehmen. Unterschiede zwischen RAF und Detail-DNG gibt es manchmal bei extremen Push-Operationen, und ich hatte da auch schon einige Fälle, in denen das demosaicte Detail-DNG im Vergleich zum RAF praktisch unbrauchbar war. 

bearbeitet 15. Februar 2020 von Rico Pfirstinger

[MightyBo]

Ich meine, dass "Detailverbesserung" beim X-Trans Sensor jede Menge bringt. Ich bearbeite auch erst das RAW und wenn ich es in besonderer Qualität brauche erzeuge ich das DNG. ich habe gerade meine alten Mongolei Bilder neu entwickelt und am Ende im Batch die DNG erzeugt. Der Unterschied zu den Bildern aus 2016 ist schon enorm. Allerdings habe ich durch Ricos LR Kurse auch einiges in der Zwischenzeit dazu gelernt (gruselig wie ich manche Regler in 2016 standen).

Mit der Vorschau kann man ja sofort in einer Vergrößerung sehen, was Detailverbesserung für das Bild oder die bildwichtige Partie bringt. Für mich sieht das aus wie verbessertes Demosaicing (sprich Farben raten)  und nicht wie ein Algo der nach dem Motto "Oh, ich habe ein Ahornblatt erkannt und mache aus dem blattähnlichen Objekt ein Ahornblatt" arbeitet.

Bei den GFX Files sehe ich aber tatsächlich wenig unterschied und da die BQ je jenseits von Gut und Böse ist schenke ich mir den Schritt.

Danke für die Arbeit Rico!

Peter

 

 

[mjh]

vor 2 Stunden schrieb MightyBo:

Mit der Vorschau kann man ja sofort in einer Vergrößerung sehen, was Detailverbesserung für das Bild oder die bildwichtige Partie bringt. Für mich sieht das aus wie verbessertes Demosaicing (sprich Farben raten)  und nicht wie ein Algo der nach dem Motto "Oh, ich habe ein Ahornblatt erkannt und mache aus dem blattähnlichen Objekt ein Ahornblatt" arbeitet.

Das Verfahren arbeitet ja relativ kleinteilig und kann schon deshalb keine Motive erkennen. So nach dem Motto: Dieser Pixelhaufen sieht mit etwas Fantasie wie ein Hund aus, also generiere ich das hochaufgelöste Bild eines Hundes. Aber so funktioniert das nicht.

Was immer man tut: Der Sensor liefert nur ein Drittel der benötigten Informationen und die fehlenden zwei Drittel müssen geschickt erraten werden. Adobes KI-Verfahren erledigt diese Aufgabe lediglich ein bisschen cleverer als die gängigen Algorithmen.

Mir fällt in diesem Zusammenhang ein, wie Jean Marie Binucci, der Gründer von Binuscan, vor vielen Jahren mal erzählte, wie er sein CDC-4x-Verfahren entwickelt hatte. Binucci wollte Bilder hochskalieren, mit besseren Ergebnissen als die damals bekannten Verfahren. Eines Tages saß er auf dem Klo (ein Ort, an dem ja viele Menschen ihre besten Ideen entwickeln) und schaute die Kacheln der Wand an – was blieb ihm auch anderes übrig. Das waren lauter quadratische Kacheln in unterschiedlichen Farben, also so etwas wie Pixel, und Jean Marie fragte sich: Wenn ich jetzt diese Kacheln/Pixel auseinander ziehe, so dass jeweils zwischen zwei Kacheln ein Leerraum bleibt, was für eine Farbe müsste dann dieses Pixel haben? Ihm schien eine bestimmte Farbe als plausibelste Lösung, und so nahm er sich ein paar andere Kacheln vor, kam ebenfalls zu einem eindeutigen Ergebnis, und nachdem er sein Geschäft erledigt hatte, machte er sich daran, diese Idee zu implementieren. Wohlgemerkt: Die Aufgabe, ein Bild linear um den Faktor zwei zu vergrößern, ist der Aufgabe des Demosaicing verwandt. Jean Marie Binucci bediente sich damals nicht der künstlichen Intelligenz, sondern setzte auf natürliche Intelligenz, aber das Prinzip war sehr ähnlich: Es gibt Muster, die in realen Fotos eher auftreten als andere, und ein optimales Interpolationsverfahren sollte dies berücksichtigen. (Jean Marie Binucci nannte sein Skalierungsverfahren dann „CDC-4x“ – „4x“ nach dem flächenmäßigen Skalierungsfaktor und „CDC“ nach der ursprünglichen Inspirationsquelle.)

[UweHB]

vor 17 Stunden schrieb Tommy43:

Ich mach’s ja in der Regel nicht 😂

Da steht aber nicht, was Du behauptest. 

 

vor 17 Stunden schrieb Rico Pfirstinger:

Da steht kein Wort darüber, dass X-Trans weniger Auflösung als Bayer haben soll. Da steht nur, dass einige Algorithmen mit X-Trans weniger gut zurechtkommen. Was ja auch stimmt – deshalb verwendet man ja "Details verbessern", denn dieser neue Algo kommt mit X-Trans hervorragend zurecht und wurde ja auch extra für X-Trans trainiert, separat vom Bayer-Training.

Man nennt so etwas auch selektive Wahrnehmung. Im Wikipedia Artikel steht:

Einen anderen Ansatz hat Fujifilm mit seiner 2012 auf den Markt gebrachten Kamera Fujifilm X-Pro1 vorgestellt: Die RGB-Pixel wurden in einem anderen Verhältnis (22 %/56 %/22 % statt 25 %/50 %/25 %) und einer anderen Anordnung (XTrans) auf dem Sensor verteilt, die Elementarzelle (nach der sich das Muster wiederholt) vergrößert sich von 2 × 2 auf 6 × 6 Pixel, und jede Pixelfarbe kommt in jeder Zeile und jeder Spalte vor. Da rote und blaue Pixel nun nicht mehr genau 2, sondern im Durchschnitt 2,23 Längeneinheiten von ihrem nächsten gleichfarbigen Nachbarn entfernt sind, ist die Auflösung der Rot- und Blau-Ebene dabei allerdings um etwa zehn Prozent reduziert, paradoxerweise aber auch die grüne Auflösung. 

Durch Vergleich der beiden Filter fällt auf das sich die Abfolge der roten und blauen Pixel stark unterscheiden und das Grün zusammengezogen wird und somit eine Auflösungsreduzierung bewirkt. Eine Interpolation schließt zwar die Lücke, trägt aber nicht zur Vergrößerung der Information bei. Siehe hierzu auch: https://de.wikipedia.org/wiki/Interpolation_(Fotografie)

Somit ergibt sich unterm Strich eine Reduzierung der realen Auflösung. Das Argument das durch die höhere ungleiche Verteilung der Farben eine Moireanfälligkeit reduziert wird ist gut erklärbar. Interpolationsverfahren dürfen nicht mit KI verwechselt werden. 

im übrigen gehe ich davon aus das Fuji sich bei der Entwicklung und der Interpretation des X-Trans Filters Gedanken gemacht hat und das Verfahren zur Interpretation des Farbbildes optimiert hat. Es ist anzunehmen das die Firmen die professionelle RAW Entwicklungsprogramme anbieten entsprechende Algorithmen von Fuji lizensiert haben. 

[Rico Pfirstinger]

vor 1 Minute schrieb UweHB:

Es ist anzunehmen das die Firmen die professionelle RAW Entwicklungsprogramme anbieten entsprechende Algorithmen von Fuji lizensiert haben. 

Der war gut!

[Rico Pfirstinger]

vor 4 Minuten schrieb UweHB:

Interpolationsverfahren dürfen nicht mit KI verwechselt werden. 

Es geht jetzt seit Tagen allerdings genau DARUM: nämlich um neue Interpolationsverfahren, die mit KI arbeiten – und welche Verbesserung das konkret gegenüber herkömmlichen Verfahren bringt.

[Rico Pfirstinger]

vor 6 Minuten schrieb UweHB:

Somit ergibt sich unterm Strich eine Reduzierung der realen Auflösung. 

Poste doch einfach mal ein paar Vergleiche, bei denen diese "unterm Strich reale Auflösungsreduktion" zu sehen ist. Das kann ja nicht so schwer sein, es gibt schließlich viele Kameras mit gleicher Pixelzahl und unterschiedlichen CFAs.

Das fing damals schon bei der X-A1 und X-M1 an, und schon damals konnte ich in ausführlichen Vergleichen (für die ich mehrere Tage unterwegs war) zeigen, dass die M1 feiner auflöst als die A1 – freilich auch damals nur mit einem optimierten Demosaicing (Iridient Developer). Das lag natürlich auch daran, dass die A1 einen Tiefpassfilter brauchte, sonst wäre das Moiré nicht aushaltbar gewesen.

[UweHB]

vor 2 Minuten schrieb Rico Pfirstinger:

Poste doch einfach mal ein paar Vergleiche, bei denen diese "unterm Strich reale Auflösungsreduktion" zu sehen ist. Das kann ja nicht so schwer sein, es gibt schließlich viele Kameras mit gleicher Pixelzahl und unterschiedlichen CFAs.

Das fing damals schon bei der X-A1 und X-M1 an, und schon damals konnte ich in ausführlichen Vergleichen (für die ich mehrere Tage unterwegs war) zeigen, dass die M1 feiner auflöst als die A1 – freilich auch damals nur mit einem optimierten Demosaicing (Iridient Developer). Das lag natürlich auch daran, dass die A1 einen Tiefpassfilter brauchte, sonst wäre das Moiré nicht aushaltbar gewesen.

Solche Vergleiche sind sinnlos, da immer nur Kamerasysteme verglichen werden können. Es gibt zu viele Faktoren die die Bildqualität beeinflussen. Hieraus auf die Unterschiede beim verwendeten Farbfilter zu schließen ist nicht möglich. Ich habe Vergleiche zwischen Fuji, Leica und Nikon angestellt und kann daraus nicht schließen welcher Bildsensor nun der bessere ist. Entscheidend sind die Objektive und die Aufnahmesituation. Deshalb nutze ich je nach Bedingung die eine oder andere Kamera. 

[UweHB]

vor 20 Minuten schrieb Rico Pfirstinger:

Es geht jetzt seit Tagen allerdings genau DARUM: nämlich um neue Interpolationsverfahren, die mit KI arbeiten – und welche Verbesserung das konkret gegenüber herkömmlichen Verfahren bringt.

Die Mathematik wird durch KI nicht besser und wird auch Pipi Langstrumpf nicht helfen. 

[Dein Support für das Forum]

Hat dir das Forum geholfen? So kannst du das Forum unterstützen!

Premium Mitglied werden | Spenden | Bei Amazon* oder eBay* kaufen
Software: Topaz* | DxO Nik Collection* | Skylum Luminar* (–10€ mit Gutschein FXF) | * Affiliate Links