fuji x secrets iPhone Secrets – So arbeiten moderne Smartphones

[Rico Pfirstinger]

Werbung (verschwindet nach Registrierung)

Nachdem ich neulich auf einige recht abenteuerliche Vorstellungen zur Arbeitsweise von iPhones im Speziellen und Smartphones im Allgemeinen gestoßen bin, ist es vielleicht eine ganz gute Idee, einmal die Grundlagen zu beleuchten. Schließlich kommt das alles wohl in absehbarer Zeit auch in "normale" Kameras mit größeren Sensoren.

Schauen wir uns einen Schnappschuss an, den ich heute beim Gassigehen gemacht habe:

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

So präsentiert sich das Bild nach dem Export als sRGB JPEG aus Apple Fotos ohne irgendeine weitere Bearbeitung, egal ob direkt aus dem iPhone, einem iPad oder einem Mac exportiert wird. 

Man muss hier bereits beachten, dass dieses Bild anders aussieht, wenn man es in Apple Fotos auf einem modernen Apple-Gerät betrachtet. In Apple Fotos wird nämlich der erweiterte Dynamikumfang solcher Displays berücksichtigt, und zwar auch dann, wenn man in den Einstellungen die HDR-Option nicht(!) anklickt.

Es darf also nicht verwundern, wenn das exportierte JPEG am Ende flacher und unbunter aussieht als das, was man bei der Bearbeitung in Apple Fotos noch auf dem Bildschirm gesehen hat – egal ob auf dem iPhone, einem iPad oder einem Mac. 

Bei der Erzeugung von JPEGs ist es übrigens egal, ob man mit HEIF oder ProRAW fotografiert. Bei ProRAW wird das HEIF/JPEG einfach erst in Apple Fotos aus dem linearen DNG erzeugt, sieht dann im Ergebnis aber genauso aus wie ein HEIF/JPEG direkt aus der Kamera.

Die allermeisten User stellen das Phone nicht auf ProRAW ein, sondern fotografieren mit HEIF.

[Rico Pfirstinger]

Wenn wir das ProRAW dieses Bildes nun nicht in Apple Fotos, sondern in Adobe Lightroom importieren und entwickeln (ohne weitere Bearbeitung, also mit den Standardeinstellungen) und dann als JPEG exportieren, sieht das Ganze so aus:

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

Es gibt hier praktisch keinen Unterschied zum ersten JPEG. Das heißt, Lightroom hat von Apple die "Secret Sauce" bekommen sodass ein ProRAW in Lightroom nach dem Import und direkten Export als JPEG praktisch zu 99% so aussieht wie ein "unbearbeitetes" JPEG direkt aus dem iPhone (also aus Apple Fotos).

Ähnlich wie in Apple Fotos kann man das Ausmaß der Anwendung der "Secret Sauce" auch in Lightroom steuern, und zwar mit einem Regler neben dem Profilnamen. Die Standardeinstellung ist 100%, man kann frei zwischen 0% und 200% wählen.

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

[Rico Pfirstinger]

Was passiert, wenn man den Regler nun auf 0% stellt?

Das passiert:

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

Hier sehen wir das Bild ohne die "geheime" Tonwertkorrektur, also das tatsächliche Farbprofil und die tatsächliche Belichtung. Wir sehen, dass Apple exakt so belichtet wie es technisch korrekt ist, also auf die bildwichtigen Lichter. Was bildwichtig ist, entscheidet dabei die Kamera (KI), und in diesem Beispiel hat die Kamera offensichtlich recht sauber auf die hellen Stellen in den Wolken belichtet.

Würde die Kamera dabei nur ein einziges Foto mit dieser Belichtung machen, wäre das Ergebnis natürlich ein Rauschfest voller Tonwertabrisse. Selbst mit einem APS-C-Sensor dürfte es schwierig sein, aus so einem RAW ohne Hilfsmittel wie KI-Entrauschen ein halbwegs sauberes Bild zu generieren. Smartphones lösen das Problem bekanntlich mit Multishot, machen also zusätzlich zu diesem Bild hier noch weitere mit längerer Belichtung und verrechnen diese Bilder dann. Also nichts anderes als HDR bzw. das, was Adobe als HDR-DNG erzeugt. Ein ProRAW ist also einfach eine Art HDR-DNG aus mehreren Bildern, wobei die Verrechnung bei Apple natürlich smarter erfolgt, um Bewegungsartefakte oder Verwacklungsartefakte zu vermeiden. Schließlich muss das auch funktionieren, wenn sich das Motiv schnell bewegt oder wenn der Fotograf das Phone nicht ruhig hält oder sich selbst schnell bewegt, während er das Foto macht. 

bearbeitet 30. Dezember 2023 von Rico Pfirstinger

[Rico Pfirstinger]

Da Apple in jedes RAW das eigene Farbprofil ablegt, kann man dieses auch in Lightroom auswählen. Es nennt sich Apple Embedded Color Profile, und damit sieht das Bild nach dem Import ohne weitere Bearbeitung exakt so aus wie mit dem ProRAW-Profil und 0% "Secret Sauce":

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

[Rico Pfirstinger]

Wenn man bei solchen Bildern also auf das Apple-Profil verzichten möchte, um stattdessen Profile von Adobe oder anderen Anbietern zu verwenden, muss man einige Regler pushen. 

Wählen wir beispielsweise nach dem Import das Standardprofil "Adobe Farbe", sieht das Bild erst einmal so aus:

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

Hier steht der Regler mit der "Secret Sauce" natürlich nicht mehr zur Verfügung, wir müssen die Tonwertkorrektur also in Lightroom selbst vornehmen. Dazu pushen wir eine Menge Regler, so wie wir das auch mit einem RAF oder HDR-DNG machen würden. Kein Unterschied.

In diesem Fall bekam ich mit Adobe Farbe rasch dieses Ergebnis:

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

Wie man sieht, unterscheidet es sich nicht gravierend von dem, was das iPhone automatisch aus den Rohdaten zaubert. Die Secret Sauce ist nunmal kein Hexenwerk, sondern einfach smartes Tone Mapping, das jeder halbwegs kompetente Foto-Hobbyist in Programmen wie Lightroom oder Capture One auch manuell erzeugen kann. Ist halt nur mehr Arbeit, weil man 5-10 Regler bedienen muss. Das Smartphone macht es automatisch, deshalb finden es die "normalen" User ja auch so praktisch.

bearbeitet 29. Dezember 2023 von Rico Pfirstinger

[Rico Pfirstinger]

Wenn man aber schon selber Regler pusht, dann kann man das auch mit spannenderen Farbprofilen machen. Hier habe ich das ProRAW mit einem Kodachrome-Profil von RNI etwas aufwändiger bearbeitet:

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

 

[Rico Pfirstinger]

Werbung (verschwindet nach Registrierung)

Apple muss überhaupt nichts über die grundsätzliche Funktionsweise ihrer iPhone-Kameras verraten, da man dies innerhalb einer halben Stunde jederzeit selbst via "reverse engineering" herausfinden kann.

Folgendes kann man lernen:

• Die Kamera macht bei einem Foto mehr als ein Bild (Multishot) und verrechnet diese zu einem linearen DNG, das Apple ProRAW nennt.
• Das ProRAW wird in der Kamera oder in Apple Fotos zu einem HEIF/JPEG entwickelt, und zwar offenbar mit einem sehr kontrastreichen Farbprofil, auf das eine ziemlich brutale adaptive Tonwerkkorrektur (Tone Mapping) angewendet wird. Dunkle Bereiche werden dabei massiv aufgehellt.
• Apple und Adobe arbeiten eng zusammen, sodass Adobe nicht nur das Farbprofil, sondern auch die Formel für das Tone Mapping bekommen hat. Lightroom kann das Tone Mapping damit praktisch genauso anwenden kann wie Apple selbst im iPhone bzw. in Apple Fotos. Apples "Secret Sauce" ist also Teil von Lightroom.

Für den Benutzer hat das den großen Vorteil, dass man ProRAWs anstatt in Apple Fotos genauso in Lightroom bearbeiten kann, ohne dass sich Farben und Kontraste ändern. In LR hat man dann natürlich viel mehr Möglichkeiten als in Apple Fotos.

bearbeitet 29. Dezember 2023 von Rico Pfirstinger

[Captcha]

Vielen Dank! 

Ich finde das sehr aufschlussreich und spannend! 

😃👍

[Tommy43]

Danke für die Info! Ich selbst habe das IPhone 11Pro. Da ist leider noch nix mit ProRaw, sondern nur HEIF oder JPG. ProRaw kann man glaube ich für die Kamera App erst ab IPhone 12 aktivieren. Allerdings funktionieren im IPhone 11 Pro RAW bzw. DNG, wenn man statt der Kamera App eine externe App nimmt, die RAW kann. Das finde ich extrem seltsam, dass es mit der hauseigenen App nicht geht, mit externen aber schon. Bei mir sind das ProCamera, eine App, die sehr viele Einstellmöglichkeiten bietet und LR. Letzteres mit weniger Schicki Micki beim Fotografieren aber dem Pfund der gewohnten Bearbeitung.

[mjh]

vor einer Stunde schrieb Tommy43:

Allerdings funktionieren im IPhone 11 Pro RAW bzw. DNG, wenn man statt der Kamera App eine externe App nimmt, die RAW kann.

Das ist allerdings etwas anderes, auch wenn beide technisch gesehen DNG-Dateien sind. Apples ProRAW-Format ist ein lineares DNG, das demosaicte RGB-Daten mit 12 Bit pro RGB-Kanal enthält. Ein DNG, das Apps von Drittanbietern speichern, enthält nicht-demosaicte Pixeldaten mit 16 Bit, wobei tatsächlich 12 Bit pro Pixel gespeichert werden. In der einen Datei ist Apples „Secret Sauce“ (wie von Rico erwähnt) mit drin, in der anderen meines Wissens nicht.

[Rico Pfirstinger]

vor 10 Stunden schrieb mjh:

In der einen Datei ist Apples „Secret Sauce“ (wie von Rico erwähnt) mit drin, in der anderen meines Wissens nicht.

Das Hauptproblem beim normalen DNG ist, dass es sich eben nur um ein einziges DNG handelt. Also eine ähnliche Situation wie bei HDR-RAF, wo LR und C1 auch nur eine einzige der drei unterschiedlich belichteten RAF-Dateien verarbeiten können. 

Ich vermute mal ohne weitere Prüfung, dass beim iPhone jeweils das am knappsten belichtete DNG aus der Multishot-Reihe bereitgestellt wird, aber letztlich ist das im Detail gar nicht so wichtig, denn so oder so fehlt dann an irgendeinem Ende der Dynamikumfang. Man hat also bei kontrastreichen Motiven entweder ausgefressene Lichter oder ein Rauschfest in den Schatten. Der Smartphone-Sensor ist für Single-Shot-ETTR bei den meisten Motiven einfach zu klein, wir haben in der Praxis ja oft Situationen, in denen selbst ein GFX-Sensor bei Single Shot an seine Grenzen stößt.

Situationen wie "urbane Nachtaufnahmen aus der Hand" sind per se nur mit Multishot-Verfahren lösbar, gekoppelt an eine sehr aufwändige Verrechnung, für die spezielle Prozessoren und komplexe Software benötigt werden, wie man sie in aktuellen Smartphones findet. 

Da solche Smartphones das Ergebnis meist schon vor der Aufnahme als WYSIWYG-Vorschau anzeigen, knipsen unbedarfte Benutzer munter drauflos und merken dabei oft gar nicht, welche "unmöglichen" Situationen (Gegenlicht, Kontrastumfang) sie da eigentlich fotografieren. Kaum jemand achtet auf den Lichteinfall, den Schattenwurf, den Kontrastumfang. Man hält einfach drauf. Dadurch erziehen Smartphones in gewisser Weise zu handwerklich immer schlechteren Bildern, da selbst die absurdesten Setups oft noch ganz brauchbare Ergebnisse liefern, jedenfalls solange man keine nennenswerten Qualitätsansprüche hat.

Lineare ProRAWs sind aber natürlich auch nicht perfekt, da hier das Demosaicing und insbesondere die Rauschunterdrückung schon eingebacken sind. Das sieht man auch ganz gut bei diesem Beispiel, wo die dunkelsten Bereiche im schwarzen Pferd plötzlich strukturlos glattgebügelt sind. Die längste Belichtung aus dem Multishot war dem iPhone offenbar nicht clean genug, deshalb wurde in den dunkelsten Bereichen das Rauschen zusammen mit allen Details glattgebügelt. Dagegen kann man auch nachträglich nichts machen, weil die einzelnen Multishot DNGs im iPhone gelöscht werden. Lediglich ein einziges nicht-lineares DNG aus der Reihe steht auf Wunsch weiterhin für Drittanbietersoftware zur Verfügung.

Auch das lineare ProRAW wird normalerweise nach der Bearbeitung zum HEIF gelöscht, schließlich hat so ein lineares DNG bei einem aktuellen iPhone mit 48 MP mehr als 70 MB, also mehr als ein RAF aus einer GFX50. Nach gerade einmal 100 schnellen Schnappschüssen hat man somit bereits gut 7 GB Speicher belegt, die dann auch noch in die iCloud transferiert werden müssen, damit die Bilder auf allen Geräten zur Verfügung stehen. Bei dem obigen schnellen Shooting habe ich innerhalb von ca. 2 Minuten mal eben 49 Momentaufnahmen gemacht. Deshalb gibt es in der Kamera-App auch die Option, Aufnahmen als lineare DNGs mit nur 12 MP zu speichern, also das berühmte 4-fache Oversampling, das wir hier im Forum seit einigen Jahren immer wieder bemühen. Bei Apple kennt das natürlich auch und arbeitet entsprechend.

bearbeitet 30. Dezember 2023 von Rico Pfirstinger

[mjh]

vor 12 Stunden schrieb Rico Pfirstinger:

Lineare ProRAWs sind aber natürlich auch nicht perfekt, da hier das Demosaicing und insbesondere die Rauschunterdrückung schon eingebacken sind. Das sieht man auch ganz gut bei diesem Beispiel, wo die dunkelsten Bereiche im schwarzen Pferd plötzlich strukturlos glattgebügelt sind. Die längste Belichtung aus dem Multishot war dem iPhone offenbar nicht clean genug, deshalb wurde in den dunkelsten Bereichen das Rauschen zusammen mit allen Details glattgebügelt. Dagegen kann man auch nachträglich nichts machen, weil die einzelnen Multishot DNGs im iPhone gelöscht werden. Lediglich ein einziges nicht-lineares DNG aus der Reihe steht auf Wunsch weiterhin für Drittanbietersoftware zur Verfügung.

Ja, wenn man mehrere Aufnahmen verrechnen will, geht das kaum ohne vorheriges Demosaicing, und danach bekommt man die Zahnpasta nicht mehr zurück in die Tube. Ob sich Apples Algorithmen auch darauf verlassen, dass das Rauschen in den zu verrechnenden Bildern bereits unterdrückt ist, weiß ich nicht, halte es aber für denkbar. Daher geht man auch mit ProRAW Kompromisse ein, aber insgesamt ist es wohl die bessere Wahl.

Die DNG-Dateien von Drittanbieter-Apps fand ich in der Praxis enttäuschend, weil ich damit oft nicht die Ergebnisse bekam, wie sie das iPhone ohne weiteres Zutun als JPEG oder HEIF lieferte. Mit ProRaw ist es wieder so, wie man es von einer „richtigen“ Kamera gewohnt ist: Aus der Raw-Datei kann man etwas entwickeln, das dem ooc-JPEG gleich kommt, hat aber noch mehr Flexibilität in den Fällen, in denen man sie braucht.

[fujirai]

vor 23 Stunden schrieb Rico Pfirstinger:

Schließlich kommt das alles wohl in absehbarer Zeit auch in "normale" Kameras mit größeren Sensoren.

Wenn die Kamera dafür wie Du schreibst immer mehrere Aufnahmen macht, dann wäre die Voraussetzung bei normalen Kameras ein global shutter, oder? Mit mechanischem Verschluss kann man das ja nicht "unbemerkt" erledigen.

[Rico Pfirstinger]

Ein GS ist natürlich immer das Optimum in Sachen Rolling Shutter, aber ein schneller ES wie in der X-H2S reicht selbstverständlich auch. Wir haben das ja auch schon im APS-C-Format-Thread ausführlicher besprochen. Diese Überlegungen gelten weiterhin, deshalb sollte man APS-C und auch MFT nicht abschreiben, ganz im Gegenteil.

Das Faszinierende an den ständigen Formatdiskussionen in den Foren und sozialen Medien ("Vollformat") ist ja, dass sie sich inhaltlich nicht weiterentwickeln, sondern ihre Unterkomplexität seit mehr als 10 Jahren konsequent beibehalten. Die Existenz von Smartphones und der darin eingesetzten Technologien wird einfach ignoriert.

Nun kann man natürlich darüber streiten, inwieweit es sinnvoll ist, Multishot-Technologie in Kameras mit sehr großen Sensoren zu integrieren, insbesondere KB und MF. Gut möglich also, dass diese großen Formate künftig noch exotischer werden – in dem Sinne, dass sie noch mehr für einen (professionellen) Puristenmarkt gedacht sind als heute schon. Eben für Anwendungsbereiche, wo Single Shot wichtig und sinnvoll ist. 

Dass Multishot bei kleineren Sensoren immer mehr zum Einsatz kommen wird, ist aber eigentlich unvermeidbar. Das kommt ja alleine schon daher, dass die Sensoren in den Smartphones immer größer werden, die 1"-Marke wurde dort bereits vielfach gerissen, siehe https://en.wikipedia.org/wiki/List_of_large_sensor_camera_phones 

Das Ganze nähert sich also von zwei Seiten an, und der Schritt von 1" zu MFT ist nicht sehr groß. Siehe https://de.wikipedia.org/wiki/Formatfaktor

Zum Vergleich: Die X10, X20, X30 hatten mit nur 2/3" deutlich kleinere Sensoren als die 1"-Kameras. 

bearbeitet 31. Dezember 2023 von Rico Pfirstinger

[parkplatzmann]

Sehr spannender Beitrag, vielen Dank!

[Tommy43]

vor 4 Stunden schrieb Rico Pfirstinger:

Die Existenz von Smartphones und der darin eingesetzten Technologien wird einfach ignoriert.

Wenn man das bestehende Line-Up bei Fujifilm APS-C betrachtet, müsste dann doch die H2s mit dem Stacked Sensor die brauchbarste Kamera sein, um ihr Smartphonefunktionen per Firmware zu geben? 

[Tommy43]

vor 14 Stunden schrieb mjh:

Mit ProRaw ist es wieder so, wie man es von einer „richtigen“ Kamera gewohnt ist

Ok, das heißt dann für mich leider auch, dass ich für ProRaw irgendwann doch mein gebraucht gekauftes IPhone 11 Pro  auf ein neueres Modell upgraden müsste 😏. Das kann noch kein ProRaw, aber taugt mir von den sonstigen Fähigkeiten eigentlich noch für mehrere Jahre. Sehe ich aber noch nicht, brauche meine IPhones gerne über mehrere Jahre auf, sind ja keine Schnäppchen die Teile.

[Rico Pfirstinger]

vor 16 Minuten schrieb Tommy43:

Wenn man das bestehende Line-Up bei Fujifilm APS-C betrachtet, müsste dann doch die H2s mit dem Stacked Sensor die brauchbarste Kamera sein, um ihr Smartphonefunktionen per Firmware zu geben? 

Ja klar, da fehlen nur noch die speziellen Verrechnungsalgos von Apple oder Google. Ob der Prozessor das auch bereits packt, ist indes fraglich, den müsste man also evtl. auch noch anpassen.

[Tommy43]

Ok, das heißt dann wohl, wir müssen warten, bis der Stacked Sensor auch in einer Consumerkamera wie der T6s o.ä. verbaut wird nebst entsprechend potentem Prozessor. Ich denke, die Firma, die das als Erste einigermaßen preiswert umsetzen wird, wird den DSLM-Markt nochmal kräftig aufmischen. Das Ganze verbunden mit dem KnowHow bzgl. Filmsimulationen könnte für Fujifilm gut passen.

[lichtschacht]

Olympus hat ja schon (ein bisschen) angefangen.

Den "virtuellen" ND Filter hätte ich gerne.

[Rico Pfirstinger]

vor 41 Minuten schrieb Tommy43:

Ok, das heißt dann wohl, wir müssen warten, bis der Stacked Sensor auch in einer Consumerkamera wie der T6s o.ä. verbaut wird nebst entsprechend potentem Prozessor. Ich denke, die Firma, die das als Erste einigermaßen preiswert umsetzen wird, wird den DSLM-Markt nochmal kräftig aufmischen. Das Ganze verbunden mit dem KnowHow bzgl. Filmsimulationen könnte für Fujifilm gut passen.

Wir werden sehen, was zuerst kommt: Ein Phone mit MFT-Sensor oder eine MFT-Kamera mit Google-Bildverarbeitung.

[Tommy43]

vor 2 Minuten schrieb Rico Pfirstinger:

Ein Phone mit MFT-Sensor

Smartphones stoßen bei der Nutzung von 1Zoll-Sensoren ja auch heute schon an (bauliche) Grenzen. Wenn ich das richtig wahrgenommen habe, wird deren Fläche nicht bei jedem Handy überhaupt genutzt, auch wenn er verbaut ist und damit geworben wird. Das wird mit mFT Sensoren sicher nicht einfacher.  https://www.connect.de/news/smartphone-geruechte-groessere-kamera-sensoren-3203611.html. Die Kamerabuckel sind ja heute schon eher grenzwertig.

[mjh]

vor 1 Stunde schrieb lichtschacht:

Olympus hat ja schon (ein bisschen) angefangen.

Den "virtuellen" ND Filter hätte ich gerne.

Sigma macht das auch schon, auch mit Rolling Shutter. So werden einstellige ISO-Werte möglich.

[mjh]

vor 1 Stunde schrieb Tommy43:

Ok, das heißt dann wohl, wir müssen warten, bis der Stacked Sensor auch in einer Consumerkamera wie der T6s o.ä. verbaut wird nebst entsprechend potentem Prozessor.

So etwas wird wohl eher nicht kommen; erst mit zukünftigen Sensoren mag das anders aussehen. Der Sensor der X-H2S ist ja nur ein Zwischenschritt. Ich baue da auf die nächste Hardwaregeneration, und bis dahin wird noch einige Zeit vergehen.

[Ergebnis]

Wenn man diese „fürsorglichen“ Veränderung der eigenen Fotos nicht mag, trotzdem aber eine RAW-Datei haben möchte: Spricht etwas dagegen, mittels Adobe LR mobile ein DNG aufzunehmen und das dann so weiterzubearbeiten, wie man es mit den RAFs der Kamera auch macht.

[Dein Support für das Forum]

Hat dir das Forum geholfen? So kannst du das Forum unterstützen!

Premium Mitglied werden | Spenden | Bei Amazon* oder eBay* kaufen
Software: Topaz* | DxO Nik Collection* | Skylum Luminar* (–10€ mit Gutschein FXF) | * Affiliate Links