Raw-Daten komprimieren

[mjh]

Werbung (verschwindet nach Registrierung)

Im DOCMA-Blog hat Chefredakteur Christoph Künne die Software Rawsie getestet (und mit dem Adobe DNG Converter verglichen), die Raw-Dateien ohne erkennbaren Qualitätsverlust noch einmal deutlich kleiner zu rechnen verspricht: https://www.docma.info/blog/rawsie-test-speicherplatz-sparen-ohne-qualitatsverluste

Ich habe dann an derselben Stelle noch einmal nachgelegt und die Grundlagen der (verlustfreien oder verlustbehafteten) Raw-Komprimierung in der Kamera und auf dem Computer erklärt: https://www.docma.info/blog/raw-daten-komprimieren-wie-funktioniert-das

[Sunhillow]

70% Einsparung ist nicht schlecht! 7zip schafft bei unkomprimierten RAF aus der X-E2s "nur" 40-50% und vor einer erneuten Verarbeitung müssen sie erst ausgepackt werden.

[RAWky]

Habe ich gerade gelesen und mal gleich ausprobiert, was mit den DNGs passiert.

Eine DNG-Datei von 63MB auf 6,1MB mit dem angesprochenen Adobe DNG Converter reduziert. Im ersten Moment ist in LrC kein Unterschied zu erkennen.
Man erkennt aber im Histogramm der DNGs, was passiert:

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

Originale DNG 63MB

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

"Komprimierte" (eher reduzierte!) DNG 6,1MB

 

Anmerkung: Ich hatte ein wenig Sorgen, ob die "Zacken/Lücken" in der Original DNG vom Speichern von komprimierten RAWs in der Kamera herrühren. Dem ist aber nicht so, die DNGs von (verlustfrei) komprimiert gespeicherten RAWs und von unkomprimiert gespeicherten RAWs sind identisch. 

bearbeitet 16. August 2021 von RAWky

[Sunhillow]

vor 36 Minuten schrieb RAWky:

Habe ich gerade gelesen und mal gleich ausprobiert, was mit den DNGs passiert.

Das sieht nach reduzierter Bittiefe aus. Auffallend ist, dass im dunklen Bereich der Linienabstand wächst.

Ähnliches gab es früher mal bei DAT im Longplay-Modus: 32 kHz mit 12 bit logarithmisch statt 48 kHz mit 16 bit linear. 

 

[mjh]

vor 2 Stunden schrieb Sunhillow:

Das sieht nach reduzierter Bittiefe aus. Auffallend ist, dass im dunklen Bereich der Linienabstand wächst.

Tatsächlich ist der Unterschied in dieser komprimierten Version bereits verringert; in den vom Sensor gelieferten Rohdaten ist der Unterschied zwischen den Tonwertdifferenzierungen in den Schatten und Lichtern noch größer. Die Tonwertkomprimierung reduziert ihn immerhin – es werden mehr Tonwerte in den Lichtern als in den Schatten weggelassen.

[RAWky]

Da habe ich Verständnisprobleme:

vor 1 Stunde schrieb mjh:

Tatsächlich ist der Unterschied in dieser komprimierten Version bereits verringert

Bezieht sich das "in dieser" auf die Art und Weise der Datenreduzierung? Ich hatte "Verlustreiche Komprimierung mit Beibehaltung der Anzahl der Bildpixel" gewählt. In welcher Version ist der Unterschied denn nicht verringert?

vor 1 Stunde schrieb mjh:

in den vom Sensor gelieferten Rohdaten ist der Unterschied zwischen den Tonwertdifferenzierungen in den Schatten und Lichtern noch größer.

Ist das nicht die RAF-Datei, respektive die fette DNG, in der die "vom Sensor gelieferten Rohdaten" enthalten sind. An andere Daten (Netto-Auslesedaten u.ä.) kommt man (ich zumindest) ja nicht dran - und würden die überhaupt interessant sein?

bearbeitet 16. August 2021 von RAWky

[Sunhillow]

Werbung (verschwindet nach Registrierung)

vor 44 Minuten schrieb RAWky:

Ist das nicht die RAF-Datei, respektive die fette DNG, in der die "vom Sensor gelieferten Rohdaten" enthalten sind

Das DNG ist das Produkt eines Demosaicing-Prozesses. Das heißt, für jedes Pixel sind bereits alle drei Farbkanäle berechnet worden.
 

Ich glaube, mit "Unterschied" meint @mjh den unterschiedlichen Linienabstand bei Lichtern und Schatten. Die EV-Skala ist ja logarithmisch

 

[mjh]

vor einer Stunde schrieb RAWky:

Bezieht sich das "in dieser" auf die Art und Weise der Datenreduzierung? Ich hatte "Verlustreiche Komprimierung mit Beibehaltung der Anzahl der Bildpixel" gewählt. In welcher Version ist der Unterschied denn nicht verringert?

Nur in der unkomprimierten oder verlustfrei komprimierten Version.

Wenn wir mal der Einfachheit halber davon ausgehen, dass der Sensor perfekt linear arbeitet (kleine Abweichungen von der Linearität gibt es, aber sie sind gering), dann entfallen von den 16384 Tonwerten, die sich mit 14 Bit digitalisieren lassen, die Hälfte auf die oberste Blendenstufe des Dynamikumfangs, ein Viertel auf die zweite und so weiter:

1: 8192
2: 4096
3: 2048
4: 1024
5: 512
6: 256
7: 128
8: 64
9: 32
10: 16
11: 8
12: 4
13: 2
14: 1

Da siehst Du, wie viel gröber die Tonwertdifferenzierung in den Schatten tatsächlich ist. Wenn man einen großen Teil der Tonwertdifferenzierung in den Lichtern weglässt, die in den Schatten aber weitgehend beibehält, macht das im Endeffekt kaum einen sichtbaren Unterschied, aber die Dateien werden kleiner

bearbeitet 16. August 2021 von mjh

[RAWky]

vor 24 Minuten schrieb Sunhillow:

Das DNG ist das Produkt eines Demosaicing-Prozesses. Das heißt, für jedes Pixel sind bereits alle drei Farbkanäle berechnet worden.

Das kann man so nicht sagen:

Hallo, lieber Besucher! Als Forumsmitglied (kostet nix) würdest du hier ein Bild sehen…

Einfach hier registrieren – Wir freuen uns immer über neue Mitglieder!

Blick in die DNG mit den reinen Grauwerten (man erkennt die X-Trans-Matrix)

[RAWky]

vor 39 Minuten schrieb mjh:

Da siehst Du, wie viel gröber die Tonwertdifferenzierung in den Schatten tatsächlich ist.

Schon klar. Wahrscheinlich gibt es erst rund um 2^5 sichtbare nicht-schwarze Schatten auf einem Bild. Bei 14bit also maximal rund 8-9 EV "Kontrast" im (unentwickelten) Datensatz.

[mjh]

vor 4 Minuten schrieb RAWky:

Schon klar. Wahrscheinlich gibt es erst rund um 2^5 sichtbare nicht-schwarze Schatten auf einem Bild. Bei 14bit also maximal rund 8-9 EV "Kontrast" im (unentwickelten) Datensatz.

Man kann die Schatten ja anheben, und tut das auch oft. Insofern sind die untersten Blendenstufen schon nicht ganz unwichtig.

Man sieht hier auch, warum „Expose To The Right“ so eine gute Idee ist. Allein aus den Tonwerten innerhalb einer (!) Blendenstufe in den Lichtern ließe sich noch ein kontrastreiches Bild ohne Tonwertabrisse zaubern (wenngleich das selten nützlich wäre).

[mjh]

vor 28 Minuten schrieb RAWky:

Das kann man so nicht sagen:

Doch, doch, die verlustbehaftete Kompression (Adobe würde „verlustreich“ sagen) erfolgt erst nach dem Demosaicing. Aber der größte Teil der Entwicklung steht dann noch aus; die Bilddaten sind immer noch ziemlich roh. Die Tonwerte werden zunächst nicht auf einen ansprechenden oder überhaupt nur gut ansehbaren Bildeindruck hin optimiert, sondern darauf, mit nur acht Bits pro Farbkanal die wichtigsten Tonwertdifferenzierungen für eine spätere Entwicklung zu bewahren.

[Sunhillow]

vor 39 Minuten schrieb RAWky:

Das kann man so nicht sagen

Danke! Ist das das große DNG vor der Komprimierung?

[RAWky]

vor 37 Minuten schrieb Sunhillow:

Ist das das große DNG vor der Komprimierung?

Ja.

[Dein Support für das Forum]

Hat dir das Forum geholfen? So kannst du das Forum unterstützen!

Premium Mitglied werden | Spenden | Bei Amazon* oder eBay* kaufen
Software: Topaz* | DxO Nik Collection* | Skylum Luminar* (–10€ mit Gutschein FXF) | * Affiliate Links