『ＲＡＷファイルのデータ構造について』のクチコミ掲示板

[Green5026]

５Ｄ使いではありませんが、いつも書き込みを参考に勉強させていただいている「ソニータムロンコニカミノルタさん」「kuma_san_A1 さん」に見ていただきたいのでこの板に書き込みます。
もちろん興味のある方には参考になる情報だと思います。

これまでもRAWデータについていろいろな議論が交わされていますが、データ構造やデータの処理システムについて、すっきり理解できる書き込みがなかったように思います。

下記のＨＰを、ＲＡＷの情報を検索する中で見つけました。

http://www.j-tokkyo.com/2006/H04N/JP2006-287588.shtml

【出願人】 【氏名又は名称】キヤノン株式会社
【出願日】 平成１７年３月３１日（２００５．３．３１）
【発明の名称】 画像処理装置、画像処理方法、データファイル構造、コンピュータプログラム及び記憶媒体

出願時期と内容からDIGIC�Vの基本特許のようです。

RAWのデータファイル構造に関する説明でこれまでの疑問が氷解しました。

RAWファイル（キヤノンの場合*.CR2ファイル）の構造は以下のとおりです。

１．ヘッダ部（Exifデータなどのメタデータが含まれる）
２．サムネイル画像部（jpeg）
３．JPEG画像部（カメラでの設定ＷＢやピクチャースタイルなどを反映したもの）
４．RAWヘッダ部
５．RAWデータ部

これまでは３．jpeg画像は、再生用のjpeg画像（高圧縮）を別に生成して組み込んでいたものを、jpegのＬファインの画像にしたところが発明の肝のようです。
背面液晶で見ているのは、サムネイルか、拡大表示の場合はjpeg画像なわけです。

また、jpegファイルだけを記録する場合は、生成したjpeg画像を指定サイズ・画質に圧縮し、上記CR2ファイルからRAWに関するデータを除いたものに、jpegの拡張子を付けて書き込んでいるようです。（これは私の推測）

最近の40D板の書き込みでも、jpeg変換してから印刷するか、RAW現像後直接印刷するかのスレッドがありましたが、どちらにしてもjpeg画像データをプリンターに送り込んでいることを明快に説明された方がいませんでした。これで皆さん納得できるでしょう。

DPPの現像処理結果の保存も、CR2ファイル内のカメラ現像のjpeg画像を、現像の結果生成されるjpeg画像で書き換えています。

このほかカメラの中で、RAWデータがどんな順番で処理されて、画像データを生成し、記録しているかがよくわかる内容ですので、興味のある方はご覧になってください。
残念ながら、添付の図は見れませんので、理解に時間がかかりましたが。

書込番号：7776632

[ソニータムロンコニカミノルタ]

Green5026さん
こんばんは。

ご指名ありがとうございます（笑）
初めに、私は写真カメラは趣味でやっているので、デジタルカメラの専門家ではないということを改めて言っておきたいと思います。
ただ、私の本職がデジタルカメラを理解するにはとても適した環境であるということです。

一つ引っかかったのが、印刷するためには必ずJPEGを経由しなければならないような意味に取れたことです。
私は少しでも画質劣化を避けるために、RAW現像は16bitのTIFFで保存しています。
必ずJPEGが必要というわけではありません。

書込番号：7776819

[kuma_san_A1]

お呼びがかかったので(ちなみにカメラ板全体を閲覧していますので、どこのカテゴリーでも問題ありません)。

閲覧及び拡大表示用に埋め込まれたJPEGが利用されていると理解しています。
印刷時にこれを利用しているアプリケーションがあるかもしれませんが、それはRAWから(RGB画像に展開して)印刷するというフローではないので、ちょっと違うと思います。
キヤノンに限らず、最近は大きなサイズのJPEGが埋め込まれていて、フォトストレージや、高速閲覧を売りにしているアプリケーションが利用しているようです。
わたしの理解が違った場合はごめんなさいです。

書込番号：7776866

[OhYeah!]

>jpeg画像データをプリンターに送り込んでいることを明快に説明された方がいませんでした。
　現像ソフトでは普通そんなことはしません。というか、何のために現像するのか、意味が無くなります。
　それと、Windows にしても MacOS にしても、画像データをデバイスに出力するときは JPEG のような汎用フォーマットではなく、OS 固有の専用フォーマットを使用します。ダイレクトプリントや PictBridge は別として、PC 接続の場合、ディスプレイやプリンタは JPEG データを直接ハンドリングすることはできませんので、JPEG データを直接転送しても正常な出力は不可能です。

　たとえば、Windows の場合、JPEG でも TIFF でも RAW でも、最終的には Windows DIB という Windows に固有の出力デバイスに依存しないビットマップフォーマットに変換された状態で画像データを保持します。これを、ディスプレイやプリンタの解像度・色数に合わせたデバイス依存のビットマップフォーマットに変換して各デバイスに転送します。ファイルとして保存する場合は、Windows DIB フォーマットのデータを JPEG や TIFF の規格にあわせたデータに変換して保存します。

書込番号：7777017

[Green5026]

>ソニータムロンコニカミノルタさん

早々のレスありがとうございます。

＞一つ引っかかったのが、印刷するためには必ずJPEGを経由しなければならないような意味に取れたことです。

どちらにせよDPP現像時にも表示用にjpeg画像を生成しているので、それを印刷に利用していると解釈したのですが違いますでしょうか。
それとも途中で生成される（だろう）RGBデータで直接印刷しているのでしょうか。よく解りません。

>必ずJPEGが必要というわけではありません。

必要か不要ではなく、CR2ファイルにはjpeg画像が入っていることを確認したのです。TIFF保存の場合、RAWデータを画像化処理して直接TIFFにしているとは考えにくいのですが。キャッシュに保存されたJPEG画像（無圧縮＝画質10）をTIFFに変換していると考えたほうが納得しやすいのですが、違いますでしょうか。

書込番号：7777263

[くろちゃネコ]

RAWで印刷出来るプリンターがRAWに埋め込まれているJPEGを使っているかどうかはプリンターの作りによって変わると思いますよ。

キヤノン純正でRAWが読めるプリンターなら、私が作るならRAWヘッダとRAWデータを読み込んでプリンター内で適当なフォーマットにデコードかけて印刷するかなぁ。
プリンター内の処理エンジンが十分高速なら処理時間も問題ないでしょうし、もしサムネイルのJPEGでしか印刷出来ないとなるとこの特許出願以前のRAWは高圧縮のJPEGでしか印刷出来なくなりますからね。
もしそうだとするとわざわざRAWで印刷出来る意味合いが激減します。

書込番号：7777277

[Φοολ]

[7777263] Green5026さん曰く:
> 必要か不要ではなく、CR2ファイルにはjpeg画像が入っていることを確認したのです。
> TIFF保存の場合、RAWデータを画像化処理して直接TIFFにしているとは考えにくいのですが。

RAWの現像とはそもそも「画像化処理」をすることです。
現像ソフトがベイヤーセンサーのRAWデータを基にパソコンのメモリー内に生成する画像は基本的にはR、G、B三原色の非圧縮ビットマップです。

Green5026さんが奇妙に拘る非可逆圧縮（つまり情報を捨てた）されたJPEGみたいなデータフォーマットはRAW現像プロセスの末、ユーザーが選ぶ任意の「アウトプット」形式であり、現像の「インプット」データでは決してありません。

つまり、基本的にはRAW現像ソフトにはCR2ファイルに内蔵されたJPEGなんて全く必要無いということです。


> キャッシュに保存されたJPEG画像（無圧縮＝画質10）をTIFFに変換していると
> 考えたほうが納得しやすいのですが、違いますでしょうか。

TIFF及びJPEG等の汎用フォーマットの画像データは上記のR、G、B三原色の非圧縮ビットマップを基に作られます。
繰り返す様ですが、非可逆圧縮され、解像度、色空間、ダイナミックレンジ等のデータが一部失われたCR2ファイル内蔵のJPEGデータなぞ、RAW現像では利用する必要の無いものです。

書込番号：7777504

[mt_papa]

特許出願内容と、実際の製品で実現している処理が同じとは限りません。
簡単に言うと、特許は通常戦略的に（意図的に）実施していないことまで
書きます。これは１つのアイデアを膨らませて、権利範囲を広くすること
や、他社に似て非なる特許を出されないために、かなり広い範囲で記述
すると思われます。

書込番号：7777530

[OhYeah!]

>それとも途中で生成される（だろう）RGBデータで直接印刷しているのでしょうか。
　ということになります。正確には、デバイスに合わせてさらに変換作業が入りますが。

>TIFF保存の場合、RAWデータを画像化処理して直接TIFFにしているとは考えにくいのですが。
　そうしているはずですが、なんで考えにくいのでしょう？ JPEG はデジカメの標準フォーマットではありますが、PC の内部の画像フォーマットではありません(だから Windows では未だにアクティブデスクトップの手助け無しに JPEG を壁紙にさえできないのです)。このため、現像データを JPEG で保存しようが TIFF で保存しようが、それぞれの変換ルーチンさえあればプログラミングの手間は同じです。
　また、JPEG は最高画質で保存しても非可逆圧縮されるため、見た目に分かるかどうかは別として、必ずデータの劣化が発生します。さらに、JPEG は１ピクセル24ビットの色情報しか持ち得ません。RAW は 12bit/14bit x 3 の色情報を潜在的に持っており、現像ソフト内では１ピクセル 16bit x 3 で処理されます。TIFF なら 48bpp の画像データを可逆圧縮で劣化無く保存することが可能ですが、JPEG では不可能なので、おっしゃるように JPEG -> TIFF 変換をしているとすれば TIFF で保存するメリットは全くなくなります。というか、そもそも RAW 現像自体の意味がなくなってしまいます。

書込番号：7777626

[ソニータムロンコニカミノルタ]

端的に言えば、RAWに含まれるJPEG画像はプレビュー用の「しょぼい」画像でしかないのですから、印刷にはとても使える品質ではないということです。

書込番号：7778045

[Green5026]

書き込みいただいた皆様、ありがとうございました。
浅はかな理解でスレを立て、皆様にお手数をおかけしたことをお許しください。

以下の部分を撤回させて下さい。
--------------------------------
また、jpegファイルだけを記録する場合は、生成したjpeg画像を指定サイズ・画質に圧縮し、上記CR2ファイルからRAWに関するデータを除いたものに、jpegの拡張子を付けて書き込んでいるようです。（これは私の推測）

最近の40D板の書き込みでも、jpeg変換してから印刷するか、RAW現像後直接印刷するかのスレッドがありましたが、どちらにしてもjpeg画像データをプリンターに送り込んでいることを明快に説明された方がいませんでした。これで皆さん納得できるでしょう。

DPPの現像処理結果の保存も、CR2ファイル内のカメラ現像のjpeg画像を、現像の結果生成されるjpeg画像で書き換えています。
------------------------------

Φοολさんの説明が理解できていなかったために生じた誤解でした。

>現像ソフトがベイヤーセンサーのRAWデータを基にパソコンのメモリー内に生成
>する画像は基本的にはR、G、B三原色の非圧縮ビットマップです。

現像後、jpegなりTIFFなりに変換しないと「消えてしまうデータ（RGB三原色の非圧縮ビットマップ）」はRAW現像時にその都度、生成されるという理解でよいのでしょうか。

それにしても、なぜCR2ファイル（RAWファイル）にjpegデータ（Lファイン画質なみの4Mbもの大きさ）を持たせているのか、理由がまたわからなくなりました。カメラ内での画面表示用しか意味がなければ、ＰＣ用には、jpegデータを削除した「CR2改」ファイルにすれば、記録メディアの負担も減ると思われますが。

RAW現像プロセス（カメラ内、RAW現像ソフト）、jpeg、TIFFなどについてさらに勉強したいので良い参考書があればお教え下さい。
インプレスやソフトバンクの解説本は10冊以上読んでますが、体系的に勉強しなおしたいと思います。

改めて皆様のご指導に感謝します。ありがとうございました。

書込番号：7778676

[ソニータムロンコニカミノルタ]

>それにしても、なぜCR2ファイル（RAWファイル）にjpegデータ（Lファイン画質なみの4Mbもの大きさ）を持たせているのか、理由がまたわからなくなりました。カメラ内での画面表示用しか意味がなければ、ＰＣ用には、jpegデータを削除した「CR2改」ファイルにすれば、記録メディアの負担も減ると思われますが。

プレビュー用低画質のJPEGゆえに、そのJPEG自体のファイルサイズはせいぜい数十キロバイト程度と予想されます。
全体で10MB以上になるRAWからすれば大した負担ではないでしょう。

書込番号：7778868

[G55L]

12MBのCR2をJPEGサムネイル無しのDNGに変換したら7MBや8MBになりますよね。
4MBものデータってJPEG以外何なのでしょう・・・。

書込番号：7779007

[ソニータムロンコニカミノルタ]

G55Lさん

複雑な画像だとDNGにしても10MB以上になりますよ。
CR2はカメラ内で高速に生成する必要がありますので、そもそも圧縮率は高くないようです。

書込番号：7779068

[G55L]

ソニータムロンコニカミノルタさんいつもいつもいつもありがとうございます。m(_ _)m

可逆圧縮分もあるのですね。理解しました。

書込番号：7779159

[G55L]

Green5026さん

＞現像後、jpegなりTIFFなりに変換しないと「消えてしまうデータ（RGB三原色の非圧縮ビットマップ）」はRAW現像時にその都度、生成されるという理解でよいのでしょうか。

その都度生成されます。
TIFFは非圧縮なので良いとしてもJPEGは非可逆圧縮なので補正する度に劣化しますから、
その都度RAWデータから生成してもらわないとRAWで保存した意味が無くなってしまいます。

＞カメラ内での画面表示用しか意味がなければ

PC上のソフトでもRAWファイル内のJPEGをサムネイルを表示する物がありますよね。
サムネイル表示の為に毎回RAW現像を行われたら重くて大変です。

PCの処理能力が数十倍くらいになればRAWファイル内のJPEGは要らないかもしれませんけど
現状ではあってくれた方が良いです。

書込番号：7779243

[Green5026]

>>ソニータムロンコニカミノルタさん

残念ながら、特許公報を見ていただいてないようですね。

【0042】項に、800万画素のRAWファイルのデータ量が書かれています。

従来の方式でDCFデータとRAWデータの両方出力した場合に生成されるデータサイズは、
-----------------------------
１．DCFヘッダ部 約10KB
２．サムネイル用画像部 約10KB
３．JPEG画像部 約4Mb
４．再生用JPEG画像部 約2MB（JPEG画像の1/2として）
５．RAWデータ部 6MB
------------------------------
合計12MBがとなるが、
本特許では、再生用JPEG画像部 約2MBが不要になるので約10MBになる。
（わかりやすくするために文章の構成を変えていますが、内容は間違いないと思います）

以上から、メディアに記録される、jpegファイルは（１＋２＋３）約4MBとなり、CR2ファイルは（１＋２＋３＋５で）約10MBになる解釈しました。

「２．サムネイル用画像部（小さなJPEG（？）データ」でなく、
「３．JPEG画像部 約4Mb」のデータ量を保持する目的が分からないのです。

知識不足の誤読・誤解でしょうか。くどくて済みません。

書込番号：7779438

[kuma_san_A1]

＞「３．JPEG画像部 約4Mb」のデータ量を保持する目的が分からないのです。

http://bbs.kakaku.com/bbs/00500210882/SortID=7776632/#7776866

書込番号：7779455

[ソニータムロンコニカミノルタ]

>閲覧及び拡大表示用に埋め込まれたJPEGが利用されていると理解しています。

つまり液晶で拡大表示するためにカメラは自分で生成したRAWを読んでいるのではなく、埋め込まれたJPEGを見ているということになりますね。
これは始めて知りました。

液晶での拡大時はRAWから再生しているのかと思っていました。
RAWで撮るのにJPEGは必要としないのに、拡大表示は必要です。
痛し痒しというところですね。
撮影時は仕方ないですが、DNGで保存することの意味を見いだした思いです。

書込番号：7779592

[JbMsh]

CR2のファイルフォーマットとして(ヘッダ部に記載されるオフセットアドレス的に）
4MBを予約しているだけで、4MB使っているわけでは無いのでは無いでしょうか？
カメラ生成時のCR2ファイルが持っているのは2MBと予測される再生用jpegの部分では無いかと想像します。(0の羅列が4MBあり)

ファイルフォーマットとして4MB予約しておき、DPP等で一度みたら(ソフトによって
は取り込み時に)そこにPC再生用のjpegを持たせるという意味だと思います。
※特許そのものがどこまで網羅しているかとは別として。

ファイルフォーマットとして、予約域を4MBも取る必要があるのか疑問はありますが・・
オフセット位置を可変にすることで何か弊害があるのではないでしょうか？

想像の根拠は、
・カメラでの拡大表示で細部表現が4MBサイズのjpegとはとても思えないし、持って
いるのに2MBを使う理由が考えにくい
・FINALデータ等のサルベージソフトを使うとRAW内のjpegがファイルとして抽出され
ますが、これが小さなファイルだけ。
・EPSON P-2000で画像表示は凄く速いのに、拡大表示しようとすると、第一段階ですごく待たされる
・PhotoShopCS2のBridgeでRAWのプレビューサイズはとても小さくて拡大できない。
CS3では大きくすると小さな画像を引き伸ばしたような劣化した表示になる。
・純正ソフト(DPP)で未現像ファイルをはじめて100%表示したとき、
大きなjpegファイルがあるのなら、ひとまずそれを使い一瞬で表示させるのでは？
です。


実際にある程度ヘッダーを解析しましたが、jpegに関する記述は一ヶ所しかみつけられませんでしたので、
特許は特許、実際は実際なのかも知れませんね。

書込番号：7779766

[くろちゃネコ]

>それにしても、なぜCR2ファイル（RAWファイル）にjpegデータ（Lファイン画質なみの4Mbもの大きさ）を持たせているのか、理由がまたわからなくなりました。カメラ内での画面表示用しか意味がなければ、ＰＣ用には、jpegデータを削除した「CR2改」ファイルにすれば、記録メディアの負担も減ると思われますが。

わざわざRAWファイルにJPEGを埋め込んでいるのは、
　・高速に表示を出したい。
　・RAWを現像するソフトじゃ無くても写真は表示したい。
とかですかね。

メーカー独自フォーマットであるRAWデータを現像して表示するソフトを作るのは大変ですが、ファイルのヘッダーさえ読めればそこからJPEGを抜き出して表示する事はそれほど難しい事ではありません。

したがって、JPEGを埋め込んでおけば、たんに写真の表示が出来ればいいソフトでも割と簡単にRAWファイルの写真を閲覧する事が出来るようになりますね。

書込番号：7780246

[JbMsh]

CR2のヘッダ構造です。

ごらんのように、5D以降の機種はまんまTIFFヘッダー構造を採用しています。
実際の画像の開始位置を示すタグ(StripOfOffset)も2つ(JPEGと本体と思われます)
しかなく、JPEG関連タグは1セットしかありません。

メーカー独自タグ(UNKNOWN)に隠している可能性は無いことは無いですが、
TIFFの仕様で好きなようにjpegが入れられてるようになっているのに、わざわざ
独自タグで入れるとは考えにくいと私は考えます。

バイナリエディタで直接RAWファイルを見ても、BITMAPの塊かな？というのは
２つしかなく、やはり特許は単に特許なんじゃないでしょうか？

書込番号：7780388

[Green5026]

書き込みいただきました皆様、お読みいただいた皆様にお詫び申し上げます。

再度、特許公報を熟読いしたところ、この内容は商品化されていないことが確認できました。
この特許で処理した「RAWデータを含むDCFファイルは、
JPEGファイルとしての正当性を保ったままなのでＰＣ等で再生可能になる」
という表記を見落としていました。

現在のCR2ファイルは、対応ソフトでしか読めませんので、「この特許は製品に反映されていない」ことを理解しました。

また、RAWから生成される「RGB三原色の非圧縮ビットマップデータ」に関する直接的な記述がなく、
「RAWデータを処理した結果」という記述だったことから生じた
「JPEGデータからTIFFデータを生成するのでは？」とか
「JPEG画像データをプリンターに送り込んでいる」という珍説は、私の知識不足が原因です。

ただし、この特許公報の前段「背景技術」の説明文で、一般的なRAWデータの構造を説明して

１．RAWヘッダ部
２．サムネイル画像部（複数枚のインデックス表示用）
３．再生用JPEG画像部（一枚表示・拡大表示用。JPEG最高画質の半分くらいの圧縮データ）
４．RAWデータ部部

としていることが多い、と記されています。（）内はほかの部分から私が追記したものです。
現在のＣＡＮＯＮのRAWデータ（CR2ファイル）も上記のデータ構造は踏襲していると思います。

JbMshさんのCR2のヘッダ構造の解析データは、私の理解の範疇を超えますのでコメントできません（もう少し勉強します）。

本来なら、誤解と無知に基づいて立てたスレッドですから削除依頼をすべきだとも考えましたが、皆様の書き込みで「誤り」を訂正いただいておりますので、このまま私の恥を晒しておきたいと思います。

長文になりましたが、これでこのスレを閉じさせてください。

どうもありがとうございました。

書込番号：7784856