『画像処理エンジンについて』 の クチコミ掲示板

[saeko.70]

こんばんは。

各社EXPEED3、DIGIC5＋、PRIME�Uなど画像処理技術を向上させて最新のものを
積んできますが、これはカメラ内でのJPEGやTIFF現像時のみに使われる処理エンジンという
理解で正しいでしょうか？（RAWデータの添付プレビュー画像も含む。）
RAWに反映される階調補正やノイズリダクションなどにも処理エンジンが使用されているのでしょうか？

RAW撮りしかしない人にとって進化していく処理エンジンはメリットがあるのか
意味をなしているのか気になっていたので質問させていただきました。

私は基本的にメーカーの作る制約された画作りと自分の好みとは異なるのでRAWでしか撮影して
おらず、後に現像ソフトでイメージ通りに現像しております。
同じようなスタンスで撮影されている方も少なくないかと思われますが、
このような人たちにとってはどんなにメーカー独自の高性能な処理エンジンが積まれていても
やはり全く意味をなしてないのでしょうか？…
RAWデータに添付されるプレビュー画像に反映されるくらいでしょうか。
後にPCでRAW現像する際に指針の参考画像としてRAW＋JPEG撮影しておくと良いなど
聞きますが、これはRAWデータに添付されるJPEGプレビュー画像で充分なような気もしますが…
仮にプレビュー画像が気に入れば何も調整せずにそのままRAW現像すれば良いと思いますし。

書込番号：15437911

[ｈｏｔman]

こちらを
http://web.canon.jp/technology/interview/digic4/index.html

キヤノンの『DIGIC』についてですが、
>「DIGIC」は画像処理にとどまらず、自動撮影制御や撮影モード制御、
>画像ファイルの圧縮・再生制御、液晶表示制御など、ほぼ全ての機能と
>電子回路をコントロールしている

とのことです。
結構たくさんの役割を担っているようですね。

書込番号：15437944

[さすらいの「Ｍ」]

たとえば　１ＤＸなどでは
５＋　と　４（EOS iSA System用）を積んで、別の仕事をさせています。
また、動画の仕事とかもありますよ。

書込番号：15438074

[Ｄｉｇｉｃ信者になりそう_χ]

こんばんは。

この十数年の間に、各社切磋琢磨し、画像処理エンジンの格差も少なくなってきているとは思います。
（十数年前のニコンのデジ一のJPEGはそれは、キヤノンのそれと比べると、ほんとに酷く、
当時は純正のRAW現像ソフトNikon Captureでいじってました。）

ご質問はそうではなくて、RAWデータそのものに画像エンジンの内容が反映されるか？でしたよね。
純粋に画像エンジンとしてのみの機能は反映されていないと思いますよ。
そこは、RAW現像ソフトの出来不出来のよるのでしょうが、有名どころのRAW現像ソフトは、
かなりの経験と実績を積み重ねてきていますので、不出来という程の酷いレベルのものはもう無いんじゃないかな？

それでも素人な私は、各メーカー独自のパラメータ（ピクチャースタイルやピクチャーコントロールなど）を
反映してくれる純正のRAW現像ソフトを好んで使っています。（キヤノンDPPや、ニコンCapture NX2など）

なお、画像エンジンの中にはその能力の高さから、画像エンジンそのものの機能だけでなく、
例えば、キヤノン1DXでは、AE（自動露出）専用にDigic4を転用しているケースもありますね。

このスレを見て、せっかく進化し続けている画像エンジンの良さを見直す意味でも、
RAWだけでなくJPEGも活用してみたくなりました。

書込番号：15438122

[Ｄｉｇｉｃ信者になりそう_χ]

キヤノン1DXのWEBサイトの文面からの引用です。

・卓越した高画質と機動性を可能にした、新開発の映像エンジン。
映像エンジンは、新開発のDIGIC 5＋（プラス）を2基搭載した、「デュアルDIGIC 5＋」です。デュアルDIGIC 4を遥かにしのぐ処理能力を備え、約1810万画素、14bitの高精細・広階調な画像でありながら、最高約12コマ／秒（超高速連続撮影モード時、最高約14コマ/秒）の連続撮影を可能としました。また、新アルゴリズムにより、高ISO感度で撮影時に発生するノイズを効果的に除去。画質向上とISO感度拡大に大きく貢献しています。さらに、その卓越したパフォーマンスを背景に、倍率／軸上色収差の撮影時補正や多重露出機能、新しい動画コーデックの採用など、高度な画像処理機能、撮影機能を実現しています。

・露出設定の自由度を高める、広く柔軟なISO感度設定。
高い集光効率を誇るCMOSセンサーと、高度なノイズ処理を行うデュアルDIGIC 5＋の相乗効果により、常用ISO 100〜51200（推奨露光指数）という広い感度設定を可能にしました。


これらを読むと、RAW連写時の信号変換の処理速度にも寄与しているのでしょうね。
また、JPEGの高感度画像処理（ノイズリダクション）にも大きく関わっていますが、その画像処理エンジンの進化が
取って分かる例として、ニコンのRAW現像ソフトCapture NX2のノイズリダクションの項に、高画質2012というのが
追加されています。

高感度性能の向上は、撮像素子のマイクロレンズの構造などを含めた進化（RAW画像で高感度でも破綻をきたさない
のは、概ねこれのおかげ？）によるところがでかいでしょうが、JPEG画像データでノイズレスなのは、
画像処理エンジンの恩恵が大きいと思われます。

だから、RAW画像だけの人にとっても、画像処理エンジンはまったく意味がないものではないと思うのですが。。。

書込番号：15438283

[あじごはんこげた]

＞．．．．このような人たちにとってはどんなにメーカー独自の高性能な処理エンジンが積まれていても
＞やはり全く意味をなしてないのでしょうか？…

どちらかというと、カメラを購入する際の比較や、機材の下準備として、レンズプロファイルやノイズプロファイルを設定するときに、参考にする程度です。

撮影中は、あまり気にしてません。ただ、高感度側でのノイズ処理に違いがあったりしますので、ＲＡＷの処理方法の改善に参考にしたことはあります。

実際のところ、本体に搭載の画像エンジンに対して、コマンドベース（アセンブラなど）のユーザープログラムが可能でない限り、画像エンジンの仕様はカタログスペック上の文字列でしか無いように思います。単なる文字列なので、情報の価値もありません。ＲＡＷで処理するときに「画像処理エンジンを統一しとこうかな」というレベルです。

メーカーから開発ツールや、組み込みＯＳが提供されていれば、かなり重要な意味がこもってくると思いますが、今のところ、自由にプログラム可能なデジタル一眼レフは、存在しないように思います。あれば、あったで骨の髄まで堪能できると思います。

書込番号：15438374

[あじごはんこげた]

追加です。

当方は「画像処理エンジン」という言葉は、長すぎるので、単に「ＩＰＵ」と呼んで、勤務先で使っています。ＩＰＵというのは、和製英語のつもりです。イメージ・プロセッシング・ユニットという意味を込めています。なので、先ほどの書き込みは、当方の抱いているＩＰＵの概念の概略的なイメージで回答しています。ご参考まで。

書込番号：15438459

[saeko.70]

レスありがとうございます（＾＾）

色々な御情報、リンク先をお教えいただきとても参考になりました。

RAW記録はA/D変換と一部のノイズリダクション処理を行なうだけのようですので、
画像処理エンジンはノイズリダクションのみの役割となるようですね。
そこにメーカー独自のノウハウが詰まっているのだとか。
D800はあの超高画素でRAWデータのノイズ量が少ないのですから、NIKONのA/D変換する際に行われる
ノイズリダクションがいかに優れているのかが伺えます。
高感度のノイズは画素数の少ないD700と同等かそれ以上という話もありますね。

JPEGに現像する際には画像処理エンジンから更に別のノイズリダクションがかかり、
ノイズの少ない画像に現像するのでしょうね。EOS 5D3ではそこのノイズリダクションを
強めにかけているとどこかの記事で見かけました。

ノイズの少ないRAWデータを記録するという意味では画像処理エンジンは大きな役割を
担っているのだなと分かりました。

PENTAX機のRAW記録ではノイズリダクション（長秒時NR）に加え、ハイライト補正（ダイナミックレンジ拡大）
も反映されるようですので、ダイナミックレンジの拡大操作も画像処理エンジンが担っている
のか非常に興味があります。

少なくともRAW記録時に各メーカー様々なノウハウが詰め込まれているのでしょう。

書込番号：15443556

[あじごはんこげた]

＞JPEGに現像する際には画像処理エンジンから更に別のノイズリダクションがかかり、
＞ノイズの少ない画像に現像するのでしょうね。EOS 5D3ではそこのノイズリダクションを
＞強めにかけているとどこかの記事で見かけました。

画像データのＪＰＥＧ圧縮は、ピクセルごとの輝度とＲＧＢ信号の加算値を中心値を見なして、サンプリングし、統計関数的に圧縮する手法でアルゴリズムが構成されています。なので、一度、圧縮されてしまうと、次に展開された際に、展開前の画像には復元できません。

ＲＧＢデータは可逆なのに対して、ＪＰＥＧは非可逆なのです。なので、ＪＰＥＧを画像化したデータを保存する際にＪＰＥＧ化してしまうと、ピクセル間のデータが、さらに量子化されてしまい、画像が粗くなります。

この性質（量子化）をうまく利用するとノイズリダクション的に使えます。いうなれば、隣り合う輝度値をガウス分布の集合と見なして、強制的にピクセル信号の整形を実行するという手法と思います。

実際に取り扱うと、ハフマン符号やらフーリエ変換やら出てきて、解説がたいへんなので、詳細は省略しますが、キヤノンのアルゴリズムは、相応に垢抜けしていて、いかにも情報通信屋が作ったという香りがします。

ご参考まで。

書込番号：15443790

[saeko.70]

あじごはんこげたさん、こんばんは。
レスありがとうございます。

色々とお詳しいのですね。
あまり掘り下げた専門的な話までは理解に追いつきませんが、
いくつか質問させてください。

１）ノイズリダクションはRAWデータ（RGBデータ?）が作られる際と圧縮されたJPEGデータが
作られる際に画像処理エンジンが行うと思いますが、長秒ノイズ、高感度ノイズなど
それぞれ異なる手法で２パターン行われるという理解で正しいでしょうか？

２）RAWデータが作られる際に行われるダイナミックレンジ拡大（PENTAX機のみ?）、階調補正も
画像処理エンジンが実行・処理しているのでしょうか？

３）高画素化し、階調や高感度のノイズに対して不利になる傾向かと思われますが、
そこは画像処理エンジンの進化によってその傾向は防げるものなのでしょうか？
特にRAWデータに対して気になっています。
D800が超高画素になってもRAWデータにおける高感度ノイズ量が低画素で画素ピッチ
の広いD700と同等以上という例は画像処理エンジンが躍進したからという解釈で正しいでしょうか？

ご回答いただける範囲で結構ですので宜しくお願い致します。

書込番号：15446360

[あじごはんこげた]

＞１）ノイズリダクションは．．．．長秒ノイズ、高感度ノイズなど
＞それぞれ異なる手法で２パターン行われるという理解で正しいでしょうか？

ＩＰＵの一般的な動作として、ノイズリダクションは、画像センサに対するもの（画像センサからの出力）と出力後の信号値に対するもの（画像データそのもの）に別けることができると思います。

ここから、全ての部分を推定で回答します。

長秒ノイズに対する処理は、画像取得中のスキャン時の処理と思います。高感度ノイズの場合は、アンプゲインを上げた際に、バイアス的に重畳してくるノイズ処理が中心になると思います。

論理回路のステータスは、通常「１」と「０」いわゆる「Ｈ」と「Ｌ」の２値的なステータスですが、実際の電気回路では「＋：プラス」「０：ゼロ」「−：マイナス」の３値的なステータスが存在します。ｎチャンネルＭＯＳ（ｎＭＯＳ）やｐチャンネルＭＯＳでは、どちらか一方の極性がステータスとなりますが、ＣＭＯＳの画期的なところは、２値のうちの一方のステータスを、ｎチャンネルトランジスタとｐチャンネルトランジスタの両方を使って表現できるところにあります。そうすることで、トランジスタ内部に存在するバイアスによる時間遅延を解消でき、論理回路の誤動作：ハザードを未然に防止できます。Ｃ−ＭＯＳは、微少電流で動作できるようになりますが、外部のインターフェースさえ無ければ、内部演算は、その他の方式の論理回路より数倍以上高速に実行できます。なので、ＣＭＯＳ化によって、ダイナミックレンジの向上や低ノイズ化が自然に行え、なおかつ高速演算による高集積化も達成できる理由ともなっています。

そうした性質の他に、ノイズの原因となるものに、電磁界の影響や熱の影響があります。ＩＰＵのノイズ低減の主たる処理として、おそらく、温度センサ（サーミスタ）を内蔵させて、熱雑音の低減に、かなりの処理を割いていると思います。それプラスアルファ、静電界ノイズとなると思います。

一般的なカメラのカタログ記載の表現だけでは、切り込めないのですが、俗称されている「画像処理エンジン」とは、ＩＰＵと画像センサ全体と、ファームウェアと信号処理部全体を含んだ信号処理システムの概略像と考えたほうが良いと思います。それらの信号処理システムが、ノイズリダクションの大半を請け負っていると考えても問題は無いと思います。

なので、当方の推定では、長秒ノイズの場合は、露光時間中の温度変化も加味された、ノイズ低減処理が行われ、高感度ノイズの場合は、さらに静電界（電磁界）ノイズの低減も実行されているものと思います。これにハザード処理が加わりますので、２パターンと言うよりも３段階と言った方がいいかもしれません。

ここで、画像処理エンジンに「画像センサ」を含めてしまっている事に不思議さを感じられるかもしれません。当方の見識では、カタログに記載されている「パイプライン」とは、ベクトルプロセッサという認識があり、それを構成するためには、時間遅延を極力、抑制しなければならず、必ず信号入力部のバックボーンの近所に配置されているという見識に基づきます。そのため、信号入力部の直近に、ベクトライズされたプロセッサが存在すると推定しています。これも推測ですが、画像センサの多くは、各画素をビット配列化した、レジスタを内蔵していると思います。論理回路の反転化による違いはあると思いますが、かなり単純な構成でＬＩＦＯもしくはＦＩＦＯ手順のレジスタと思います。これらのレジスタは、信号処理のトリガの瞬間、並列同時動作して、ベクトルプロセッサを構成するパイプライン処理を実行し、ＩＰＵに手渡す役目を果たすと思います。パイプラインを構成する以上、ベクトルアローイングのトリガは、バックボーン上に無ければならないというのは当方の思いこみかもしれませんが、画像センサと一体でなければ、現在の一眼レフの高機能化はあり得ないように思いましたので、そのように回答しました。

なので、これらの処理の段階で、誤り訂正符号やハザード処理も含めたノイズ低減処理が実行されていると思っています。ので、２パターンと言うよりも３段階としたほうが良いと推定したものです。

書込番号：15453036

[あじごはんこげた]

【２】長文なので二分割しました。

＞２）RAWデータが作られる際に行われるダイナミックレンジ拡大（PENTAX機のみ?）、
＞階調補正も画像処理エンジンが実行・処理しているのでしょうか？

当然、ＩＰＵが関与しなければ不可能と思います。画像センサにレジスタが内蔵されなければ、ダイナミックレンジの拡大は困難と思います。

＞３）高画素化し、階調や高感度のノイズに対して不利になる傾向かと思われますが、
＞そこは画像処理エンジンの進化によってその傾向は防げるものなのでしょうか？
＞特にRAWデータに対して気になっています。

画像センサそのものが演算装置化することで、それほど困難ではないと推定しています。むしろ、バックボーンにベクトルプロセッサすなわちパイプラインが配置されることで、却って、集積密度が増し、高画素化に貢献していると思います。古くは、Ｄ−ＲＡＭのリフレッシュラインがヒントになったと推定しています。

ＩＰＵが信号処理に介入する、もう一つの理由は、ハザード防止です。一つの画像センサを、複数のレジスタが同時アクセスした場合、画像センサの回路に電圧、電流の過負荷がかかり回路が焼損することがあります。ＩＰＵは、これらの同時アクセスをハザードと見なして、信号タイミングをずらすなど、回路の焼損防止にも機能していると思います。

こうした観点からみれば、個人ユーザーで画像センサを買ってきて、デジカメを作ってみるというのは夢のように思いますが、Ｎｉｋｏｎ製の開発キットなどが２００〜３００万円程度で発売されたら、買ってるかもしれません。

前回の回答で、キヤノンの処理方法を

＞キヤノンのアルゴリズムは、相応に垢抜けしていて、
＞いかにも情報通信屋が作ったという香りがします。

として回答していますが、そのバックボーンとして、前述のような考え方がありました。キヤノン機の場合、撮影後の画像を見ての着想ですが、当方が学生時代、ＮＴＴが電電公社だった頃に「ＰＣＭ−２４伝送方式」というのがあり、伝送の三品質という概念がありました。この伝送品質を維持するため、欠けていて伝送品質に影響しそうな信号は「ガウス波形」を制御器が挿入して、信号補間するような訂正方法をとっていました。キヤノン機の信号処理が、そのようになっているように思いましたので、おもわず「通信屋が作ったかな」と思ったものです。それ以外に理由はありません。

専門用語も多くなって読みづらいと思いますが、いずれも３０年ほど前の技術概念で記載しています。最新の概念は含んでいませんので、辞書を頼りに読解していただければと思います。長文で失礼しました。

書込番号：15453040

[あじごはんこげた]

これと並行して回答しなければならなかったのですが、Ａ／Ｄ変換処理の件です。画像センサの受光部の信号は、アナログ信号です。この受光部に入力された信号は、アナログ／デジタルコンバーター（Ａ／Ｄ変換）でデジタル信号化され、１４ｂｉｔであれば、１４本のアクセスラインをＯＮにすることになります。ここで、パイプラインが大活躍するというわけです。

１４本のラインは、実は、他の画像センサにアクセスが移った場合、他の画像センサの信号読み出しの間は「休んでいる」ということになります、もったいないので、配線ピッチを詰める必要も出てくるでしょうし、ならば「多重化」を考えて当然と思います。それで、ＩＰＵはその信号タイミングの生成に介入し、画像センサとＡ／Ｄ変換器が同時処理を行うことで、パイプラインを構成できると着想しました。もっともハザードの問題がありますから、それぞれのセンサの信号値を一定時間保持する必要があります。それが「レジスタ」というわけです。


こした事も、合わせて考えていただければと思います。（以上、追加します）

書込番号：15453067