ピクセルビニング時のカラーフィルタの切り替えについて

Question

※当スレッドは、カメラセンサーの技術面についての情報交換が目的です。
　　採用メーカーごとの良し悪し、売れるか否か、など、技術面とは関係ない書き込みはご遠慮ください。

カメラセンサーにおけるピクセルビニング時、カラーフィルタをどうやって切り替えているのか、ご存じの方いらっしゃいますでしょうか。
ピクセルビニング自体は、こちらの機種に限った技術ではありませんが、カラーフィルター切り替えの様子を動画で説明したものがあったため、こちらの板にスレッドを立てました。

https://www.excite.co.jp/news/article/Ubergizmo_japan_20906/
こちらの0:40ぐらいの所に、カラーフィルタが切り替わる動画がありますが、これは実際の動作でしょうか。それとも動作のイメージでしょうか。

Xperia 1 Vのように、ピクセルビニング固定であれば、最初からカラーフィルタを2x2の束にして配置（クアッドベイヤー）していると思っています。一方、Galaxyのように出力画素数が切り替えられるピクセルビニングの場合、フル画素であれば全体をベイヤー配列にし、ビニングに応じて、カラーフィルタを切り替える必要がありますよね。
カラーフィルターって、集光レンズの後ろにある物理的なフィルタだと思っているのですが、これを入れ替えるのは実際にはどうやっているのか、という疑問です。

sky878 · Accepted Answer

https://k-tai.watch.impress.co.jp/cda/article/keyword/4416.html
https://www.sony-semicon.com/ja/technology/mobile/quad-bayer-coding.html
https://www.itmedia.co.jp/mobile/articles/2208/22/news023_2.html

ISOCELLがどうなっているかは定かではありませんが、Sonyのセンサーでは基本的には4個分のフォトダイオードを同色のカラーフィルタにして、例えばただのベイヤー撮影時は色を再現する処理をしてそれっぽく仕上げているようです。

仮にカラーフィルタを反転させたとしても2種の色を再現するのにはかなり難しいでしょうし、実現していた反転させる機構を組み込むのが現実的じゃないかと。
後は1枚で2色を再現できるカラーフィルタがあってひっくり返せる機構を載せていたら大々的に発表しているんじゃないかなと思います。

しげ散歩 · Accepted Answer

＞totopさんsky878さんも触れられていますがフィルターが入れ替わることは無いはずです。動画見ましたがイメージでしょう。下記の「どんな光源下でも鮮やかな画像」の部分がわかりやすいかもしれません。分かりやすいとは言ってもそういうものだろうと思って見ないと、わかりにくい表現ですが。https://semiconductor.samsung.com/jp/insights/technology/pixel-technology/これで見るとXperia 1 Vのクアッドべイヤーと同様に、ISOCELL HPシリーズは2x2ビニングがベースとなっていると思われます。再配置という表現はいまいちわからないですが、4画素を1画素とみなすということと理解できます。それに対し1x1はリモザイク、4x4は合成という表現になっています。リモザイクはビニングに対する一般的な処理と私は理解しており、sky878さんの挙げられた2つ目のリンクからするとSonyのクアッドべイヤーも同様ですね。totopさんが別に立てられているスレッドにも書き込みましたが、Xperia 1 Vもやろうと思えば48MP出力は出来るはずです。高画素化はクアッドべイヤーの利点ということでやっても良いとは思うのですが、（リモザイク由来での）不利益もあるのであえて行っていないのかなと推測しています。

FZmania · Accepted Answer

補足ですが、従来の配列（ベイヤー配列）でも各ピクセルにRGBの内の1色しか取り込めないので、演算による補完で色情報を復元しています（もちろん完璧に復元できる訳ではなく、偽色が発生する原因となります）。
クアッドベイヤー配列のリモザイクもその応用と言えるのではないでしょうか。

AccuBattery Pro · Answer

↑ 迷惑行為はやめましょう。メーカーに対する誹謗中傷をやめましょう。リアル社会でも同じですよねw

sky878 · Answer

すみません、一部誤字で読みにくくなってしまいました。×仮にカラーフィルタを反転させたとしても2種の色を再現するのにはかなり難しいでしょうし、実現していた反転させる機構を組み込むのが現実的じゃないかと。〇仮にカラーフィルタを反転させたとしても2種の色を再現するのにはかなり難しいでしょうし、反転させる機構を組み込むのが現実的じゃないかと。色々と調べてみましたがベイヤー撮影だと先にも書かれている通り、メーカー問わず基本的にはやっぱりデモザイク処理をして色を補完しているようですね。あとはHP1のマクロ撮影画像だと下記のようになっています。https://www.techinsights.com/blog/samsung-isocell-hp1-found-motorola-moto-x30-proHP3でもビニング時の撮影画素数は1250万画素になりますから、基本的なカラフィルタの取り扱いは16画素1カラーではないでしょうか。これもしげ散歩さんと同意見になる部分ですが、Xperia 1Vが解像度の変更を許さなかったのはSonyがXperiaで目指すところの"色の表現力"に拘った結果ではないでしょうか?色の補完をデモザイクとかディベイヤーとかいうみたいで、それってセンサー内で完結して出力されるらしいですが、やっぱり色の表現力を多少なりとも損ねるモノでしょうし。ただ自社のセンサーの処理アルゴリズムを信じ切ってないんかいって思う所もありますが、きっと何らかの目的があって搭載していない所なんだと思います。今のところ1Vのレビューを見ていると、今回のXperiaは今までより更にメインレンズの色の再現度だったり、ダイナミックレンジだったり、シャープネス処理であったり、色々な面で評価を得ているようです。実際作例も凄い綺麗に撮れてますしね。1VだとExmorT IMX 888搭載らしいですが（数字は正式発表時に変わるかもです）、ビニング処理に何らかの制約があるのかないのかも定かではないものの、出来ないから1200万画素固定になっているというわけではなく、Xperia 1Vのコンセプト的にそれを許さなかったって感じじゃないでしょうか?あくまでも憶測ですが。

ネモフィラ1世 · Answer

1Ⅴでのスレにも書きましたが、1200万画素固定なのはこれまでのXPERIAを振り返ると分かる通り速写性を重視してるからです
他社では当たり前な高画素そのままの撮影、加えて高倍率ズームに手を出さないのはsky878さんの仰る通りソニー自身が掲げているコンセプトから逸脱するからなんですよ
それがリアルタイムトラッキングとか今回の秒30コマなんていう高画素撮影では難しい機能です

まぁ、スマホでこれを実現できるのはまだまだ先かな・・・
個人的には4800万画素そのままの撮影モードがあっても面白かったですが、広角24mm（１倍）～望遠85mm（光学3.5倍）が離れ過ぎなのでそこの画質劣化を抑えられるようにもなったというメリットもあるから良いのかなと

FZmania · Answer

1 Ⅴのスレにも書きましたが改めて。ソニー的には12MPで十分、という姿勢でこれまで頑なに12MPセンサーを採用し続けましたが、今回1 VでExmor-Tセンサーを搭載するにあたって、今更新たに12MPセンサーを製造しても外販で売れないので、48MPセンサーのピクセルビニング固定で代用しているのではと思います。正直48MPをフル画素出力（リモザイク出力）しても過剰というか無駄にサイズがでかくなって扱いづらいだけですが、デジタルズーム時の解像度低下を抑えるには有効です。しかし、GSMArenaの1 Vのレビューによれば、https://m.gsmarena.com/sony_xperia_1_v-review-2567p6.php"We shot a few 2x zoomed photos, and those look cropped and upscaled from the default 1x output."とあるように明らかにデジタルズーム時の解像度が低く、デジタルズーム時もピクセルビニングを使っているものと思われます。

首都高湾岸線 · Answer

＞totopさん＞Xperiaのセンサーだと、物理的なフィルターは上図右側のようになっていて、1行目2列目であれば常にRフィルタを通るものの、これをフル画素出力する場合（Xperia 1 Vは2x2ビニング固定ですが）必要な色はGになりますが、光の強度と色の強度を分析して最終的にフル画素の画像を得ると。私は詳しいことは分かりませんが、今のスマホカメラの画像処理をAIが担っているとしたら、カラーフィルター配列が素のフル画素にしろクワッドベイヤーにしろ、AIに与える情報量に変わりはないのではないでしょうか。何となくですが、最近のスマホカメラの画像処理をAIが担っていることを考えると、”画素数多い→AIに与える情報量が多い→AIの精度向上”なのかなと。（ただ、私はAI技術はよく分かりませんので、適当な意見ですが。。。）

arrows man · Answer

同じく1200万画素を維持し続けたiPhoneに勝てる余地はあったにも関わらず、あちらが1200万画素を卒業して4800万画素へアップグレードしたのを見て、ソニーも焦りを感じたのかやっと重い腰を上げて同画素へアップグレードしました。
しかしその報せを聞いて『おお！』と声を上げた今や希少な信者を裏切るかのような、結局1200万画素に拘るという頑固振り。
これがGalaxy S23 Ultraより高い21万円、あまりに素晴らし過ぎてGalaxyへ移った自分を褒めたくなりました。
100倍ズームで月がくっきり撮れるとかいうのは嘘であるという記事に関して、iPhone民と同じく便乗して叩いてたのは多分Xperia民でしょうけど、笑える立場ではありませんよね？

あたらしいモノが好き · Answer

他社と同じ事をしないのは普通の企業の在り方なんですよ。同じ事をやるのは他に術がなくなった場合です。同じ事をやってたら最終的には価格競争になります。そもそもここに書き込んでいないで、ギャラクシーの口コミに書き込めば良いじゃないですか。わざわざ嫌いなものに近づいていって文句を言うのは、感心しませんね。もっともあなたの場合、単純にサムソンからギャランティを受け取ってこういう書き込みをしている可能性が高そうです。正直羨ましい。噂ではふつうのサラリーマンでは到底到達できない年俸をもらえるとか。

『ピクセルビニング時のカラーフィルタの切り替えについて』のクチコミ掲示板

Galaxy S23 Ultra SCG20 256GB au

公式オンラインショップ購入時の端末代金