『HDD環境がエンコードに及ぼす影響』のクチコミ掲示板

[善管注意義務違反]

測定環境	測定結果（1）	測定結果（2）	測定結果（3）

Core i7-965およびX58の環境において，複数の単体HDDおよびRAIDアレイを用意して，各々を用いた入力と出力の組み合わせがエンコード速度に及ぼす影響について検証してみました。

※測定結果の表記にA to Bというような表現を用いていますが，これはAにキャプチャソースをおいてエンコードしたファイルをBに出力する，という意味です。

【キャプチャソース】
　HDRECsでキャプチャ
　ファイル形式：Canopus HQ Codec （Fineモード）
　解像度：1920×1080
　アスペクト比：16：9
　フレームレート：29.97 fps
　時間：60sec.

【出力フォーマット】
　エンコードソフトはTMPGEnc4.0Xpress Version.4.6.3.268を使用
　ファイル形式：Blu-ray (BDMV)
　解像度：1920×1080
　アスペクト比：16：9
　フレームレート：29.97 fps

E to FもしくはF to Eが最速だろうと予想していたのですが，RAID0の同一アレイ内で読み込み，書き出しする方が高速でした。
ただし，RAIDボードを2台用意して各々にRAID0アレイを設定すれば違う結果になった可能性があるため，機会があれば検証する予定です。
1台のHDD内での作業は最もパーフォーマンスが悪いものでした。
最速を目指すならRAID0アレイで武装すべきですが，今回の検証結果からは，読み込みと書き出し用に1台ずつHDDを用意するのが最もC/Pが良いと考えられます。

書込番号：8770339

[善管注意義務違反]

すみません，補足です。
測定結果グラフでの単位が抜けていましたが，すべて(sec.)です。

書込番号：8770350

[完璧の璧を「壁」って書いたの]

参考にはなりますが、同レベルの環境を揃えるお金が無い(;_;)

書込番号：8770387

[善管注意義務違反]

>完璧の璧を「壁」って書いたのさん

返信ありがとうございます。

一番言いたかったのは，エンコードを高速化する目的でCore i7の環境を選択する場合には，システムディスク以外に入力と出力のHDDを別にした方が，単一HDDで入/出力するよりかなり良好なパーフォーマンスを得られる，ということです。
実際，WD Caviar Black WD1001FALS 1台で入/出力するよりは，2台用いた方が（63秒→54秒）と約17%も高速化しています。
この場合，RAIDカードを用いた高速なRAID0アレイと比較してもそれ程遜色ないため（今回の検証では51秒と54秒とでその差6%程度），C/Pにも優れています。

書込番号：8771448

[完璧の璧を「壁」って書いたの]

そうですね。HDDを複数台用意するのは効果がかなり期待できそうですね。

棒茄子が出るには出たけど、i7システムにはほど遠いので、HDDの１台くらい追加かなあ(^_^;

書込番号：8772058

[きこり]

シーケンシャルリードとシーケンシャルライトを同時発行したら、ランダムリードライトになるって話でしょ。
実験するまでも無い。

書込番号：8772608

[善管注意義務違反]

きこりさん　ご返信ありがとうございます。

>シーケンシャルリードとシーケンシャルライトを同時発行したら、ランダムリードライトになるって話でしょ。

不勉強なのでおっしゃっている意味がよくわかりません。
もっとわかり易く教えていただければありがたいのですが・・・。

>実験するまでも無い。

RAID0のアレイの場合，2つアレイでそれぞれ入/出力するより1つのアレイで入/出力する方が高速であることも，実験するまでもなく当たり前の結果なのでしょうか。
でしたら，理由を教えて頂ければ甚幸です。

書込番号：8772793

[habuinkadena]

>>シーケンシャルリードとシーケンシャルライトを同時発行したら、ランダムリードライトになるって話でしょ。

>不勉強なのでおっしゃっている意味がよくわかりません。
もっとわかり易く教えていただければありがたいのですが・・・。

1台のHDDだとエンコード時にリードとライトを両方やることになるから
リード→ライト→リード→ライト…
となって結果的にランダムリード(=小さなデータのリード)とランダムライト(=小さなデータのライト）
の繰り返しと似たようなことになるでしょ、ってことじゃないですか？

書込番号：8772895

[きこり]

G to G以外は全てほぼ同じ数値だから、この数値付近のケースはHDDがボトルネックになっていないことが分かる。
逆を言えば、この結果からはG to G以外はボトルネックでは無いということだけしか分からない。
有意な結果は、G to Gはボトルネックになっているということだけ。
これは、本来シーケンシャルなリードとライトという2つのタスクが単一のHDDに発行されたことで、遅くなるということが分かる。
そりゃ、考えるまでもなく当然のこと。
この公開した結果で分かったのはこれだけ。


僅かなデータを複数の画像で分割してデータを出すと、把握しにくいだけで読む側には何のメリットも無い。

書込番号：8772931

[きこり]

E to EやF to Fが他よりも僅かに速い。
という点が今回の目玉なのでしょうか。
この理由は、コントローラやドライバなどの特性によるものだとか、そんなもんでしょ。

例えば、ストレージデバイスのドライバが1個のコアで完結するので、冗長性が最小限でその分だけエンコードにCPUパワーを割けるとか。
約50秒というのは、エンコードで律速されているのは明白だから。
そんな感じで考え付くことは色々。

書込番号：8773357

[もっちーず]

横槍失礼。

ＨＤＤ１台より２台の方が速い。
それはスレ主もやる前から分かってる、誰が考えても当然の事。
検証するまでもない。

よって基本はスルーでええやん。
議論すべきは、じゃあ一体どんだけ速くなんねん！？
って事なんやと思うけど。

当然条件によるけど、
１７％と言わずもっと速くなると思ってた。
ＥtoＦ、ＦtoＥの方が速くなると思ってた。

違う場合があるとわかっただけでも儲けもんでっせ。

書込番号：8774774

[善管注意義務違反]

>habuinkadenaさん

丁寧な説明ありがとうございます。
G to H > G to G がシーケンシャルとランダムの速度差に起因することがよく分かりました。
逆を言えば，E to EやF to Fが最速というのは，SASのストライプアレイにおけるランダムがシーケンシャルを凌駕するほど速い，ということなのでしょうね。

>きこりさん

今回の目玉は，仰る様に極論すればG to Gのみがボトルネックになるというnegative dataです。
ただ，この結果が有意かどうかは，異なる長さのキャプチャーソースをいくつか用意してWilcoxon等のノンパラメトリック法で検定してP<0.05を証明しなくてはなりません。
今回は時間的に1分のソースでしか検証できませんでした。
　
>もっちーずさん

コメントありがとうございます。
仰るように，今回の結果は殆どが予測のつくものですが，実際にdataとして出すことに意味があると考えています。

書込番号：8775373

[きこり]

RAID0が貢献したかは、このデータでは分かりません。
インテリジェントなコントローラがコマンドキューをアウトオブオーダーでリードライトを極力シーケンシャルにイクスキュートしたのかもしれないし。
カード上のスロットはキャッシュモジュールを積む為のもので、大量のキャッシュはライトキャッシュの為のものでしょう。
アウトオブオーダーでコマンドをキューしないと、大量のキャッシュは無用でしょう。

うーむ、カタカナばっかり。

書込番号：8775601

[ﾄﾞｰｿﾝｼﾃｨ]

きこりさんにスルーしてもらっちゃ困る。
いつも、盛り上げ役の、まとめ役。
なんにも教えてくれない上司より、きびしくても、
教えてくれる上司は、ありがたい。
きょうも、ありがたや。ありがたや。

書込番号：8959937