『キャッシュが1GB使えない！？』のクチコミ掲示板

[kkuro]

1GB　リード・ライト共にキャッシュ無効	100MB　リード・ライト共にキャッシュ有効	500MB リードのみキャッシュ有効	熱いのでFANを付けました。35℃前後に落ち着きました。

これまでずっとPROMISEのRAIDカードを使用してきましたが、今回初めてADAPTECのRAIDカードを使用します。

まず最初に対策したのが熱対策で、ヒートシンクが触れないくらい熱くなるので、MaxView Storageで確認すると65℃の表示が！
この温度でもNormalとなっているので大丈夫なのかも知れませんが、コントローラーが壊れては仕方ないので、40�o静音ファンを強力両面テープで貼り付けました。
結果、温度が35℃に落ち着き、これでひと安心です。

次に悩んだのがストライプサイズです。
WD　WD20EFRX（2TB　HDD）を4台でRAID5を構成していますが、最初何も考えずにデフォルトの256KBでRAIDを組みました。
Build中に退避させていたデータを書き戻し、ひと仕事終わったとベンチを取ってみたら、100MBでキャッシュが有効なはずなのにシーケンシャルリード＆ライトが異様に遅い。。。
カスタムセッティングでストライプサイズを64〜512KBまで試したところ、256と512で同様の現象が起きることを確認。
結局、全体のバランスを見て128KBで再構築しました。この時Buildはしていません。

で、問題の500MBなんですが、1GBのキャッシュを搭載しているので、100MBと500MBは同等の数値が得られるものだと思っていました。
が、100MBはリード・ライトともキャッシュスピードですが、500MBはリードはきちんとキャッシュスピードになっているものの、ライトはほぼHDDのスピードです。

何か設定がおかしいんでしょうか？
ストライプサイズ違いのテスト時は100MBと1GBしか計測していなかったので解らないのですが、ストライプサイズを変更することで解消するものなんでしょうか？

ご回答よろしくお願いします。

書込番号：19298539

[twin-drive]

>まず最初に対策したのが熱対策で、ヒートシンクが触れないくらい熱くなるので、MaxView Storageで確認すると65℃の表示が！

https://www.adaptec.com/ja-jp/products/series/8/ 曰く
>メモ: アダプテックのカードには、適切なエアフローを必要とする高機能のRAIDプロセッサが搭載されております推奨エアフロー(200LFM)を有するサーバ又はPC筐体でのみご使用ください。

…つくづく商用のカードって鯖筐体前提のが多いよね。

>キャッシュが1GB使えない！？

RAIDアレイには1GBのキャッシュメモリが載っているとは言っても、
・リードキャッシュ
・ライトキャッシュ
・パリティ計算
にそれぞれ容量を振り分けるから、それこそ1GBまるごとライトキャッシュに振り分ける…というのは難しそうだね。
あとはディスクキャッシュが無効なのか有効なのかというのも。

書込番号：19299429

[kkuro]

リードキャッシュOFF　１GB　リードが倍近くに！	リードキャッシュOFF　500MB　リード・ライトほぼ変わらず。。。

＞twin-driveさん

コメントありがとうございます。

各ディスクのキャッシュもEnableで運用中です。各64MBずつですが。

キャッシュの割り振りについては以下のページを見つけました。
http://d.hatena.ne.jp/incarose86/20110716/1310840890

リード・キャッシュは効果が少ないため、HPのコントローラではリード・キャッシュ25%、ライト・キャッシュ75%の比率がデフォルト。
コントローラ・キャッシュはRAIDのパリティ計算などコントローラの作業用メモリとしても使われる。

HPの話ですがAdaptecも大きくは違わないんでしょうか。
パリティ計算のキャッシュ使用量がどれくらいなのか解りませんが、ライトキャッシュが75%＝750MBもあれば、500MBのテストではキャッシュが効いてもおかしくないと思うのですが。。。

試しにリードキャッシュをDisableにして計測してみました。その分ライトキャッシュに割り振られるかも？と期待。。。
結果は予想外のものでした。
１GBはリードが倍近く速くなり、ライトは変わらずでした。
500MBはリードキャッシュDisableにもかかわらず、リード・ライトほぼ変わらないデータでした。

実はリードキャッシュをOFFにしたのは初めてだったのですが、この結果を見てよく解らなくなりました。
リードキャッシュ＝払い出しデータの先読みデータをキャッシュに読み込むという理解ですが、CrystalDiskMarkと先読みシステムの相性が悪いんですかね？
大容量ファイルを書き込む時の時間を短縮してくれると有り難いんですが、ライトの方は速くならないです。。。

ちなみにライトキャッシュをDisableにするとライトスルーになって、極端に遅くなりました。

書込番号：19300969

[kkuro]

1GiB グラフ　ストライプサイズ64が高評価	500MiB　グラフ　ストライプサイズ32でQ=32のキャッシュ有効	100MiB　ストライプサイズ16が低評価　それ以外は横並び	グラフの元データ

本日、時間が出来ましたのでストライプサイズ違いによるキャッシュ効き具合を調査してみました。

メインのHDDはデータのバックアップ、リカバリが大変ですので、以前使用していたWDC WD5000AAKS-6（500GB　SATA2）3個をRAID５でデータ取りしました。

結果、500MiBでストライプサイズ32KB以下だとQ=32がライトキャッシュ有効になることが解りました。Q=1ライトは数値が低いですが。。。
ストライプサイズが小さければよいかというと、16KBではキャッシュ自体の数値が低いといった弊害が見られ、キャッシュに特化するとストライプサイズ32KBが一番効率が良さそうと判断できます。

ただ、ストライプサイズ32KBは１GiBのQ=1シーケンシャルライトの数値が極端に低く、採用に悩みます。。。
これさえなければ即採用なんですけどね。

書込番号：19317513

[Sparkling Cider]

キャッシュの効果が得られる条件ですが、リードは読み込むデータがキャッシュ内に存在していないといけないので、同じデータを繰り返してリードする必要があります。最初のテストでは５回繰り返しているようなので、十分にキャッッシュの効果が得られているのでしょう。

これに対して、ライトの場合は書き込むデータ量分、キャッシュが空いている必要があります。
500MBを5回連続、合計2.5GBの書き込みを短時間に行っているので、キャッシュの効果が十分に得られないのは自然なことのように思われますが、こういうことではないのでしょうか？

キャッシュの効果を確認するのが目的なら、ライトの測定回数は1回が良いと思います。
できれば、キャッシュをフラッシュしてからが望ましいです。

書込番号：19317662

[kkuro]

＞Sparkling Ciderさん

コメントありがとうございます。

なるほど、連続5回でのテストはキャッシュ容量をオーバーしてしまう　ですね。
今、ビルド中なので、終わり次第1回でのテストをやってみます。
ただリードとライトのテストがセットでしか出来ないので、ライトの前にキャッシュをクリアするのは難しいかもです。

CrystalDiskMarkは5回のテストのMAX値を参照しているので、推論が正しければ5回のテストでも最初の1回はキャッシュ容量内の評価になりそうですが。。。

書込番号：19317861

[kkuro]

RAID0　ストライプサイズ64KB	RAID0　ストライプサイズ128KB	RAID0　ストライプサイズ256KB

パリティ計算の無いRaid0でのテストを行なってみました。

ストライプサイズ64,128,256KBでの比較になります。

最初に128KBで行なったところ、500MiBのQ=32のライトがそこそこの値だったので、ストライプサイズを小さくすれば更に良くなるかと思いましたが、結果は微妙な感じでした。

逆にストライプサイズを256KBに上げてみたらどうかとやってみましたが、Q=1シーケンシャルリードが極端に小さくなり、以前Raid５でも経験した症状がRaid0でも発生するようです。デフォルト設定の256KBで不具合が出るのがやるせない感じですね。。。

Raid0はストライプサイズ128KBが良さそうです♪

書込番号：19317963

[Sparkling Cider]

＞　CrystalDiskMarkは5回のテストのMAX値を参照しているので、推論が正しければ5回のテストでも最初の1回はキャッシュ容量内の評価になりそうですが。。。

失礼しました。テスト結果は平均値ではなくMAX値なのですね。
となると、1回目もキャッシュの効果が十分に得られていないということになりますね。
100MBのライトが高速であることから、（キャッシュが十分に空いていることを前提にすると）キャッシュ管理のアルゴリズムに起因していそうですね。キャッシュの内容がディスクに書き込むしきい値を超えたとか、そういうことのように思います。

書込番号：19318439

[kkuro]

ストライプサイズ32KB　各1回のテストと500MiB5回の比較	ストライプサイズ32KB　1GiB　Q=1シーケンシャルライトの値改善

＞Sparkling Ciderさん

ビルドが終了しましたので、各1回のテストを行なってみました。
参考に各5回のテストを並べてみましたが、100MiBの数値には届かないです。
500MiBでのキャッシュが一番効率的に使用されるストライプサイズ32KBでのテストです。
各5回のテストを見ていると、2回目以降に数値が更新されているので、キャッシュに累積されていないのかもしれません。


長時間かかるビルドを行なった結果、1GiB　Q=1シーケンシャルライトの値が改善されました。
ストライプサイズ64、128KBだとQ=1シーケンシャルリードが430MB/sになるのでそこまで及びませんが、ストライプサイズ32KBがベストな選択なのかも知れません。。。
メインで使用しているHDDのデータスリム化とバックアップを行なって、ストライプサイズ変更してみようと思います。

書込番号：19319030

[Sparkling Cider]

CrystalDiskMarkって、リード、ライト、それぞれ４回ずつ計８回のテストを行うんですね。
ということは、前のリードのテスト時に使用されたキャッシュがフラッシュされないままライトのテストが行われている可能性があるし（100%ライトキャッシュに設定していてもリードするデータのライトは行われるし）、ライトのテストだけでも４回、少なくとも2GBのライトが行われるわけですね。

これを考慮すると、CrystalDiskMarkを使ってキャッシュの効果をテストするなら、データサイズは十分小さくしないといけなそうです。
データサイズが100MBであっても、短時間に相当量（８倍の800MB？）のライトが行われているはずなので、1GBのキャッシュは十分機能しているのではないでしょうか。

書込番号：19323981

[kkuro]

変更前　ストライプサイズ128KB	テスト１　ストライプサイズ64KB	テスト２　ストライプサイズ32KB　これが一番パフォーマンス高いかな〜	テスト３　ストライプサイズ16KB　キャッシュ効率低下

メインで使用中のHDDのストライプサイズを変更しました。
事前調査の通り、ストライプサイズ32KBがキャッシュも含めたパフォーマンスは一番高いと判断しました。

ストライプサイズ32KBだと500MiBのQ=32シーケンシャルライトのパフォーマンスは高くて良いんですが、Q=1シーケンシャルライトのパフォーマンスがいまいちなんですよね〜。。。　2000MB/ｓくらい出ればいいのに。

あと、やはりリードキャッシュはDisableの方がパフォーマンス高いです。
画像のテストは全てリードキャッシュ　Disable　です。


今、ビルド＆バックアップデータ書き戻し中ですが、もうやりたくないです。。。今回を最後にしたい。

書込番号：19324803

[kkuro]

Q=32シーケンシャルリード　4回目の実測値	Q=32シーケンシャルライト　4回目の実測値

＞Sparkling Ciderさん

気になるページを見つけました。
http://home.catv.ne.jp/ss/user/yukata/CrystalDiskMarkZ/CrystalDiskMarkZ.html
https://msdn.microsoft.com/ja-jp/library/cc429256.aspx

CDM3.0は、
CreateFile 時に FILE_FLAG_NO_BUFFERING のフラグを設定している
FlushFileBuffers でバッファをフラッシュして、CloseHandle で閉じている

実はFlushFileBuffersをすると蓄積された変更が即座に書き込まれるので、
CDM3.0を使って遅延書き込みによる効果の計測をするのは難しいのである。

ここでいうバッファが8405のキャッシュに相当するのかは不明ですが、仮にそうであるとすると、計測の都度、毎回バッファはクリアされているのかもしれませんね。

実際、リアルタイムにHDDへのリードライトを計測するソフトを使用してみると、500MiBの1テスト項目あたり1回目のみ高速で2回目以降は低速ということはなく、1回目〜5回目までコンスタントに計測値を表示しています。
この動作を見ると8405のキャッシュがオーバーフローしていることはないと判断します。毎回クリアされているんでしょう。


P.S.
今回のストライプサイズ変更で退避していたバックアップデータの一部が壊れてしまい、いくつかのファイルがきちんとリカバリ出来ませんでした。
超重要なデータではなかったのですが、凹んでいます。。。

書込番号：19331065