『USBを使ったキャッシュの設定』 の クチコミ掲示板

[よつばとりたい]

現在，ある解析データ（各3GB程度で合計役2TB程度）を6TBのHDDに順次保存しているのですが，
CPUでの計算時間よりもHDDへの書き込み時間の方が2倍以上大きく，
なんとか解析時間短縮のために書き込みの高速化を検討しています．
（本当は解析結果の操作をする際にリードも早くなって欲しいのが本音ですが，
今は書き込みを速くして解析時間を短縮させることが優先順位が上だと判断しています）

RAID 0 も考えましたが，他の方法もないかと考えていた時に
ふと疑問が湧いたので質問させて頂きます．

最近ではSanDiskのようなSSD並のシーケンシャルやランダムを持ったUSBも出てきました．

またSSDを用いたHDD高速化のためのキャッシュの設定などもIntelのラピッドテクノロジー等に
より行われていることも多少ながら知っています．
（ネットでちょこっと調べた程度でそこまで詳しくはないです）

そこでSSD並のリードやライトを持つUSBをHDDのキャッシュに設定することなどは
可能なのでしょうか？

またそのようなことが可能な場合,仮に
SanDiskの250MB/s or 500MB/s程度のリードやライトを持つSSDをHDDのキャッシュに設定した場合と，
SanDiskの250MB/s程度のリードやライトを持つUSBをHDDのキャッシュに設定した場合とでは，
1GB以上のような大きなファイルを操作する際に実質的な体感としてはやはり同程度，
もしくは2倍程度の速度差が体感出来るのでしょうか？

また何か他に方法がある場合ご教授頂けると助かります．

書込番号：18042568

[クアドトリチケール]

そういうのはram diskが一番だとは思うが、ioで時間を食ってるなら、解析ソフトのチューニングをすべきやろね。

書込番号：18042616

[KAZU0002]

キャッシュとは、「一度読み込んだデータの再利用」ですので。書き込み速度が早くなると言っても、キャッシュ容量に収まる範囲でのことです。シーケンシャルでどんどんデータが書き込まれるような状況には、大して効果はありません。
期待される効果は、キャッシュではなくバッファだと思いますが。この辺も同じ理屈で効果は少ないでしょう。データ量がキャッシュの容量を超えてしまっては、結局の所HDDに書き込まれる実時間に左右されます。


これが3GBのデータだけ…ということなら、デバイスマネージャーで該当ドライブの書き込みキャッシュが有効になっていれば、メインメモリのキャッシュ効果で収まるでしょう。
3GBが連続して処理されて合計2TBとなると、HDDの速度を向上させるしかありません。

とりあえず。
>CPUでの計算時間よりもHDDへの書き込み時間の方が2倍以上大きく
ここのHDDへ書き込まれるデータの実転送量は、どれくらいでしょう？　生成されたデータ/処理にかかった時間で計算できます。まずはこれがHDDの速度が無視できない程度なのかの確認を。

また、読み込みデータが置いてあるストレージと、書き込み先のストレージを分けるのは基本ということで。

書込番号：18042656

[よつばとりたい]

＞書き込み速度が早くなると言っても、キャッシュ容量に収まる範囲でのことです。
とありますが，仮にHDDのキャッシュの大きさが64MBだった場合で，SSD256GBをキャッシュとして設定した場合は，私のイメージとして64MB→256GBにキャッシュが増えたという感じなので（実質，SSDのリードやライトの速度になると思いますが・・・）3GBのデータではキャッシュ容量を超えることはないので書き込み速度が速くなると考えたのですが，どこか根本的に私が間違えているでしょうか？

＞シーケンシャルでどんどんデータが書き込まれるような状況には、大して効果はありません。
この文ではずっとHDDが3GBを保存し続けた場合に256GBのSSDのキャッシュを超えると，それ以降は書き込みが遅くなるという意味でしょうか？

＞デバイスマネージャーで該当ドライブの書き込みキャッシュが有効になっていれば
有効になっています．

HDDへ書き込まれるデータの実転送量ですが，今計測してみたところ，

12CoreのCPU，64GBのメモリで
（計算時間約120秒）＋（保存時間約180秒）＝（解析時間1ステップ合計約300秒）
（生成される1ステップ毎のデータ量 2072MB）
ということでHDDへ書き込まれるデータの実転送量は
2072MB/180s=約11.5MB/sという計算で良いのでしょうか？

これが20CoreのCPUで解析を回した時に計算時間が約90秒となり保存時間に対して二倍程度となります

2倍以上という表現や，データの大きさ3GBは間違いでした．
実際には2倍以上→2倍，データの大きさ3GB→2GBでした．すみません．

この2GBの計算結果×1000データ程度＝全体の保存データ量2TB　です．

＞読み込みデータが置いてあるストレージと、書き込み先のストレージを分けるのは基本ということで。
これは私の解析では2GBを読み込んで，2GBを保存して，新たに2GBを読み込んで，2GBを保存して・・・という作業を行っているわけではないので問題はないと思います．

流体の非定常解析を行っているので，単純なタイムステップ毎に2GBが次々に保存されていくという作業です．

書込番号：18042862

[twin-drive]

USBフラッシュでHDDを高速化…というのはVista時代の話。
当時は高速なUSBフラッシュが少なかったとは言え、碌に速度でないから廃れちゃった。

TB単位のSAS/SATA SSDをまとめ買いするのが最高だけど、複数HDDでRAID組むくらいが堅実だと思うね。

書込番号：18043353

[こぼくん35]

こんばんは。。

おそらく、「 ReadyBoost」の事を言っているものと思いますので、説明するのも長文になるので、付けておきます。

この名称で検索を掛けるといくつもヒットすしますので、確認してみてください。

それと、一概に2GBの移動するデータがあると言われましても、中身が細切れなのか、１本のデータなのかによっても速度が変わってきます。

CDMで1本だと、2000Mで計測すると良く判るものと思います。

参考
http://speedup-xp.com/win7org/36.html

いまだと、RAMDISKさえ使われなくなってきているのではないでしょうか・・・?

一時的にスピードが必要なのであれば、SSDに保存しておいて、バックアップをHDD２個にするとか・・・・?

これのほうが現実的かと!!

書込番号：18044281