『小容量ファイルの大量書き込み時のSSDキャッシュの効果について』のクチコミ掲示板

[どどんごどん]

下記URLのヤフー知恵袋にも質問を出しているのですが、欲しい回答が得られないためこちらにも質問させて頂きました。

https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q13242579413

DS720＋にはM.2SSDをキャッシュ利用として搭載できますが、この機能が小容量の大量の画像ファイル(単一容量が数十KBから1MBぐらいのファイルを数十万個)を1GbpsのLAN経由でNAS(TOSHIBAのHDD16TBを2個でRAID1構成)に書き込む際に、書き込み時間の短縮に効果があるのか知りたいです。

あまり効果が無いならDS220＋を購入しようかと考えいますが、その場合メモリを増設したら上記の書き込みに効果ありますか？
それも効果無いなら、更に安いDS218にしようと思ってます。

ちなみに個人利用なので基本的には1人しかアクセスしません。

書込番号：24117087　スマートフォンサイトからの書き込み

[KAZU0002]

ちと製品が違いますが。
>Synology DiskStation DS415+でSSDキャッシュを試す
https://www2.kokoro-navi.com/diary4/2016/01/synology-diskstation-ds415-ssd-cache-benchmark/
こちらでの検証では、SSDによる性能向上は大して無いようです。目盛りによるキャッシュ効果が既に有るようなので、ここが溢れない限りにも思えますが。
こちらの方は、「激しいランダムアクセスが発生する環境下においてはSSDキャッシュは有用」とは書かれていますが。「小さいファイルを大量に」は、別にランダムアクセスにはなりませんので、シーケンシャルと同じ考えで良いと思います(小さいファイルが連続して書き込まれるのはシーケンシャルと同じ)。

検索で出てくる他のCDM結果を見ても似たような感じですね。せっかくのSSDの速度も、LANの速度がボトルネックになっているようです。

書込番号：24117196

[LsLover]

『ヤフー知恵袋にも質問を出しているのですが、欲しい回答が得られないためこちらにも質問させて頂きました。』

以下でも、「シーケンシャルの向上には10GbEが効果大」としているようですが...。

『
SynologyのNASでM.2 SSDや10GbE、拡張性を手に入れた5ベイ製品「DiskStation DS1517+」
基本性能をチェック
M.2 SSDキャッシュでどこまで高速化できるか？
　この機能が有効に発揮されるのは、やはり複数ユーザーで日常的に同じようなファイルを使う業務が頻繁に発生するケースだろう。今回のように単純かつ短時間のテストでは、キャッシュの効果は表れにくい。だが、それでもきちんと効果があったので、導入を検討する価値は十分にありそうだ。

　なお、キャッシュの容量をどう設定するかは悩みどころだ。ストレージマネージャには「SSDキャッシュアドバイザー」という機能が搭載されている。これは、読み書きのデータを解析することで、よくアクセスされるホットデータやウォームデータの容量を確認できるもの。このため、しばらく実環境で運用し、これらの容量を確認してからSSDキャッシュを導入するのも一つの選択肢だ。
シーケンシャルの向上には10GbEが効果大
』
https://internet.watch.impress.co.jp/docs/column/shimizu/1056892.html

『DS720＋にはM.2SSDをキャッシュ利用として搭載できますが、この機能が小容量の大量の画像ファイル(単一容量が数十KBから1MBぐらいのファイルを数十万個)を1GbpsのLAN経由でNAS(TOSHIBAのHDD16TBを2個でRAID1構成)に書き込む際に、書き込み時間の短縮に効果があるのか知りたいです。』

「小容量の大量」のケースでは、キャッシュのヒット率は低くなるので、キャッシュの効果は期待できないと思います。

sambaプロトコルでファイラーを使ってデータコピーを行う場合、
1.PCのLANアダプタが転送元と転送先のデータを扱うためネットワーク帯域が1/2に制限される
2.ファイラーで転送元と転送先の同期をサポートしていない
3.sambaプロトコルは、問題のケースにはCPUやメモリリソースを大量に使用するなど向いていない

Unix/Linuxでは、数テラByteのデータを同期するには、Rsyncが利用されているようです。

書込番号：24117226

[どどんごどん]

＞KAZU0002さん
＞LsLoverさん
回答ありがとうございます。

最初に書き忘れたのですが、同じ100GBの書き込みでも「10GBのファイルが10個」と「1MBのファイルを10万個」とでは後者の方が時間がかかりますよね？(自分の所有してるPCから外付けHDDへの書き込みではそうなります)
なので、NASを導入してLAN経由で大量の小ファイルを書き込む時にものすごい時間がかかりそうなので、どうにか時間短縮できる方法はないかと模索してました。

お二方の回答を見たところ、結局何をしても「小容量ファイルを大量に書き込む」事は時間短縮できないのでしょうか？

それならばNASの候補は「DS220＋」か「DS218」のどちらかを検討しますが、「DS220＋」はメモリ増設しても自分1人での運用ではあまり意味無いのでしょうか？(LANの10Gbps導入は考えてません)

書込番号：24117284　スマートフォンサイトからの書き込み

[ねむーーん]

HDD16TBを2個でRAID1構成とのことですが
８TBの4台をRAID10運用か、6TBの４台でRAID5の運用を検討しても良いと思います。

これでも書き込み速度は変わると思います。


さて、当方はTS-453Dで現在運用していてDS218からデータ移行しました。
DS218では遅くて死蔵していた重複写真ファイルを移行してからはソフトを使用して整理することができました。

あと、多量の写真ファイルを転送する場合かなり転送時間が遅いのでtarで複数のファイルを1つにまとめ
転送してから展開した方がいいと思います（どなたかに教えていただきました）

書込番号：24117316

[LsLover]

『最初に書き忘れたのですが、同じ100GBの書き込みでも「10GBのファイルが10個」と「1MBのファイルを10万個」とでは後者の方が時間がかかりますよね？(自分の所有してるPCから外付けHDDへの書き込みではそうなります)
なので、NASを導入してLAN経由で大量の小ファイルを書き込む時にものすごい時間がかかりそうなので、どうにか時間短縮できる方法はないかと模索してました。』

外付けHDDをNASに変更してもコピー時間の短縮は厳しいかと思います。
ですから、初回のバックアッブですべてのファイルをコピー後、更新の有ったファイルのみを（差分）バックアップするなどしてバックアップ時間を短縮するのも一案かと思います。

ホームユースのNASでは、性能限界もありますので、バックアップデータを厳選することも必要かと思います。

『結局何をしても「小容量ファイルを大量に書き込む」事は時間短縮できないのでしょうか？』

ねむーーんさんが投稿されていますが、tarなどにより1ファイルに纏めてから転送するのも一案です。
ネットワーク回線がボトルネックとなる場合でもRsync（サーバ/クライアント）を使って（差分）バックアップを行うのも一案かと思います。

『「DS220＋」はメモリ増設しても自分1人での運用ではあまり意味無いのでしょうか？』

VMなどの運用がなければ出荷時のメモリ2GBは、十分すぎる容量かと思います。
メモリ増設が必要になった時に検討すれば宜しいかと思います。

『
ハードウェア仕様
システム メモリ 2 GB DDR4 non-ECC
最大メモリー容量 6 GB (2 GB + 4 GB)
』
https://www.synology.com/ja-jp/products/DS220+#specs

書込番号：24117334

[どどんごどん]

＞ねむーーんさん
回答ありがとうございます。

RAID10やRAID6の構成なら1GbpsLANでの運用でも書き込み速度が早くなるのでしょうか？

また、DS218が遅いというのはCPUやメモリが貧弱だからということですか？

書込番号：24117340　スマートフォンサイトからの書き込み

[ねむーーん]

＞どどんごどんさん
まず先にDS218が遅いというのはTS-453Dと比較してLANの転送速度の要因が大きいと思います。
CPU、メモリが影響するのはNAS上で動くアプリの動作に影響が大きいかと。
あと、多数からのアクセス処理か。

＞RAID10やRAID6の構成なら1GbpsLANでの運用でも書き込み速度が早くなるのでしょうか？
書き込みに関しては、そう変わらないかもです。RAID5の読み込みはRAID1に比較し速いとの記事があります。

個人的にHDD16TBを2台の構成を検討中なら前述のようにHDDを4台構成を検討しても良いかと思います。
16TBを2台より８TB4台のが安いと思われるので。その分NASの良い性能のを買えるかと。

書込番号：24117409

[魔境天使_Lucifer]

> 最初に書き忘れたのですが、同じ100GBの書き込みでも「10GBのファイルが10個」と「1MBのファイルを10万個」とでは後者の方が時間がかかりますよね？

ですね。


> NASを導入してLAN経由で大量の小ファイルを書き込む時にものすごい時間がかかりそうなので、どうにか時間短縮できる方法はないかと模索してました。

FYI
Windows 側の チューニング

ファイル サーバーのパフォーマンス チューニング
https://docs.microsoft.com/ja-jp/windows-server/administration/performance-tuning/role/file-server/

SMB ファイルサーバーのパフォーマンスチューニング
https://docs.microsoft.com/ja-jp/windows-server/administration/performance-tuning/role/file-server/smb-file-server


Ethernet の ”割り込みモデレーション”を無効にする
割り込み節度
https://docs.microsoft.com/ja-jp/windows-hardware/drivers/network/interrupt-moderation

書込番号：24117453

[どどんごどん]

＞魔境天使_Luciferさん
＞ねむーーんさん
＞LsLoverさん
回答ありがとうございます。

みなさまの意見を参考にした結果、自分の運用用途ならDS218で十分かなと思いました。

NASの導入を考えたのは、今まで複数の外付けHDDに保存していたデータを1つにまとめ、複数のデバイスから簡単にアクセスする事が目的です。(あくまで家の中だけ。外出先ではアクセスしないと思います)
その上でRAID1を構成して「もしも」に備えようと考えていたのですが、更に保険として外付けHDDも加えてNAS自体のバックアップも取ろうと考えてました。

ですがAmazonで見かけたレビューに、「仕事ではなく個人使用なら冗長性は必要ない(トラブルで少しぐらい使えない期間があっても問題無いという解釈？)から、RAID0でHDD2台を挿入して、片方をメインストレージに、もう片方をバックアップ用ストレージとして運用する」旨のレビューを見かけました。

それなら外付けHDDを用意する必要も無くてコスパが良く、設置スペースも縮小出来るので参考にしよう思ったのですが、そこで更にお聞きしたい疑問が2点出てきました。


�@同じNASに挿入したHDD間でバックアップを取る事はできるのですか？(初回フルバックアップ以降は差分バックアップにしたい。)

�A同じNASに挿入して運用してる以上、HDDの運転時間も同じになるからRAID0運用でもHDDが故障するタイミングは同じような時期になる確率が高くなりますか？(運も絡んでくるため一概には言えないと思いますが)
そうなるとスリープ機能がついた外付けHDDにバックアップした方がまだマシなのでしょうか？


みなさまの意見をお聞かせ下さい。

書込番号：24117948　スマートフォンサイトからの書き込み

[どどんごどん]

先の質問の補足です。

�Aの最後に書いた「外付けHDDにバックアップする方がマシ？」とは、2ベイの内1台のみHDDを入れて、そのバックアップを外付けHDDにした方が�@の方法よりも少しはデータ損失のリスク抑えられるかな？というものです。(そうなると2ベイのDS218ではなくてもいい気がしますが、将来性を考慮すれば2ベイでもいいかな？)

書込番号：24117972　スマートフォンサイトからの書き込み

[魔境天使_Lucifer]

私見ですが NAS にする必要性が有るのかが疑問。

DATA の バックアップ 用途なら古い 又は 安い PC （Desktop）の方が有利ではないだうかと個人的には思う。
・NAS で NAS 自体が トラブれば DATA 喪失する可能性が高い？
・SMB の VER の更新が常に行われない？

PC なら
・PC がトラブってもストレージを外してDATAをサルベージする事は比較的簡単
・Windows の更新を行えば SMB の VER は常に最新 VERに成る
・バックアップ 用PCとして使用可能
・マルウエアー 対策 アプリ で常時 チェックされる
・同期 アプリ 等で同期させれば ストレージ を同一な物で無くても良い（SSD と HDD の組み合わせ等）

バックアップ用 PC を何か操作する必用が有れば リモートデスクトップ で入れば済む。

書込番号：24118081

[どどんごどん]

＞魔境天使_Luciferさん
なるほど、そういう考えもありますね。ネットワーク経由のHDD＝NASしか頭に無かったので。
ただ、設置スペースの事や常時稼働させるとなるとPCよりもNASの方が良いのかなと思ってしまいますね。

書込番号：24118143　スマートフォンサイトからの書き込み

[LsLover]

『�@同じNASに挿入したHDD間でバックアップを取る事はできるのですか？(初回フルバックアップ以降は差分バックアップにしたい。)』

同一のNAS内の内蔵HDDにバックアップするのは、お勧めできません。
万一、NASが起動できない状況になった時には、内蔵HDDのバックアップデータからリストア出来ません。
バックアップデータは、NAS接続のUSB HDDや他のNASにバックアップを取ることをお勧め致します。

『�A同じNASに挿入して運用してる以上、HDDの運転時間も同じになるからRAID0運用でもHDDが故障するタイミングは同じような時期になる確率が高くなりますか？(運も絡んでくるため一概には言えないと思いますが)』

重要なホームサーバでしたら、内蔵HDDは新規HDDに交換をお勧め致します。
RAID0で片方の内蔵HDDに障害が出た場合、すべてのデータにアクセスできませんので注意してください。

『そうなるとスリープ機能がついた外付けHDDにバックアップした方がまだマシなのでしょうか？』
『�Aの最後に書いた「外付けHDDにバックアップする方がマシ？」とは、2ベイの内1台のみHDDを入れて、そのバックアップを外付けHDDにした方が�@の方法よりも少しはデータ損失のリスク抑えられるかな？というものです。』

�@の回答をご参照ください。
「2ベイの内1台のみHDDを入れて、」ということでしたら、1ベイのNASを購入した方が宜しいかと思います。

書込番号：24118146

[魔境天使_Lucifer]

> 設置スペースの事や常時稼働させるとなる

そうですね、設置スペースはモニタ、KB 等無しでも絶対値は NAS の方が小さい。


HDD の形式には要注意！
SMR？CMR？HDDの書き込み方式は2種類
https://www.pro.logitec.co.jp/houjin/usernavigation/hddssd/20190207/

書込番号：24118366

[どどんごどん]

みなさま回答ありがとうございます。

当初はDS720＋を検討していましたが、みなさまの情報を元に検討した結果、NASは1ベイで運用し外付けHDDにバックアップする事にしました。

現在購入を検討しているのは、1ベイのDS118か、CPUとメモリが高性能なDS218です。
ただ、DS118のCPUがCeleronではないのと、メモリ1GBが少し気がかりです。
NASの利用目的は、複数のデバイスでデータを保存＆ダウンロードできるHDDとして使用すること、たまにchromecastやスマホなどに動画や画像をストリーミングするぐらいです。
この利用目的ならDS118でも性能的に問題ないでしょうか？(全て個人利用です。増えたとしても2人までの利用だと思います。)

商品違いの質問になってしまうのでこれで最後にします。
回答よろしくお願いします。

書込番号：24118827　スマートフォンサイトからの書き込み

[ねむーーん]

SSDキャッシュないけど大丈夫？

書込番号：24118867

[どどんごどん]

＞ねむーーんさん
LANが1Gbpsなのと個人利用なので要らないと判断しました。

書込番号：24118875　スマートフォンサイトからの書き込み

[LsLover]

『ただ、DS118のCPUがCeleronではないのと、メモリ1GBが少し気がかりです。』

SSDキャシュには対応できませんが、DS220+でしたら、ご要望に沿うかと思います。

CPUモデル：Intel Celeron J4025
システム メモリ：2 GB DDR4 non-ECC

『
結果
』
https://www.synology.com/ja-jp/products/compare/DS218/DS218play/DS220+/DS220j

DS220+、内蔵HDD（CMR）、外付けUSB HDDで如何でしょうか?

『
Western Digital、NAS向けHDD「WD RED」のプラッタ記録方式の識別法を公開
』
https://news.mynavi.jp/article/20200728-1177863/

書込番号：24119317

[どどんごどん]

＞LsLoverさん
返信遅くなり申し訳ありません。

あのあと色々考えて、未だにどの機種にするか決められてません。
ただ、大体は選別できたので後は財布と相談する感じです。

低コストなら、DS118に16TBのHDDでバックアップ用に16TB外付けHDD

金をかけるなら4ベイでRAID5or6or10にして、DS420jかDS418かDS420＋

4ベイにするとしても組み合わせ次第でかなり高額になるので、まだまだ検討中です。

書込番号：24123463　スマートフォンサイトからの書き込み

[どどんごどん]

＞LsLoverさん
＞ねむーーんさん
＞魔境天使_Luciferさん
＞KAZU0002さん

みなさんお付き合い頂きありがとうございました。勉強になりました。
決定ではないですが、財布と相談しながらDS418でRAID5を組む方向で検討してみます。

書込番号：24125154　スマートフォンサイトからの書き込み

[LsLover]

『決定ではないですが、財布と相談しながらDS418でRAID5を組む方向で検討してみます。』

バックアップ用USB HDDの購入をお忘れなく!!

書込番号：24125333