『ディスクフルになり、データへのアクセス不能へ』のクチコミ掲示板

[nanashi314]

●Ver.6.9.0〜Ver.6.9.3
「バランス（スケジュールor手動）」実行後、1時間程度放置するとディスクフルになりデータへのアクセス不能へ（6回中6回）。

●Ver.6.9.3（ほかのバージョンは未実施）
robocopyを行うと数TB完了したあたりでNASがRead Onlyになってしまう。
再起動するとRead Onlyは解除され書き込みが可能となるが、数分で再びRead Onlyへ。ちなみに
この時の書き込み作業は再起動すると無かったことなってます。
何度か再起動しているうちにこのパターンでもディスクフルになり、データへのアクセス不能へ（3回中3回）。

どちらも5TB以上、空いていたと思います。


ネットギア社に問い合わせてみたものの、特に有益な情報は得られず。
すでにNETGEAR Communitiesに挙がっている詳細ログも含めた似たような案件と同件なのか聞いてみたものの、
「わからない」とのこと。初期不良の話も出てきませんでした。

BTRFSの「バランス」に関してのウワサは聞いていましたが、まさかホントになるとは…。
初めて発生したのはRN104で、不良セクタも出てきていたのでHDDの寿命かなと思っていたのですが、
そういうわけではなかったようで…。

RN214を購入してからサルベージ作業しかしておらず、
未だ保存媒体としてまともに使用できていないので残念です。


※環境
・X-RAID（RAID5）
・WESTERN DIGITAL WD100EFAX 新品4台

書込番号：21775511

[LsLover]

『●Ver.6.9.3（ほかのバージョンは未実施）
　robocopyを行うと数TB完了したあたりでNASがRead Onlyになってしまう。
　再起動するとRead Onlyは解除され書き込みが可能となるが、数分で再びRead Onlyへ。ちなみに
　この時の書き込み作業は再起動すると無かったことなってます。
　何度か再起動しているうちにこのパターンでもディスクフルになり、データへのアクセス不能へ（3回中3回）。

　どちらも5TB以上、空いていたと思います。』

RAID構成を実施していない、HDDに大量のデータをHDDに書き込むと、大量の遅延書き込みが発生します。また、ディスクI/Oの処理プライリティは非常に高いので、ソフトウェア処理も待ちが発生します。このような状態でコピー処理が異常終了してしまうとファイルシステムを壊す確率が非常に高いかと思います。
システムを再起動してしまうとファイルシステムの破壊が更に進む可能性が高いかと思います。

コピー元がWindows PCに接続されたUSB HDDなどから、ファイル共有（SMB）などのネットワークアクセスが介在して、コピー先のRN21400-100AJSの内蔵HDDに書き込む処理のようですので、ディスクI/O以外にネットワークアクセスの待ちなども発生します。

RAID5を構成しているようなので、コピー処理は複雑な過程を辿りますので、できるだけコピー処理の異常終了を発生させない手法を選択する必要があります。

「BTRFSの「バランス」に関してのウワサは聞いていましたが、まさかホントになるとは…。」の可能性も否定できません。

Windows(?)のrobocopyの信頼性は、copyやxcopyよりは高くなっているようですが、数TBのデータコピーは、お勧め出来ません。

再起動後、コピーデータが書き込まれた形跡を確認されたようですが、コピー処理に異常が発生して、事前にコピーしたデータの書き込みを正常に削除が完了すれば宜しいのですが、正しくディスク内の状態を表示していない可能性もあります。


『RN214を購入してからサルベージ作業しかしておらず、
未だ保存媒体としてまともに使用できていないので残念です。』

RAID5の容量は、10TBx4台x3/4=30TBとなりますが、「5TB以上、空いていたと思います。」ということですと25TB程度のデータを内蔵HDDに書き込んでいる状態なのでしょうか?

可能でしたら、工場出荷状態に戻し（内蔵HDDもフォーマットした方が宜しいかもしれません。

rsyncでしたら、インターネット上で数十TBのデータをネットワーク越しにコピー/同期するツールとして利用されていますので、信頼性はrobocopyなどよりは、はるかに信頼性は高いかと思いますが、この場合でも一気にデータをコピーするのではなく、数GB程度に分割してコピーを実施するなどのリスク回避を検討されては如何でしょうか?

『BTRFSの「バランス」に関してのウワサ』(?)も否定できませんが、コピー手順とコピー処理の異常終了時の対応に問題が有ったのではと推測されます。

書込番号：21775722

[LsLover]

連続投稿で申し訳ありません。

バックアップ元のデータを保存している媒体が、USB HDDなどでしたらRN21400-100AJSにUSB接続して、ローカルディスクとしてマウントして、内蔵HDDにrsyncコマンドでコピーすることも検討した方がコピー処理の異常終了のリスク低減に繋がるかと思います。

書込番号：21775753

[nanashi314]

＞LsLoverさん
レスを頂けるとは思っていませんでした。ありがとうございます。

確かに詳細ログを見ると、
・エラーの初めはI/Oエラー。
・そして「I/Oエラーに伴う、何かが処理しきれなかった感」のログの繰り返し。
・その後、Read Onlyへ。
・再起動後はBTRFSのツリー/ブロックのエラーがチラホラ。
なので、
LsLoverさんの話は的を射ているのでは…とかなり期待をしつつ、
再度、工場出荷時状態に戻し小分けでrobocopyしてみたものの…。

再びRead Only数回を経てディスクフル（データへのアクセス不能）になってしまいました。

書込番号：21796647

[LsLover]

『再度、工場出荷時状態に戻し小分けでrobocopyしてみたものの…。

　再びRead Only数回を経てディスクフル（データへのアクセス不能）になってしまいました。』

当然ではありますが、「工場出荷時の状態に戻す手順」によれば、ユーザ領域もフォーマットするようです。
「小分けでrobocopyしてみた」ということのようですが、どの程度の容量で分割したのでしょうか?

ReadyNAS OS6 工場出荷時の状態に戻す手順
ReadyNAS OS 6 デスクトップ型における工場出荷時の状態に戻す手順を紹介します。
初期化の方法としては２つあり、管理画面から行う方法が簡単です。何らかの理由で管理画面にアクセスできない場合は機器にあるリセットボタンを利用して初期化を行うことも可能です。
警告：工場出荷時の状態に戻すとすべてのデータが消去されます。必要なデータがあれば、初期化手順の前にバックアップを取得することを推奨します。
https://www.netgear.jp/support/download/tips/RNOS6_initialize.pdf

[書込番号：21775753]で投稿させて頂いた方法でも同様でしょうか?

書込番号：21796667

[nanashi314]

> LsLoverさん
たびたび詳しい説明をありがとうございました。
遅延の問題ではなかったようです。


やっとネットギア社から回答を頂きました。
> ボリューム使用量は 60% で問題ないのですが、
> Metadata領域に空きがございませんでした。
>
> ファイル数が多すぎるため現象が発生していると考えられます。
> 現在の8割程度にファイル数を減らした後に再度ログファイルを取得頂き、
> 「btrfs.log」内の「Metadata」の使用量が8割程度に減少するかを
> ご確認ください。
> 「btrfs.log」内の「Metadata」の使用量が8割程度に減少した場合、
> そのまま運用再開していただき、現象が再発しない事をご確認をお願いいたします。
> ※ReadyNASへのファイル追加は控えてください。

正直に教えてくれたことはうれしいのですが、これってかなり致命的な不具合というか欠陥じゃ…。

いきなりRead Onlyからディスクフルを経てデータへのアクセス不能は困るので
リミッタの仕組みは当然のことながら、正確な空き容量や警告の表示をしてほしいものです。
わざわざ詳細ログを見つつ、びくつきながら利用しないといけないのはさすがにちょっと…。

一度Read Onlyになってしまうと、もうほかの保存媒体にバックアップをとって工場出荷時状態に戻さなければ解決しません。
Read Onlyになってしまうと、実質、もう手遅れです（Metadataを再構成するといった手もあるみたいですが自分は未実施）。


> ●Ver.6.9.0〜Ver.6.9.3
> 「バランス（スケジュールor手動）」実行後、1時間程度放置するとディスクフルになりデータへのアクセス不能へ（6回中6回）。
バランスに関しても、RN104、RN214両方とも問題が発生した時のログを見てみましたが、
確かにこちらもMetadataの使用量が10割弱になってました。


うちのRN104は不良セクタを抱えているので単純に比較はできませんが、
うちの環境では「バランス」「コピー（ファイル数多大）」、両方の問題がRN104でも発生します。
もしかしたら、条件が揃えばネットギア社の全機種で発生してしまうのかもしれません。

あくまで結果だけですが、自分と同じことになっている人たちは以前からそれなりに居るようです。
（根本的な解決策は見つかりませんでした）
https://community.netgear.com/t5/Using-your-ReadyNAS/ReadyNas-Pro6-os-6-3-5-Read-only-volume/td-p/982359

https://community.netgear.com/t5/Using-your-ReadyNAS/Please-remove-inactive-volumes-in-order-to-use-the-disk-Disk-1-2/m-p/1194975#M121862

https://community.netgear.com/t5/Using-your-ReadyNAS/RN214-btrfs-corruption-forced-readonly/td-p/1390243

https://community.netgear.com/t5/Using-your-ReadyNAS/Remove-inactive-volumes-to-use-the-disk-Disk-1-2-3-4-5-6-7-8-9/m-p/1462914/highlight/true

https://community.netgear.com/t5/Using-your-ReadyNAS/RN104-BTRFS-Read-Only-No-SMART-Errors/m-p/1556515

https://community.netgear.com/t5/Using-your-ReadyNAS/RN104-says-inactive-volume/m-p/1520590



現在、synology社のNASを使用しています。
RN104とRN214で計10回発生したアクセス不能になる本件は、こちらでは発生しませんでした。

ネットギア社へ提出したログを見てみると、少なくとも自分が数か月前にバランスの件で報告した時点で
Metadataの問題は分かっていたはず。対策もできたはず…。
「危険なので告知をしたほうがいいのでは？」と提案もしたのですが、スルーされてしましました。

ネットギア社ってこんな企業だったのかなと思うと残念です。

書込番号：21808056

[庵ぽこ]

http://marc.merlins.org/perso/btrfs/post_2014-05-04_Fixing-Btrfs-Filesystem-Full-Problems.html

その現象はBTRFS初期から報告されている不具合です。
SynologyはBTRFS使用時にボリュームサイズの4％を最初からメタデータ領域として割り当てることでメタデータが圧迫することを緩和していますが完全ではありません。
BTRFSを使用する以上は完全に防ぐ事は難しいと言えます。

書込番号：21811825

[庵ぽこ]

追記
Bit rot保護（コピーオンライト）、スナップショット、クォータの3つをオフにすることでMetadataサイズを数百分の一に抑えることはできます。
すでに使用している環境でオフにしてもファイルを削除するまで減りませんが新規に作られるMetadataサイズは減ります。


Bit rot保護（コピーオンライト）オン、スナップショットオフ、クォータオフ
Used: 16.80TiB（全データサイズ）
Metadata,DUP: Size:32.01GiB, Used:18.10GiB（Metadataサイズ）
/dev/md127 64.02GiB

Bit rot保護（コピーオンライト）オフ、スナップショットオフ、クォータオフ
Used: 26.76TiB（全データサイズ）
Metadata,DUP: Size:1.00GiB, Used:87.50MiB（Metadataサイズ）
/dev/md127 2.00GiB


Bit rot保護（コピーオンライト）オン時は16.80TiBデータ中Metadata18.10GiB
3つがオフ時は26.46TiBデータ中Metadata87.50MiB


BTRFSの利点であるBit rot保護（コピーオンライト）、スナップショットを使用できなくなる欠点はあります。

書込番号：21813282