こんばんは、jackです。
DiskMirroringToolにはいつもお世話になっております。
少し変わった使い方をしたらうまく動かなかったので質問したく・・・

私の勤め先はboxと契約したので、自分のPCにBoxDriveをインストールしました。
boxはOneDriveのようなクラウドストレージサービスです。
BoxDriveは、boxクラウド上のファイルを自分のローカルPCのフォルダー上にあるファイルのように、エクスプローラーから直接アクセスできるようにする常駐ソフトです。
例えば、BoxDriveをインストールすると、エクスプローラーにC:Users\username\Boxというフォルダが現れて、そこから下の階層ではBoxクラウド上のファイルに直接アクセスできます。

さて、DiskMirroringToolを使って、元々所有していたネットワーク上にあるNASからBoxへフォルダ丸ごと差分バックアップを行おうとしたところ、以下に示すようなエラーが大量に記録されました。エラーは３種類あって、出るときと、出ない時があるようです。

これらのエラーを回避する方法は何かあるでしょうか？
また、これらのエラーメッセージの意味(詳細)を教えては頂けないでしょうか。

テスト環境
・Windows10 64bit
・DMTU0381_x64とDMTU0381_w2k(どちらも同じエラー出ます)
・Box Drive v2.41
・AAA,BBB,CCCは適当なフォルダ名を、
・PPP,QQQは適当なファイル名を表しています。
------------------------------------------------------------
マスタ側　　　：\\NASNAME\Folder1 (NAS上のフォルダ)
バックアップ側：C:\Users\username\Box\Folder\Folder1 (Box上のフォルダ)

--------------------------------
以下のエラーを無視しました。
--------------------------------
ファイル存在チェック：C:\Users\username\Box\Folder\Folder1\AAA\BBB\PPP.doc

ファイルを格納しているボリュームが外部的に変更されたため、開かれているファイルが無効になりました。
--------------------------------
以下のエラーを無視しました。
--------------------------------
フォルダ存在チェック：C:\Users\username\Box\Folder\Folder1\AAA\BBB\CCC

ファイルを格納しているボリュームが外部的に変更されたため、開かれているファイルが無効になりました。
--------------------------------
以下のエラーを無視しました。
--------------------------------
\\NASNAME\Folder1\AAA\BBB\QQQ.xls

バックアップ側のファイルのタイムスタンプが不正です。
--------------------------------

ご報告ありがとうございます。
初めて見たエラーメッセージです。

ログに「ファイル存在チェック」とあるので、
ファイル存在チェックの処理で何らかの原因によりエラーが発生したと考えられますが、、、

通常は、ファイル存在チェックで発生するエラーは以下のようなメッセージです。
・ネットワーク パスが見つかりません。
・指定されたパスが見つかりません。

要するに、ドライブやネットワークが切断された場合に指定されたパスがなくなってしまい、エラーが発生することがあります。

今回は「ファイルを格納しているボリュームが外部的に変更されたため、開かれているファイルが無効になりました。」というメッセージで、
正直これまでに見たことがないエラーです。

Box Drive は、エクスプローラーでその専用のフォルダが出てくるとのことですが、
エラーログにあるファイルは普通のローカルファイルと同じ状態(表示)なのでしょうか？

仕組みがわからないのですが、そのフォルダにあるファイルにアクセスが発生すると、
その時点で Box Drive のアプリがクラウドからダウンロードするような動作になっているのでしょうかね？

DiskMirroringTool Unicode は、ファイルの属性を調べた上でコピー動作をするため、
その属性を調べた時点で、実はローカルにまだファイルがない、というような状態だと、変なエラーになるかもしれません。

現在のところ対処方法が思いつきません。。。すみません。

OneDrive は使ったことがあるのですが、OneDrive はファイルにアクセスが来た瞬間に
クラウドから実体のファイルがダウンロードされて、通常のローカルファイルと同じように動作します。

Box Drive が実体のファイルをどう扱っているかがわかれば、何か解決策が思いつくかもしれませんが、、、

エクスプローラーでコピーするとき、BoxDrive 専用のフォルダから別のフォルダにコピーするときと、
単純にローカルファイルを別のフォルダにコピーするときと動作に違いはありますか？

＞Box Drive は、エクスプローラーでその専用のフォルダが出てくるとのことですが、
＞エラーログにあるファイルは普通のローカルファイルと同じ状態(表示)なのでしょうか？

その通りです。エクスプローラー上から辿ると普通のローカルファイルと区別がつきません。

＞そのフォルダにあるファイルにアクセスが発生すると、その時点で Box Drive のアプリが
＞クラウドからダウンロードするような動作になっているのでしょうかね？

そうだと思います。但し、一度アクセスした（ダウンロードした）ファイルはキャッシュとしてローカルPC上に一定期間残ります。ユーザーからはクラウドからダウンロードしたファイルなのか、キャッシュに残ったファイルをアクセスしているのか、区別がつきません。

＞エクスプローラーでコピーするとき、BoxDrive 専用のフォルダから別のフォルダにコピーするときと、
＞単純にローカルファイルを別のフォルダにコピーするときと動作に違いはありますか？

エクスプローラーの見た感じは全く同じに見えます。一旦キャッシュされたファイルの処理速度は速いですが、キャッシュされていないファイルの処理速度は明らかに遅いです。


前回の報告でエラー発生時の説明が不十分だったと思うので改めて。
NAS上のフォルダには10万個を超えるファイルがあり、それをBox Drive上のフォルダにDMTUで更新ファイルのみコピーを行いました。殆どのファイルは問題なく処理できるのですが、全体の数パーセント程度のファイルで上述の3種類のエラーが発生しました。（100件程度エラーが出た時点で処理は止めました。）

ここから個人的な意見ですが、
DMTUがBoxDrive上のファイルの属性を調べた際にレスポンスが返ってくるまで待てずにエラーになっているように感じます。DMTUには共有フォルダで存在チェックエラー発生時はリトライの機能がありますが、これをローカルフォルダやローカルファイルの存在チェックエラーでもリトライするオプションがあったら上手く行きそうな気がしますが、、、どうでしょうか。

なるほど、リトライすることで解消する可能性があるということですね。
「共有フォルダ」に限らずリトライするようなオプションを追加しても良いかもしれません。
少しお時間いただきますが、できたら試してもらおうかと思います。
お待ちくださいませ。

ありがとうございます。宜しくお願いします！

リトライ機能について、Windows標準のrobocopyコマンドでは
/R:2 /W:10 （失敗時は10秒待って3回リトライ）のように待ち時間を指定できます。

DMTUのリトライ機能は待ち時間はゼロだと思うのですが、
共有フォルダやクラウドにはリトライ回数のみでなく、待ち時間を指定できたら
より効果的のように思います。

できればDMTUでもリトライ待ち時間に対応してほしいと思います。
ご検討宜しくお願いします。

確かに、リトライまでの秒数が指定できるといいですね。
これはこれで不安定なハードやネットワークで使える機能になりそうです。
少し時間がかかると思いますのでお待ちいただければと思います。

お待たせしました。
ローカルドライブでもリトライ回数が指定できるオプションを追加したベータ版ができました。

https://debugx.net/Archive/DMTU0382b_x64.zip

すみませんが、今回は x64 版のみです。

フォルダ設定→動作設定→その他「ローカルドライブで存在チェックエラー発生時リトライ」
にチェックを入れて試してみてもらえますか。
リトライ回数の隣に待機秒数も設定できるようにしました。

念のため、現行バージョンの ini ファイルは取っておいたほうが良いと思います。
よろしくお願いいたします。

ばぐ★ＮＡＧＡ様
対応ありがとうございます！！！
早速動作テストしました。不具合の出ていた環境でもリトライ機能で
殆どのエラーは抑え込むことに成功しています。しかし全てのエラー
が抑えられた訳でもなくて、一部のエラーはリトライ機能を素通りし
てしまい、残ったままのようです。

今回の動作テストの設定ファイルとエラーログをEメールに添付して
送りました。お手数お掛けしますが確認ください。

jack さん
ご連絡ありがとうございます。

ログを確認したところ、タイムスタンプのチェックでエラーとなっていたようですので、
そのチェック時もリトライする処理を追加してみました。

https://debugx.net/Archive/DMTU0382b2_x64.zip

今回もベータ版は x64 版のみで、
前のベータ版にあったローカルドライブのオプションは「共有フォルダで存在チェックエラー発生時はリトライ」と統合しました。
（バックアップ先は 1 つだけのため、共有フォルダになるかローカルになるかはいずれかに決まるため）

動作させる際は、フォルダ設定の動作設定の中にある「バックアップ側の存在チェックエラー発生時にリトライ」にチェックを入れてください。

前のベータ版で ini ファイルに追加されてしまった以下の項目は無駄になりますので削除してください。
ErrorLocalDrvRetry=x

また確認していただけると助かります。
よろしくお願いします。

ばぐ★ＮＡＧＡ様

DMTUのリトライ機能追加更新ありがとうございます。
早速BoxDrive環境で動作テストしました。
２か所のフォルダでテストしたところ、どちらもエラー回数ゼロで正常終了しました！
テスト1=約4600個のファイルの入ったフォルダ
テスト2=約38200個のファイルの入ったフォルダ
リトライ機能追加の効果は狙い通り出ているようで、
今回は「以下のエラーを無視しました。」のエラーは1度も発生しませんでした。

これでコピー作業が楽になります。ありがとうございました！

追加要望
logファイルを記録する設定にしても「テスト」動作では出力されません。
「テスト」でもlogファイルが出力されるようにしてほしいです（簡単に直せるなら。）

また急いではいませんのでw2k版も作って頂けると嬉しいです。
個人的にはw2k版はx64版と比べて非常に軽快で気に入っています(^^;
特に急いではいませんのでお時間あるときにでも対応して頂けたら幸いです。

jack さん、動作確認ありがとうございます。
うまくいったようで良かったです。

追加要望もありがとうございます。

テスト動作でもログを出力することはさほど難しくはないのですが、
オプションをどこに設定するかは悩みます。

全体のオプションに「テスト時もログを出力」のような設定ができるようにするか、
フォルダ設定のログのところに入れるか…

そもそもテスト実行するときは、初回のバックアップ時か、何かおかしいときに試すときくらいですよね…

もう少し考えてみます。
また、自分でもしばらく使ってみてから正式リリースしていきたいと思いますので、
もうしばらくお待ちください。

いつもありがとうございます！
正式リリースをのんびりとお待ちしております。

テスト動作に関しては、全体のオプションに入れてもらうのがいいように思います。
個人的には特にオプションに追加しなくても、全体オプションの「ログを記録する」がONの時にはテスト動作でもログを記録する動作にしてしまう方が自然だと思います。

ばぐ★ＮＡＧＡ様

ベータ版DMTUのBox Driveクラウドでの利用で、
リトライ機能が働かない別のエラーが見つかりました。
ローカルHDDから、Box Driveへのコピーを実行中に、

「ファイルのコピーに失敗：ディスクに十分な空き領域がありません」

というエラーメッセージが時々、大量に出力され続けました。
Box Driveは容量無制限のため、空き領域の不足になることはありません。

画面のステータスバーを眺めていて気付いたのですが、
今回もリトライ機能は働いていませんでした(いきなりエラーになる)

このエラーの際にもリトライをするように改良できないでしょうか。
推測ですが、Box Driveから空き領域＝０で返ってくる場合があるような気がします。
空き領域＝０の場合にリトライするようなオプションを追加することはできないでしょうか。

ご検討して頂けると幸いです。
エラーログはメールに添付して送りました。

ご報告ありがとうございます。

なるほど、BOX はいろいろと不思議な挙動をするようですね。

現状はフォルダ設定のオプションとして「存在チェックエラー発生時」に限定していますが、
これを「コピー時のエラー発生時」に拡大して、何かエラーがあったらリトライする仕様にしてしまいましょうか？

何かその設定で別の影響があるか少し考えてみて、
問題なさそうならそんなオプションにしてしまおうかなと思います。

＞現状はフォルダ設定のオプションとして「存在チェックエラー発生時」に限定していますが、
＞これを「コピー時のエラー発生時」に拡大して、何かエラーがあったらリトライする仕様にしてしまいましょうか？

はい、その仕様でいいように思います。ぜひ改良お願いします。

次の私の意見はクラウドへのコピーに限らないものです。
空き容量不足エラー(DISKFULL)が出た場合、本当にDISKFULL状態なら、
次のファイルの処理に移っても、延々とDISKFULLエラーが続いてしまいます。
私の場合、DISKFULLエラーが出たら一旦DMTUの処理を手動で中断させて、
バックアップ先HDD中の不要なファイル・フォルダを削除するなどして、
DISKFULLを解消させてから改めてDMTUの処理をやり直しています。
なので、DISKFULLエラーが出た場合は、次のファイルの処理に移るのではなく、
当該バックアップフォルダの処理を丸ごと中断・中止してくれた方が助かります。

或いは別案として、リトライしてもDISKFULLが解消されない場合、
「DISKFULLです。処理を中断しますか？＜中断/orやり直し＞」メッセージを出して、
ユーザーにDISKFULLを解消させてから＜やり直し＞を選ぶことができるようにするとか・・・

仕様変更になりますが如何でしょうか。ご検討宜しくお願いします。

仕様変更のアイディアについてありがとうございます。

ただご指摘いただいたエラー時にメッセージを出す機能については、
既存の仕様にありますので、特に追加する必要はないように思えます。

現在の仕様としては、フォルダ設定の動作設定で、「エラーが出たファイルは無視する」がオフになっているときは、
エラーの対処をどうするかメッセージが表示され、「中止」「再試行」「無視」が選択できます。

ちなみにこのメッセージが繰り返し表示されるのがイヤな時は、
Ctrl キーを押しながら「無視」を選ぶと、バックアップが終わるまでその選択が維持されます。
（メッセージが 2 回表示されると、この操作の方法もメッセージに出てきます)

「エラーが出たファイルは無視する」がオンの時は、このメッセージを表示する代わりに「無視」が自動的に選択される動きになっています。

ご確認いただければと思います。

すみません。いつも「エラーが出たファイルは無視する」設定にしていたのを
すっかり忘れていました。であるなら私の要望は、「エラーが出たファイルは無視する」
設定の場合でも、DISKFULLエラーだけは無視せず「中止」する仕様に変更したい、
でお願いします。

コメントありがとうございます。

「エラーファイルを無視する」設定でも、
例外的に特定のエラーではメッセージを表示する（中断できる）オプションが欲しい、ということですね。

DISK FULL 以外でも中断したい場合があるかもしれないですね。
他にもどんなエラーが発生するか調べてみます。

ばぐ★ＮＡＧＡ様

ベータ版DMTUのクラウド(Box Drive)での利用で、
リトライ機能が働かない新たなエラーが、また見つかりました。
ネットワークNASから、Box Driveへのコピーを実行中に、

「予期しないネットワーク エラーが発生しました。」

というエラーメッセージが時々出力されていました。頻度は少ないです。
目の前でエラーが発生していないため推測ですが、
今回もリトライ機能は働いていないように感じます。
このエラーの際にもリトライをするように改良してほしいです。
ご検討して頂けると幸いです。
ログファイルは別途メール送信しました。

ご報告ありがとうございます。
これは、ネットワークエラーということなので、「マスター側」がエラーになるケースでしょうか。

現状のリトライ機能は「バックアップ側」がエラーになった場合の処理なので、「マスター側」のエラーにもリトライ範囲を拡大する形になりそうですね。

少しやり方を考えます。

そういう仕様だったのですね。
Box Drive等のクラウドドライブをマスター側に指定するケースもあるので
リトライ機能はマスター側とバックアップ側の両方で働くようにして欲しいです。
是非よろしくお願い致します。