渡米生活。(日記)

渡米生活。本家から切り離しました。あまり渡米生活に関係のないプログラムネタや音楽ネタなど。

coreserverのサーバー間コピーで発生したquotaの問題

coreserver使ってない方には何の役にも立たないエントリです。。

ずっと使っていたcoreserverがどうも混雑している。
なんでかな、と思って、ログインしてtopを見てみて納得。
常時、4プロセスくらいmt-comments.cgiが動いている。
(全て同じユーザーのプロセス)

あと、(それとは別ユーザーで)なんかcpuを50%近く使うスクリプトが動いていて、しかもそれが2プロセス動いていたり……。

…というわけで、このノードは諦めた方がよさそうだ、ということで引っ越し開始。

で、いちいちローカルに全部ファイルとってきてアップロードしなおすのも面倒だから、coreserverの提供するサーバー間コピーを利用したのだけれど……

何故か、サーバー間コピーが完了しない問題発生。
いろいろやって、どうもcoreserverなのにディスク容量が3GBに制限されていることが判明。(本当は30GBまでOK)

サポート掲示板をみると、同じ問題で手こずった人がいるらしい。
その人だけっぽいので、レアなケースなのか?

結局、サポートとの複数のやり取りの結果、どうやらサーバー間コピーに問題がある、と(勝手に)結論。

というのは、サポートが直して正しいquotaに設定しなおしても、サーバー間コピーをやるとまた同じ状態に戻ってしまうから。

というか、そもそも、quotaコマンドを打つ度に表示結果が違う、とかいうめちゃくちゃアヤシイ状態になりました(汗)

その後、サポートから対応完了の返事がないので、ずっとほったらかしていて、そろそろ対応できたかな、と本日またサーバー間コピーを試してみたところ、今度はうんともすんとも動かない(苦笑)
おまけに、quotaコマンド叩いてみたら、やっぱり3GB……

もう、諦めてローカル経由でFTPでコピーしました。
で、コピー後にもいっかいquotaコマンド叩いてみたら、今度は30GBになってるし!
現状、3GB以上アップロードできているので、とりあえず問題は解決したようです。


で、結論。

coreserverのサーバー間コピーは使えねえ!!!
quotaコマンドの表示結果もアヤシイ!!

同じ問題でお悩みの方は、すっぱりサーバー間コピーを諦めて、ちまちまローカル経由でコピーすることをお勧めします。。

せめて、旧サーバから新サーバへ直接sftpできれば楽だったんだが、sftp自体は可能でも、その前にtgzボール作るところで時間切れ→kill process、ということで断念。
こういうとき、xrea/coreserverのジョブ時間制限はキツイ。。
ま、あんまり自由にして、重いプロセスが増えても困るので、いいんだけどさー。


以下、サポートとのやりとりメール。
(サーバー名などは隠してあります)


お世話になっております。
sXXXのcoreserverなのですが、まだ3GB未満しか使っていないにもかかわらず、頻繁にdisk quota exceededと言われて書き込みが出来なくなります。

dfで見たところ、ディスクの容量はまだ十分にあるようです。
また、毎回出るわけではなく、何かをアップロードしたり、別のサーバーからコピーしようとした後、暫くしてから出るようです。

アップロードといっても、たとえばwordpressのtgzを上げたとか、その程度の容量で、特に重い動画などを扱っているわけではありません。
暫くすると(何も消去しなくても)怒らなくなり、また小さいサイズのファイルならアップロードできるようになります。
それで、暫く使っていると、また怒られる、といった感じです。

どうも私のディレクトリ以下のファイルサイズを正しく把握できていないか、sXXXからサーバー間コピーを行った際に、大容量のファイルがぶっ壊れてコピーされてしまい、lsでも見えなくなっているか、という気がしています。

(sXXXからサーバー間コピーしたファイル群の中に、階層が深くファイル名が長いものがあります。それが何か悪さをしたかな、という気がしています。そのディレクトリのサーバー間コピーが一度も成功していないので)

すみませんが、一度設定共々ご確認いただけますでしょうか?

よろしくお願い致します。




[2011-12-09 05:57:37] ユーザーからメッセージが追加されました。

すみません、追記です。
どうやら、私のdisk quotaが、サーバー側で3GBに設定されている模様です。
(管理webページでは30GBとなっています)

Disk quotas for user XXXXX:
Filesystem blocks quota limit grace files quota limit grace
/dev/sda2 2004339 2999000 3000000 6126 0 0

当面、すぐに使わないファイルを削除して作業を進めますが、なるべく早く30GBに設定変更していただけますよう、よろしくお願い致します。



[2011-12-09 09:28:00] サポートからメッセージが追加されました。

お世話になっております。

いただきましたご質問内容につきまして、現在確認中でございます。今しばらくお待ちくださいませ。



[2011-12-09 09:28:05] サポートからメッセージが追加されました。

ご連絡、確認させていただきました。
また、ご不便な状況をおかけしておりますことを、お詫び申し上げます。

いただきました件につきましては、カスタマーサポート(受付部門)では対応できませんため、担当部門に申し送りさせていただきます。
万一、14日を経過後もご回答がございません場合(※)は、お手数ですが、ご催促いただければ幸いです。

※但し、以下の場合については、ご回答は省略させていただいておりますので、ご了承ください。
 1.不具合の改善(改善対応をもってご回答に代えさせていただきます)
 2.ご意見やご要望(今後の改善の参考にさせていただきます)

それでは、管理を確実にさせていただきますため、今回の私の回答を最後にしておいていただければ幸いです(次回、ご質問やご連絡などをいただきます場合を除き、ご返事いただかず、このままの状態にしておいていただければ幸いです)。


[2011-12-10 06:37:17] ユーザーからメッセージが追加されました。

すみません、対応終了の案内がある前にやるべきではなかったかもしれませんが、本日また奇妙な問題を確認しました。

本日、リモートログインしてquotaのサイズを調べてみました。
当初、以下の設定になっておりました。

Disk quotas for user XXX:
Filesystem blocks quota limit grace files quota limit grace
/dev/sda2 2007372 29999000 30000000 6438 300000
300000

quotaの設定が30GBに更新されたのだと思い、以前消したファイル群をsXXX
からサーバー間コピーしました(web管理画面経由です)。

すると、そのあと、またquotaの設定がもとの3GBに戻ってしまいました。
以下の通りです。

Disk quotas for user XXX:
Filesystem blocks quota limit grace files quota limit grace
/dev/sda2 2999993* 2999000 3000000 6days 6452 0 0

更に、その数分後、もう一度quotaコマンドを叩いてみると、、

XXX@sXXX:~/public_html/sounds>;; quota
quota: Can’t open quotafile //aquota.user: Permission denied
quota: Quota file not found or has wrong format.

どうも、システムが壊れているか、あるいはweb管理画面のサーバー間コピー
に何か問題があるのではないか、という気がするのですが……。

今回sXXXから移動したのは、トータルで1GBほどの映像ファイル群です。
ファイルの数は6つ程度です。

後者であれば、一度ローカルにダウンロードして再度アップロードし直すということも出来ますが、サイズが大きいので、できたらsXXXから直接sXXXにコピーしたいのです。
sftpなどで送ることはできますか?

どうぞよろしくお願いします。



[2011-12-10 06:58:38] ユーザーからメッセージが追加されました。

追記です。

sXXXから映像ファイル群をコピーした結果、またDisk quota exceededと怒ら
れて作業できなくなったので、コピーしたファイルを削除しました。

すると、またquotaコマンドが使えるようになり、以下の結果になりました。
(soundsディレクトリが当該ディレクトリです)

XXX@sXXX:~/public_html>; rm -rf sounds
XXX@sXXX:~/public_html>; quota
Disk quotas for user XXX:
Filesystem blocks quota limit grace files quota limit grace
/dev/sda2 1978972 29999000 30000000 6442 300000
300000

混乱したので、問題の再現性を確かめるため、まったく同じ作業(つまり、web管理画面から1GB程度のsoundsディレクトリをサーバー間コピー)を繰り返してみました。

すると、今回もやはり3GBにquotaが変更され、今度はsoundsディレクト
を消しても、quotaの結果は変わりませんでした。

XXX@sXXX:~/public_html>; rm -rf sounds
XXX@sXXX:~/public_html>; quota
Disk quotas for user XXX:
Filesystem blocks quota limit grace files quota limit grace
/dev/sda2 1978973 2999000 3000000 6443 0 0


どうも、こうなると、1回目のときだけに表示された

XXX@sXXX:~/public_html/sounds>;; quota
quota: Can’t open quotafile //aquota.user: Permission denied
quota: Quota file not found or has wrong format.

が気になります。

余計な再現性チェックをせずに、素直にローカルコンピュータ経由でコピーすれば良かったかな、と後悔しつつ、報告致します。
問題特定の手がかりになれば良いのですが。

#サポート掲示板の方にも、CORE-Bでやはりquotaが3GBにリミットされて
困っている方の書き込みを見つけました。
サポートからの連絡がないとこぼしておられましたが、もしかすると、同様のケースで、何度quotaを設定し直しても3GBに戻ってしまう問題だったのでは、という気がしております。

問題再現にもし当方のファイル群が必要でしたら、どうぞご自由にお使い下さ
い。