サーバ故障と「Connection error: Too many connections」エラーおよびMySQLテーブル破損について

サーバ故障と「Connection error: Too many connections」エラーおよびMySQLテーブル破損について

Posted at March 7,2012 2:55 AM
Tag:[Server, TroubleShooting]

「小粋空間」で利用しているサーバが3月3日の2時頃から突然CGIにアクセスできなくなるという事象が発生し、本日ようやく回復しました。

ページの表示は通常とおり行えていたので、検索経由できた人には特に支障はなかったと思いますが、すべてのCGIが利用できなくなっていたため、コメント投稿やサイト内検索などは利用できなくなっていました。ご迷惑おかけしました。なおコメントスパムが相変わらず激しいため、コメント投稿のみ3月7日現在も停止しています。

以下、故障から回復までの顛末を備忘録で記しておきます。

1.発生した事象1

2月27日~29日にかけてサーバ障害でアクセスできない事象が何回か発生しました。

サーバ障害

このときは障害発生中はCGIに一時的にアクセスできなくなっていましたが、回復後はアクセス可能でした。

2.発生した事象2

何回か発生した障害および障害回復のあと、いつものようにMTの管理画面にアクセスしようとすると、別の画面に移動するたびに毎回サインイン画面が表示されてしまうという事象が発生しました。

サインイン画面

一番困ったのは一覧画面の表示です。Ajaxで一覧を表示する直前で毎回この事象が発生するようになったため、一覧画面を参照することができなくなりました。

とりあえず新規投稿は行えたので、そのような状態で2日ほどエントリーを投稿した記憶があります。

ちなみにブラウザのキャッシュやブラウザ自体を変更しても事象は変わりませんでした。

3.発生した事象3

3月3日、CGI(MTの管理画面)にアクセスすると、2項の事象が何回か続いたあと「Connection error: Too many connections」というエラーに変わりました。

Connection error: Too many connections

ネットで調べたところ、これはMySQLのエラーで、DBコネクションの利用数が多すぎるときに発生するようです。

対処方法は掲載されていたのですが、MySQLを操作する権限がないため、とりあえずサポートにメールして連絡を待つことにしました。

故障発生が金曜日の夜でサポート対応外だったのが痛かったです。

4.ロードアベレージとメモリ

サーバで提供されているモニタリングツールによる、故障発生時点のデータです。上段がロードアベレージ、中段がトラヒック、下段が物理メモリです。

モニタリングツール

5.回復

サポート担当にてプログラムの起動数制限の解除および、データベースサーバの再起動を行ってもらうことで18:00頃に回復しました。

モニタリングツール

あとで気がついたのですが、データベースサーバの再起動だけはコントロールパネルから行えるようです。

ところがこのあと、まだ完全に回復していないことに気がつきます。

6.発生した事象4

MTの管理画面にアクセスしようとすると、別の画面に移動するたびに毎回サインイン画面が表示されてしまうという事象がふたたび発生しました。

MTのセッションテーブルが怪しいと思い、phpMyAdminで参照しようとすると、次のような「Table '/xxxxxxx/mt_session' is marked as crashed and should be repaired」というエラーが発生していることが判明しました。このエラーは要するに、mt_sessionのテーブルが壊れたみたいです。「表示」タブもクリックできない状態です。

壊れたテーブルを修復するには、

REPAIR TABLE tableName;

を実行すればいいみたいですが、利用しているサーバではターミナルから実行できないので、調べたところ、phpMyAdminで修復できることを知りました。

修復したいテーブルをチェックして、プルダウンメニューで「テーブルを修復する」を選択すれば修復が実行されます。

修復

下は修復を実行したところです。

修復

最後に「OK」が表示されました。

修復

これでセッションテーブルが正常に表示されました。

セッションテーブル

このあと管理画面にアクセスしたところ、サインイン画面が毎回表示されなくなり、完全に回復したのでこのエントリーを投稿しました。←いまここ

DBエラーはセッションテーブルの故障が原因のようにも思われますが、そもそものセッションテーブルが壊れた原因は分かりません。同じような事象に遭遇した場合の参考になれば幸いです。

7.参考サイト

参考サイトは下記です。ありがとうございました。

8.その他

故障中もエントリーを書き溜めたいたので、回復後に遡ってまとめて投稿しようと思っていましたが、故障した日が分かりにくくなってしまうので、投稿できなかった日の分は先送りにして投稿したいと思います。

関連記事
zenback
人気エントリー
トラックバックURL


コメントする
greeting

*必須

*必須(非表示)


ご質問のコメントの回答については、内容あるいは多忙の場合、1週間以上かかる場合があります。また、すべてのご質問にはお答えできない可能性があります。予めご了承ください。

太字イタリックアンダーラインハイパーリンク引用
[サインインしない場合はここにCAPTCHAを表示します]

コメント投稿後にScript Errorや500エラーが表示された場合は、すぐに再送信せず、ブラウザの「戻る」ボタンで一旦エントリーのページに戻り(プレビュー画面で投稿した場合は、投稿内容をマウスコピーしてからエントリーのページに戻り)、ブラウザをリロードして投稿コメントが反映されていることを確認してください。

コメント欄に(X)HTMLタグやMTタグを記述される場合、「<」は「&lt;」、「>」は「&gt;」と入力してください。例えば「<$MTBlogURL$>」は「&lt;$MTBlogURL$&gt;」となります(全て半角文字)