小粋空間  -  a cheap joke and a play on words site

サーバ故障と「Connection error: Too many connections」エラーおよびMySQLテーブル破損について

「小粋空間」で利用しているサーバが3月3日の2時頃から突然CGIにアクセスできなくなるという事象が発生し、本日ようやく回復しました。

ページの表示は通常とおり行えていたので、検索経由できた人には特に支障はなかったと思いますが、すべてのCGIが利用できなくなっていたため、コメント投稿やサイト内検索などは利用できなくなっていました。ご迷惑おかけしました。なおコメントスパムが相変わらず激しいため、コメント投稿のみ3月7日現在も停止しています。

以下、故障から回復までの顛末を備忘録で記しておきます。

１．発生した事象1

2月27日～29日にかけてサーバ障害でアクセスできない事象が何回か発生しました。

このときは障害発生中はCGIに一時的にアクセスできなくなっていましたが、回復後はアクセス可能でした。

２．発生した事象2

何回か発生した障害および障害回復のあと、いつものようにMTの管理画面にアクセスしようとすると、別の画面に移動するたびに毎回サインイン画面が表示されてしまうという事象が発生しました。

一番困ったのは一覧画面の表示です。Ajaxで一覧を表示する直前で毎回この事象が発生するようになったため、一覧画面を参照することができなくなりました。

とりあえず新規投稿は行えたので、そのような状態で2日ほどエントリーを投稿した記憶があります。

ちなみにブラウザのキャッシュやブラウザ自体を変更しても事象は変わりませんでした。

３．発生した事象3

3月3日、CGI（MTの管理画面）にアクセスすると、２項の事象が何回か続いたあと「Connection error: Too many connections」というエラーに変わりました。

ネットで調べたところ、これはMySQLのエラーで、DBコネクションの利用数が多すぎるときに発生するようです。

対処方法は掲載されていたのですが、MySQLを操作する権限がないため、とりあえずサポートにメールして連絡を待つことにしました。

故障発生が金曜日の夜でサポート対応外だったのが痛かったです。

４．ロードアベレージとメモリ

サーバで提供されているモニタリングツールによる、故障発生時点のデータです。上段がロードアベレージ、中段がトラヒック、下段が物理メモリです。

５．回復

サポート担当にてプログラムの起動数制限の解除および、データベースサーバの再起動を行ってもらうことで18:00頃に回復しました。

あとで気がついたのですが、データベースサーバの再起動だけはコントロールパネルから行えるようです。

ところがこのあと、まだ完全に回復していないことに気がつきます。

６．発生した事象4

MTの管理画面にアクセスしようとすると、別の画面に移動するたびに毎回サインイン画面が表示されてしまうという事象がふたたび発生しました。

MTのセッションテーブルが怪しいと思い、phpMyAdminで参照しようとすると、次のような「Table '/xxxxxxx/mt_session' is marked as crashed and should be repaired」というエラーが発生していることが判明しました。このエラーは要するに、mt_sessionのテーブルが壊れたみたいです。「表示」タブもクリックできない状態です。

壊れたテーブルを修復するには、

REPAIR TABLE tableName;

を実行すればいいみたいですが、利用しているサーバではターミナルから実行できないので、調べたところ、phpMyAdminで修復できることを知りました。

修復したいテーブルをチェックして、プルダウンメニューで「テーブルを修復する」を選択すれば修復が実行されます。

下は修復を実行したところです。

最後に「OK」が表示されました。

これでセッションテーブルが正常に表示されました。

このあと管理画面にアクセスしたところ、サインイン画面が毎回表示されなくなり、完全に回復したのでこのエントリーを投稿しました。←いまここ

DBエラーはセッションテーブルの故障が原因のようにも思われますが、そもそものセッションテーブルが壊れた原因は分かりません。同じような事象に遭遇した場合の参考になれば幸いです。

７．参考サイト

参考サイトは下記です。ありがとうございました。

• MySQLのテーブルが壊れたときの修復方法。
• PHP: is marked as crashed and should be repaired

８．その他

故障中もエントリーを書き溜めたいたので、回復後に遡ってまとめて投稿しようと思っていましたが、故障した日が分かりにくくなってしまうので、投稿できなかった日の分は先送りにして投稿したいと思います。