【お詫びとお知らせ】サーバの不具合は一応解消されました。(いつ止まるかわかりませんが。)

昨日深夜に書いたブログも
データベース復旧作業の中で消えてしまいました。

---

7月26日13時48分頃から約半日
(おそらく)サーバのメモリ不具合によりダウンし、全ての機能が停止しました。


昨日管理人は函館競馬場で競馬観戦をしておりましたが
リモート(外出先からのサーバ遠隔操作)もまったく利かなくなり
午前0時ころの帰宅後、サーバの状況を確認し再起動を行いました。

…が
おそらく最初のサーバダウン時(13時48分)に何の音沙汰もなく突然ダウンしたため
データベース書き込み処理中のデータにより不具合を起こし
午前0時過ぎの再起動後、データベースそのものが動作しなくなりました。
(Webページ自体は表示されるものの、データがまったく表示されない状態)

この後一時的な仮処置を行い、ブログを書き込みましたが(午前1時49分)
その後もデータベースのみ突然ダウン、再起動を繰り返したため
全てのデータをいったん削除し、日曜日朝6時に記録しておいたバックアップデータを
再度データベースへ投入しました。
(この時点で昨日のブログは消えました。
なおデータベースを前日午前6時まで巻き戻す作業に午前4時半までかかりました。)


その後今朝6時半の時点で
データベースがダウンすることなく稼働しているのを確認して
日曜日分の全レース結果、来週の特別登録データ、今日以降の地方競馬出馬表のデータの
各更新作業を行い、途中停止や再起動することなく処理が終わったことを確認しています。

本日夕方に一時的にWebにアクセスできない状況
(バックアップ処理中のメモリ不具合かディスク不具合)があったものの
サーバそのものはダウンせず、なんとか昨日より継続して動いています。

---

ちょっと技術的なことを書きますと
現在のサーバになってから(ちょうど2年くらい？)
データベースの仕組み自体を変更しています。

それまでは「競走馬データ」「レース名データ」「出馬表データ」「オッズデータ」など
それぞれ別ファイルで管理していたため
一部のデータが壊れたとしても、そのデータファイルのみ復元すれば復旧できていました。
(わかりやすくExcelでいうと、それぞれのデータをそれぞれファイルで分けていたイメージ)

2年前に変更してからは
全てのデータを1つのファイルで管理するようになり
一部のデータが壊れると、ほかのすべてのデータにも影響するようになりました。
(わかりやすくExcelでいうと、それぞれのデータを1つのファイルでシートで分けるイメージ)

なぜ1つのファイルで管理するようになったのかというと…処理が早くなるからです。
また突発的なダウンではなく、ある程度操作ログを書き込むタイムラグがあるダウンだと
操作ログからデータベースへのリストア(復元作業)ができるからです。
(わかりやすくExcelでいうと、ファイルで分けると自動保存(復元)されないけど
シートで分けると自動保存(復元)がきいているというイメージ
※実際のExcelではファイル別でも自動保存(復元)されます)

昨日の不具合はおそらく時間的に
オッズデータを更新中にメモリ不具合が発生し
サーバが突然(操作ログを記録するまもなく)ダウンしたと思われます。
そのため、オッズデータだけでなくすべてのデータを読み込めなくなり
操作ログからのリストアもできない状況となった模様です。

なお今朝方のデータ復旧時に
データベースは以前のようなファイル単位での管理に一時的に変更し
何かあればデータファイル単位で復元できるようにしてあります。
(今はオッズデータ更新中に不具合が発生しても
オッズデータだけが壊れるような設定になっています(他のデータは影響を受けない))

今回の原因をしっかりと突き詰めて
その原因に対しての処置を適切に行ってから
以前のような設定に戻すかどうかを判断したいと思っています。

---


とにもかくにもご覧の皆様には
大事な日曜日の午後にサイトが閲覧できない状態となり
多大なるご迷惑をおかけしました。
本当に申し訳ございませんでした。

管理人が記憶している中では
「The Sunday Breeze」史上最悪のサーバ障害だと認識しています。
(さすがにデータベースが起動できなくなるほどの障害は初めてではないかと)

原因の追究と適切な処置の完了までには
少々お時間をいただくことになりそうです。

皆様からはサイトのご要望やバグのご連絡などもいただいておりますが
今回のサーバ障害の処理を最優先とさせていただきたいと思います。
大変申し訳ありませんが、ご理解・ご了承いただきますよう
よろしくお願いいたします。

---

今夜はこれからデータベースの設定の再度見直しと
サーバが停止した際のログの解析を行います。

競馬観戦記録をお待ちいただいている皆様、申し訳ありません。
函館競馬観戦の様子は明日には必ずUPしたいと思います。