(続き) ラズパイでのFreeBSD＋MySQLは終了しました。

年明けに書いたネタの1月9日・10日での出来事の続き。

その後約1か月、データベースサーバの再構築をいろいろと進めてきましたが…
結論としては「ラズベリーパイ上でのFreeBSD＋MySQLはもう動きません」

現在サポートされているFreeBSDのヴァージョンは13.2と14.0
そしてMySQLのヴァージョンは8.0以降。

ラズパイ4(4G)上のFreeBSD13.2と14.0で
MySQL8.0と8.1をそれぞれインストールしましたが
どちらも同じ症状で起動しません。
(症状の詳細は前回書いた通りです)

FreeBSDのBugzillaで同じ内容の投稿がありますが
QEMU 8.0上のarm64-aarch64-RPI(ラズパイ用のOSイメージ)では動いたよーんって書かれていて
こっちが聞きたいのはラズパイ上でどうなのかって話なんだけどな…と思ったり。

まあ原因としては…ラズパイだから(ハードウエアの構成上の問題？)…としか言いようがありません。

現状、ラズパイ上のFreeBSD13.2でMySQL5.7は動いているので
ラズパイとMySQL8.xの組み合わせが悪いって結論になるかと思います。

残念ながら
この度、MySQLを捨てることになりました。

---

新しいデータベースサーバは
OSを最新のFreeBSD14.0、データベースにはMariaDBの10.6を導入します。

MariaDBは基本的にMySQL派生のため、
既存のWebページやバッチプログラムなどの修正が不要。
データを入れ替えればすぐに動かすことができます。

すでにテスト環境の構築が完了し
いろいろチューニングとかデータの移行確認とかをやってます。

準備が整い次第
早ければ、来週2月7日(水)の早朝にこっそりと入れ替えようと思います。
所要時間は…およそ10分。

新データベースサーバが稼働したら
改めてブログでもご報告したいと思います。

---

さて。明日か明後日か
気が向けば、東京競馬場へ向かいます。

指定席(スマシー)をとってないので
ふらっと出かけて、ふらっと観戦するくらいですが。

気が向けばブログでは競馬観戦記録を。
気が向かなければ…ダラダラ過ごして終わる週末になりそう。

[コメント読む(0)]

これまでの「SBメンバーズ」でのデータ新規登録・更新の不具合について。(原因が判明しました)

本日はネタ予定を変更しています。

-----

先週の水曜日から土曜日に書きました
「SBメンバーズ」でのバグについて
原因が判明しました。

技術的なネタです。

「G1予想大会」での不具合について
先週木曜日に書いたネタ

おそらくデータベースの仕様だと思うんですが
データベース上のテーブルに「デフォルト値」が設定されていない場合の挙動が
更新系データベースと参照系データベースとで異なっていました。

これまで普通に使用していたデータベース(今の更新系データベース)では
データを挿入する際、値を設定していない列に入るデータ(デフォルト値)は
’’(空文字)が標準で入りました。これは何の設定をしなくても。

んで最近インストールしたデータベース(参照系データベース)では
デフォルト値が設定されていない列に何も値をセットしないで挿入すると
エラーとなりデータが挿入されなくなりました。

「MySQL」のリファレンスマニュアルに書いてありました。

5.1.7 サーバー SQL モード

こう書いてあります。

MySQL Server は異なる SQL モードで動作でき、
sql_mode システム変数の値に応じて異なるクライアントにこれらの異なるモードを適用できます。

(中略)

MySQL 5.6.6 以降でのデフォルトの SQL モードは NO_ENGINE_SUBSTITUTION で、
MySQL 5.6.5 以前では、これは空白です (モードの設定なし)。

(中略)

このマニュアルの「厳密モード」とは、
STRICT_TRANS_TABLES または STRICT_ALL_TABLES のいずれか
あるいは両方が有効なモードを意味します。

当サイトで使用している「MySQL」というデータベース。
更新用データベースはヴァージョン5.6.17。
参照用データベースはヴァージョン5.7.8。

んで、
NO_ENGINE_SUBSTITUTION については

CREATE TABLE または ALTER TABLE などのステートメントが
無効またはコンパイルされていないストレージエンジンを指定したとき、
デフォルトのストレージエンジンの自動置換を制御します。

ストレージエンジンは実行時にプラガブルであるため、利用できないエンジンも同様に扱われます。

これを見る限りだと
テーブルの作成、もしくは変更した時のみに影響し(しかも無効なエンジンを指定した時だけ)
通常のデータの操作ではデフォルトで動きそうな感じ。

更新系データベースのmy.cnf(設定ファイル)には
sql-modeの記載をしていなかったので(前ヴァージョンからの引継ぎだったので)
たぶんデフォルトのNO_ENGINE_SUBSTITUTIONが適用されていたものと思われます。

んで、
参照系データベースのmy.cnfファイルを見てみたら…あらびっくり。

sql-mode="STRICT_TRANS_TABLES, NO_AUTO_CREATE_USER, NO_ENGINE_SUBSTITUTION"

先ほどのマニュアルにある「厳密モード」で設定されているではありませんか。

厳密な SQL モード

厳密モードは、MySQL が INSERT や UPDATE などのデータ変更ステートメントで
無効な値または欠落した値を処理する方法を制御します。
値はいくつかの理由で無効になることがあります。
たとえば、カラムに対して正しくないデータ型を持っていたり、範囲外であったりすることがあります。
値の欠落が発生するのは、挿入される新しい行の非 NULL カラムに値が含まれておらず、
そのカラムに明示的な DEFAULT 句が定義されていない場合です。
(NULL カラムの場合、値が欠落しているときは NULL が挿入されます。)

(中略)

非トランザクションテーブルの場合、
挿入または更新される最初の行に不適切な値があるとき、
どちらのモードでも動作は同じになり、ステートメントが中止されて、
テーブルはそのまま変更されません。

まさにこれです。
管理人がブログに書いたことが
そのまんまリファレンスマニュアルにも書いてありました。

ということで

sql-mode=""

に変更して、先ほどデータベースの再起動を行っております。

---

もしかしたらこれまでの間
Favo馬登録とか、メールアドレスの変更とか
「SBメンバーズ」にかかわる操作で「変更できない」ということがあったかもしれません。
もしかしたら「新規メンバー登録ができない」ということもあったかもしれません。

いやぁ…参った。
久しぶりに参った。
ある意味「初歩的なミス」だよなぁ…。

アプリケーションをヴァージョンアップするときには(特にサーバの基幹部分では)
変更された内容をちゃんと把握すべきだよなぁ。
まさかこんなところに落とし穴があるとは思わなかった…。

そして…気づくのが遅すぎた…。
もう少し早くマニュアルを読めばよかったな。

皆さまには大変ご迷惑をおかけしました。
これでこれまでの不具合は解消されたと思います。

-----

明日は金曜日。

本日予定していたPOGについてのブログネタは
明日書こうと思います。

[コメント読む(0)]

寝不足管理人、本日はデータベースの設定変更を実施。

最近、寝ても寝ても眠い
「The Sunday Breeze」管理人です。

そういえば
ここ2週間、ゆっくり寝ていないなあ…と思ったりして。

先々週末は夏休みで意外と早起きな日が続き
先週末(昨日・おととい)は仕事＋競馬観戦。
そして今週末も競馬観戦で、これまた意外と早起き。

ゆっくり休める週末は…12日か13日か。
でも中山開催も始まるしどうだろうなぁ。

---

今夜はデータベースの設定を再度変更しました。
これは今後の新しいサイト構築に向けての準備です。
近々大掛かりなデータベースの変更を再度実施します。

現在、
新しいデータベースサーバと古いデータベースサーバと
2つのサーバが動いています。

競走馬に関するデータは旧データベースに
ブログに関するデータは新データベースに入っています。

今回の変更では
旧データベースの競走馬データのレプリカを
新データベースに作成しました。

新サーバに作ったレプリカから
新たな構成(新サイト用)のデータベースを作成しなおして
準備を進めようと考えています。

ちょっと難しい話なので、細かい話は割愛しますが
今のところ問題なく順調に動いています。

近々行う大掛かりなデータベースの変更後は旧サーバのデータベースを停止して
メモリを確保してサーバダウンを防ぐ目的もあります。

明日以降も作業の内容については
ブログで随時ご報告していく予定です。

---

最後に管理人の今週の予定を。

今週は木曜日が夜勤。ブログはお休み予定です。

金曜日は夜勤明け。あ、ゆっくり寝られそうだ。

土曜日からの競馬観戦については
また金曜の夕方か夜にでも書こうと思います。

今週のブログでは
サイト更新ネタが中心になる予定です。

[コメント読む(0)]

一部データベースのレプリケーションをはじめました(昨日の続きネタをわかりやすく。)

えーっと。

今日は図を用いて
わかりやすく説明させていただこうかと。

-----

まずは、Webの仕組みを。

まず、皆様のパソコン(やスマフォなど)のブラウザのアドレスに現在
「http://serverroom.sundaybreeze.jp/」
と入力していただいているかと思います。

これが、うちのサーバの「ネット上での住所」。

この「住所」を打ち込んでいただくことで
うちのサーバにアクセスしています。(上図?)

アクセスしていただくと、
うちのサーバにあるブログのページ(の基礎部分)がデータベースからデータを取ってきて(上図?)
そのデータをブラウザで表示できる形に修整して、皆様のブラウザへお返しする(上図?)
という流れになってますね。

ブログに限らず、「The Sunday Breeze」も同じように
出馬表のアドレス(ネット上の住所)を入れていただくと
サーバ上で出馬表を作って、ブラウザへお返しする仕組みになっております。

---

さて。
今回、うちのサーバで問題となっているのは
最近データベースがこんな不満を言ってきたからなんですね。

へなちょこは言いすぎだろ。
確かにへなちょこだけどさ。

サーバ自体のメモリが3ギガしかないということもあって
データベースがちょっと悲鳴を上げ始めたんですね。

こうなると、具体的にどうなるかというと

ブラウザから呼ばれたページが
データベースからデータを取得するのにやたらと時間がかかってしまう
(つまり、データベースのレスポンス(応答)が悪くなる)
という現象が起きてしまうんですね。

そうなると、皆様からすると
ブラウザにアドレスを入力してからページを表示するまでに
「ずいぶんと時間がかかるじゃねぇかこのやろう」ということになるわけです。

これが現在起きている問題。

---

んで、これを解消するため
現在取り組んでいる方策とは。

まず第1段階。

新しいサーバを構築し、データベースのレプリケーション化を行います

レプリケーション…つまり複製です。
いわゆる「レプリカ」を作ります。

第2段階。

ページからのデータ取得を、レプリカから行います。
レプリカのあるサーバは、データベースしか動いていませんので、
搭載しているメモリ2ギガバイトを最大限使えるため、今より快適にデータを取得できます。

第3段階。

競馬データの更新プログラムを新サーバで動かして、
レプリカのデータを直接更新するようにします。

この時点で、現在動いているデータベースは「お役ごめん」となるわけで
サーバ本体のメモリ割り振りも以下のとおりに変更することができます。

こうなると、データベース的には快適に。
今までのような「動きが重い」から逃れるようになるわけです。

んで、最終段階。

皆様のブラウザからのアクセスを
新しいサーバに向かわせる変更をして、
新サーバへの移行をすべて完了させるという流れでございます。

---

んで、本日の作業は
とりあえず第1段階

これのブログのデータベースのみ、
試験的にレプリケーション(複製化)をスタートしています。

今、皆様がアクセスしているのは図の左側のサーバです。
そしてデータを取得しているデータベースも左側です。

ですが(外部からはまだアクセスできない)右側に新しいサーバがあって
ブログのデータは、左側と右側と両方のサーバに同じデータが存在しています。
データベースのコピーをとり続けています。

---

今後は、先ほどご説明した段取りで
競走馬やレースデータなどのレプリケーションを行い、
順次新サーバへ切り替えていきます。

切り替える際には一時的に(数十秒～数分程度)
アクセスできなくなることがあります。
また、すべての切替が完了するまでに
数日～数週間かかりそうです。

皆様にはご迷惑をおかけします。
進み具合はこのブログで逐一ご報告していきます。

-----

さて。
明日は管理人は仕事でございます。
ゴールデンウィークと研修とが連続したので
会社へ出社するのは…先週の金曜日以来です。

明日のブログでは
「管理人の当たらないG1予想！NHKマイルC編！」
を書いていく予定です。

[コメント読む(0)]

データベースの再構築に向けて…(本日の作業結果)

とりあえず、
新しいサーバは、新しいデータベース技術を導入して
進めることにしました。

今日は、新サーバのデータベース構成を新しいエンジンに変更して
とりあえず現在動いているサーバからデータを移行してみました。
うーん…大丈夫かなぁ。

まだ現在は、今までと同じサーバで動いています。

ちょっとまだ試行錯誤しながらの作業なのでどうなるかわかりませんが
今週末に一時的に新サーバをレプリケーションとして稼動させようかと。

つまり
現行のサーバを通常通り使いつつも
新サーバをレプリケーション(つまり現行サーバのコピー、レプリカ)として
使ってみようかなぁ、という感じ。
そこで新サーバ全体の設定とかデータの様子とかもろもろを確かめて
時機を見て新サーバへガツンと切り替えようかと思っています。

もうちょっと時間がかかりそうです。

[コメント読む(1)]

月	火	水	木	金	土	日
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

このページを共有

今月のカレンダー

カテゴリ一覧

先月までのネタ

最近よく読まれてるネタ

最近のコメント

ネタの検索

管理人の競馬観戦記録

管理人の競馬家計簿

管理人のつぶやき

「自宅サーバ」の「MySQL」ネタは、全部で18件あります。

(続き) ラズパイでのFreeBSD＋MySQLは終了しました。

これまでの「SBメンバーズ」でのデータ新規登録・更新の不具合について。(原因が判明しました)

寝不足管理人、本日はデータベースの設定変更を実施。

一部データベースのレプリケーションをはじめました(昨日の続きネタをわかりやすく。)

データベースの再構築に向けて…(本日の作業結果)

月	火	水	木	金	土	日
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

月	火	水	木	金	土	日
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

月	火	水	木	金	土	日
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31