※昔のブログから移行してきました
本日はGrand Hyattでプロジェクトのカットオーバー祝賀会が19時からあるので、結構楽しみにしてたのですよ。特に夕飯。最近夜はコンビニ弁当ばっかだったので、美味い飯をたらふく食ってやろうと意気込んでました。
今までこの血祭りプロジェクトに携わってきた弊社員、計100人以上が一堂に集う、かなりでかめのパーティ。懐かしい仲間との再会も楽しみにしてました。
がしかし、、、
ちゃんと神様は見ててくれた模様。そんな高級料理よりも、神は僕にBLOGのネタを与えましたとさ！
ということで今日も痛めのSIer日記の方向で。
それは17時55分に起きました。
サーバー障害発生。
我がサブシステムが一時的に落ちた模様で、全国の工場ユーザが一斉に画面のログオン状態から締め出されました。日中動くバッチも軒並み異常終了。我がチームのかよわいオンラインバッチ「随時クララ」も例外に漏れず、キレイにずっこけました。
「おいおい、脆弱なインフラだな。。。アーキチームたのんますよ。なんもパーティ1時間前に落っことさなくてもいいのに」
とアプリチームで愚痴ってて、軽く随時クララのリカバリ対応をして、「ま、それ以外はうちには関係ねーや」と、会社を出る準備をしていると、アーキチームから電話が。
「生産計画チームの○○モジュールがサーバに集中攻撃してて、そのせいで落ちたっぽいです」
この一報で対岸の火事が一変して、放火魔容疑者扱いに。。。
続々と周りの人間が会場のホテルに向かう中、我々はその濡れ衣を脱ぎ去るべく、擬似本番環境で再現するかどうかのサーバー負荷検証をするはめに。その検証でシロを証明しないと、この留置所を出してくれないんだって(汗)。
つーことで、今回の障害のトリガーを引いたと思われる九州の工場ユーザにヒヤリングしたり、本番環境と同等の環境を構築する準備をしたり、、、刻々と時間は経過し、テストが完了したのはパーティの終了時間と全く同じ、21時(涙)。
結果、再現せず。。。
完全にハメられてない？俺ら。もう勘弁してください。
がしかし、アーキチームが提示するログを見るに、再現せずとも何かしら○○モジュールが絡んでいることは確かなので、明日以降も原因分析継続しますが。
ぁぁぁぁぁぁぁぁ。。。
片や一流シェフの料理に舌づつみを打ちながら、セレブに立食パーティ。
片や「せーのっ！」とか声掛け合いながら、一斉に実行ボタン押下して、しみじみとサーバ負荷検証(涙)。
この差はなんだと！？
あまりにもコントラストが鮮やか過ぎて、お兄さんは涙が止まりません。涙ちょちょぎれちぇきらっちょですよ。
ま、帰りに寄った松屋のポークグリル定食が予想外にうまかったので、それでチャラにしておこうと自分に言い聞かせようとしましたが、やっぱ納得いかないので、涙流しながら、ちょっくら3kmランニングしてきます。
今日流した血と涙は、筋肉に変える方向で。
