FC2ブログ

Welcome to my blog

Stigma - in the public_enemy -

ARTICLE PAGE

[会社] 重大インシデント

  • CATEGORY会社
  • PUBLISHED ON2018/ 06/ 22/ 06:00
  • COMMENT0
海外チームが断りもなくリリースしたコンポーネントが
引き起こしたシステムのパフォーマンス問題。

金曜日に問題となるコンポーネントをロールバックして貰ったものの、
パフォーマンスが劇的に悪くなり、致命的にシステムが利用できない
状況になり、それを受けて、水曜日に重大インシデントを作成。

その後、パフォーマンス問題の原因になるデータが特定されて
日本チームもデータを確認し、削除作業が始まったのが、昨日の夜。

サーバのCPUが100%になり、一時中断。
100%になったのはうちのシステムからのアクセスの所為だと言われ
システムを停止したものの、状況変わらず、削除作業を続行。

その間にオフィスにいたメンバーはそれぞれ帰宅の途へ。

日が変わる頃に漸く削除処理が終わり、
停止していたシステムを再起動して試験して、その驚きの
改善っぷりに皆で大感動。こんなに早く動く検索機能、エラーの出ない
システムが気持ち悪く感じると言う位…。本来はそれが普通だから。
あまりの違いに驚きを隠せないまま、試験結果OKのGOサイン。

その後はメンバーはそれぞれ夢の世界に言って頂いて
私は後処理(関係各位への報告等)。全てが終わったのは3時位。
今日は会議だらけだったので、プロジェクトの作業も少し。

長い一日でした…。

正直な所、海外チームは
今まで渋って実施してくれなかったけれど
これが出来るなら、もっと早く実施して貰いたかった…。
毎日沢山来る苦しみに満ちた苦情に何度となく謝罪の言葉を言ってきた。
実績重視でなくて、ユーザー視点でサポートしろと言われて
いやユーザーの事を思わない日は無い位に色々してきたのにと
悔しい思いをした。それが少し報われるか。

これはあくまで不要なデータを削除しただけで
またデータが増えれば同じ状況になってしまう。恒久対策は7月に一回。
8月に一回。それまでこの状態をいかにキープするかが問題だ。

休暇のはずがつい入ってしまった。
スポンサーサイト

0 Comments

Leave a comment