MRB-cloud；障害対応完了のお知らせです。

平素MRBーcloudサービスをご利用頂きまして誠にありがとうございます。

9月28日(木)のサーバー入れ替え時から、インターネット通信が遅くなる事象が出ておりご利用のお客様に対しては誠にご迷惑をおかけしてしまいました。

本日17時をもちまして、対策が終わりましたので次の通り最終報告をさせていただきます。

障害発生時間

　:2023年9月28日　9:00頃から2023年10月1日早朝まで

事象

　:インターネット接続が遅い、もしくはタイムアウトになる

原因1

　:早朝MRBーcloudサービス提供サーバーのOS変更の為、新OSを搭載したサーバーに移設作業を実施しました。

移設作業自体は問題なく終了しましたが、一度に想定外の大量データが流れてしまい、新しいサーバーで脅威判定の問い合わせ処理ができずに大量のエラーが出てしまいました。

そのためインターネット接続の判断待ちが生じ、結果的にインターネット接続が遅くなり、もしくはタイムアウトが発生してしまいました。

対応策

　•エラーログの削除を実施し、判定待ちがなくなり、脅威判定が滞りなくできるように対応しました。

　•サーバーのリソース増強を実施し、今までより多くのデータを処理できるようにしました。

原因2

　；原因1で対策しました結果、脅威判定の問い合わせエラーはなくなったものの、通信が改善されないため更なる事象確認と対策を実施しました。

　　調査の結果、OSの変更によるkernelのパラメーターが自動変更されていたことにより、HWスペックを活かした処理ができず、増えたスレッドに処理が追いつかなくなっていた為起こりました。

対応策

　　•サーバーOSのカーネルのパラメーターを修正しました。

　　•万が一スレッド作成に失敗した際にリソースが増えることがないように修正しました。

ご利用頂いておりますお客様におかれましては、快適なインターネット環境を提供できず大変申し訳ありませんでした。

更に快適なインターネット環境を提供できるようにこれからも改善していく予定です。

これからもMRBーcloudサービスをご利用頂けますよう、何卒宜しくお願い致します。