第117回日本内科学会講演会LIVE配信サイトをご利用された皆様へ

一般社団法人日本内科学会
事務局

この度は第117回日本内科学会講演会LIVE配信サイトに障害が発生し、多大なるご迷惑をおかけしたことに深くお詫び申し上げます.
障害内容、障害原因の詳細,また再発防止につきまして、下記の通りご報告いたします.

【障害発生日】
2020年 8月 7日(金) 〜 8月8日(土)

【障害内容】
① データベース(以下 DB)サーバの負荷によるサーバダウンの障害
② メールサーバからの緊急停止措置による新規視聴登録の障害

【発生原因】
①DBサーバの負荷によるサーバダウンの障害
8月7日(金)10時45分頃より,最大21,799/分のDBサーバへのアクセスが集中,CPUの負荷が約100%まで急上昇し,その高負荷によって応答時間が増大したことにより,サイトへのアクセスが困難な状況となった.

②メールサーバからの緊急停止措置による新規視聴登録の障害
8月7日(金)11時42分頃よりDBサーバへのリクエスト(会員照会・ログイン認証等)の問い合わせ応答に関する処理時間が多く掛かる状況となり,メールサーバの緊急停止措置が発生したことが原因となり,サイトへのアクセスが困難な状況となった.

【暫定対応】
DBへの問い合わせを減らすことと,DBの最適化を目的に以下の対応を行った.
1.ユーザーのセッション情報を別のmemcacheサーバ(検索に特化し、データベースへの読み込みを低減させるサーバ)に変更するための改修を行った.
2.ページの表示を、DBサーバに問い合わせることなく表示させる仕様に改修を行った.
3.応答に時間がかかる問い合わせを特定し、インデックスの追加を行った.
4.新たにドメインとメールサーバの確保を行った.

【DBサーバダウンを招いた原因について】
この度上記の障害を引き起こした原因として,あらゆる可能性を検証し、リスク回避策(事前の負荷テストや当日のセーフティーネットの構築など)を策定していましたが,想定を越えたアクセスの集中があったことにより,サーバダウンが生じたことが起因となります.
なお,映像配信サーバには問題はなく,あくまでもログイン時のDBサーバが負荷に耐えられなかったことが,一番の原因となります.

【再発防止について】
今後の感染症拡大の影響も鑑み,またコロナ後の社会変革の一つとしてLIVE配信を用いたハイブリット形式の学会仕様が継続いたします.
今回発生したDBサーバ・メールサーバへの負荷分散を主要項目に,最大値60,000名までが同時に「1,会員照会・登録・ログイン」「2,LIVE配信視聴」「3,視聴履歴への書き込み」「4,その他サービス」等が行えるよう,システムを構築し,その上で十分な負荷テストと検証を行ってまいります.

以上