さくらインターネットの西新宿DC障害の原因判明

http://www.sakura.ad.jp/news/archives/20090306-001.news

■障害の概要
　　発生日時：2008年12月19日 12時35分頃
　　影響範囲：6F Aゾーン90ラック、6F Bゾーン68ラック計158ラックに供給
　　　　　　　されている2系統の電源のうち1系統の電力供給が停止
　　障害内容：電源設備からの発煙による一部電力供給停止

■調査・試験結果
1.消防庁による現場検証
　弊社の運用体制および焼損した変圧器以外の機器には問題は見当たらず、
　焼損した変圧器の解体調査をメーカーにて実施することとなりました。

2.解体調査結果
　メーカー工場内にて、弊社担当者および消防庁立会いのもと当該変圧器の解
　体調査を実施いたしました。その結果、変圧器の左側面の中央部で絶縁紙な
　どが焼失し、変圧器を構成する内部の巻線が短絡していること、および変圧
　器の巻線の位置が設計値よりもずれていたことが確認されました。

3.成分分析調査結果
　事故の起点となったと思われる変圧器内部の巻線が短絡した部分、およびそ
　の周辺に付着していた物質の成分分析を実施いたしました。その結果、変圧
　器を構成する成分以外の物質は検出されなかったため、変圧器外部から物質
　が混入して障害が発生した可能性は極めて少ないとの結果となりました。

4.再現試験
　今回障害が発生した変圧器と同じ仕様の機器をメーカーが製作し、事故当時
　の使用条件を模擬した再現試験を実施いたしました。その結果、変圧器内部
　の巻線付近の部品が局部的に過熱することが判明いたしました。

■障害発生の原因
　上記の消防庁による現場検証、メーカーによる解体調査、成分分析調査およ
び再現試験などを通じて原因の究明を図ったところ、製造時において発生した
組立ミスにより、当該変圧器に局部的な過熱が発生、本障害が生じたものとの
結論となりました。

■障害の再発防止策
　今回障害が発生した変圧器につきましては、2009年3月1日に交換し、正常稼
働へ向けて点検・整備作業を行っております。当該変圧器以外の変圧器につき
ましては、障害発生後より冷却ファンを追加するなどの冷却強化や、メーカー
による温度監視の強化を行っておりますが、このたびメーカーからの報告にて、
障害再現実験にて局部的な過熱発生が判明していること、これを踏まえ当該変
圧器以外の変圧器につきましても健全性が確認された変圧器に交換させて欲し
いとメーカーから強い申し入れを受けていることにより、当該変圧器以外のす
べての変圧器も可及的速やかに交換することを決定いたしました。

　尚、障害発生後より、電力使用量抑制策および電源設備冷却強化策の実施、
メーカーによる電源設備の日次点検および温度監視を継続して実施しており、
再発防止のための態勢をとっております。

　尚、2008年12月21日付けで発表しております「電源障害に関する質問および
回答」も、最終報告に併せて内容を更新いたしております。詳細は以下の通り
です。

結局”変圧器内部の巻線付近の部品”の不良品だったって事ですよね。
こりゃさくらもカワイソウ・・・
メーカーとかへの損害賠償とか大丈夫なんだろうか・・・
色々大変そうだけど、顧客のデータを預かるデータセンター業務の重要さ大変さが身に染みる出来事でしたね。

さくらインターネットの皆様お疲れ様でした。
これからも頑張って下さいね。

なお、本件に関する一連の流れは↓から
http://www.sakura.ad.jp/nishiidc/