プレハブデータセンタ

データセンタへの取り組み

こんにちは、インフラ技術1部の松谷です。
私の部署では巨大なインフラを運用しているため、いろいろな取り組みを行っています。 今日はその中でも莫大なコスト発生源のデータセンタについての取り組みをお話したいと思っております。

データセンタとは

データセンタの基本設備構成は電気、空調、ネットワーク、セキュリティ、災害設備などです。 これらの様々な組み合わせ方でTierが決定しますが、日本のデータセンタは殆どがTier3～4の間です。 たとえば1フロア、100ラックのデータセンタがあるとします。 この内1ラックのサービスがTier4の設備要求があったとすると、データセンタの構造上、他の99ラックも同じ設備要求になってしまうことが多く、要求レベルを上回る費用が発生してしまいます。 まずはこの設備要求に関して緩和できるものがないか考えてみました。

空調機

最近では少なくなりましたが、データセンタを借りてサーバを置いているオペレータは誰もが一回は思った事があると思います。「寒い。。」そう、データセンタの設定温度は極端に低い場合が多いです。各サーバメーカの稼働温度条件は殆ど10～35℃となっていて、以前のblogの実験でも問題ない事を確認しています。（最近では47℃といった製品も販売されています）
35℃を超える気温は1年に何回くらいあるでしょうか？ 数えるくらいしかありませんね。 また、今後サーバはもっと高温状態で稼動できるようになっていくと考えられます。

電気設備

データセンタのライフラインはなんでしょうか？
考えるまでもなくネットワークと電気です。
データセンタの外部より引き込む、この二つに関してはどちらか一方が欠けてもデータセンタとしての機能を果たしません。電気に関しては止まった場合に備え、UPSと発電機でバックアップする仕組みを準備しています。ただし、ネットワークに関しては引き込み系統を増やすなど以外に予防策があまり多くはありません。どちらも外的要因で落ちる可能性がありますが、一方は万全で他方はそれほどでもないという状況です。繰り返しますがどちらが欠けてもデータセンタとしての機能は停止します。
片方の障害に引きずられるようでしたら、電気設備への要求も低めに設定することが可能だと考えられます。

堅牢な建物

鉄筋鉄骨の金庫のような建物にサーバを詰め込んでいますが、すべてのサーバに必要でしょうか？セキュリティレベルの高いサーバには必要不可欠ですが、公開情報中心のサーバにはそこまで必要ないかと思います。 また工期も非常に長いですし、一旦建ててしまうと構成の変更は容易でないです。

データセンタ設備の耐用年数

データセンタ設備や建築物の耐用年数は10年以上と非常に長くなっております。しかしながら、サーバがサービス機として現役でいられるのは1年半から3年、長くても5年とデータセンタ設備に比べ非常に短いです。逆に言うと同じ様なサイクルでデータセンタも建設できると新技術を取り入れて行く事が可能かと考えています。

データセンタとは

以上の事より、要求にあった設備を選択しサーバ寿命に合わせたデータセンタを作成したくなってきました。 そうこう考えているうちにデータセンタを作るのではなく、最小限でサーバを動かすためだけの設備を考え始めました。 室外にサーバを置いた状態で最小限な設備を加えていくモデルです。 当然の事ながら雨風を避けなければいけません。

次に空調機ですが温度は前述の通りさほど管理しなくても問題なさそうです。 外気を送り込むFANがあれば十分です。 但し加湿と高温時の温度低下のために加湿機を設置します。

後は電気とネットワークが接続されればとりあえずサーバは稼働しますが、 前述の通り電気に関しては設備要求を下げてUPSと発電機を無くします。 但し瞬低に備えサーバにバッテリーを搭載します。

1台づつこれを作っていると流石にコストが掛かりますので、 数ラックを1ユニットとして、今流行りのモジュールタイプとし、 簡略化した建物でよいためプレハブのような建物とします。

ヤフーのサーバは冗長化が必須のため電源もネットワークもシングルです。 この1ユニットを1サーバと考え、データセンタ設備としてもシングル構成とします。 実際にはユニット1つにつき約400～500台位のサーバが稼働可能です。

上記要件を踏まえた上で試験棟を構築しました。 以下がその写真です。

コストメリット

省けるものを省いたのは良いですが、イニシャルとランニングの双方にコストメリットが出ないとまったくやる意味がありません。 データセンタ費用はイニシャルならばMW単価、ランニングならばPUEを指標としていて、小さければ小さいほどメリットが出ると言われています。 この二つはどのように算出するのでしょうか？

MW単価は下記の式で計算します。

PUEは下記の式で計算します。

従来のデータセンタに比べてMW単価としてどれくらい削減したかというと、 合計で6割くらいの削減となりました。

発電機やUPSを付けていませんので電気設備を大幅に削る事ができていますが、 その他の部分でも削減する事が出来ています。 建築・空調工事はまだ改善する部分があるため、これよりも低い価格での構築を今後も目指していきます。

またPUEですが、空調機やUPSなどサーバ以外で電力消費が多いものを極力省いているため、 かなり低下することができました。

上図は2011年の9月より1年間の代表的な季節をいくつかに分類したグラフです。 1年間の平均PUEは1.044（最大値1.10、最小値1.014）という値となりました。

PUEを下げている理由としてサーバにバッテリーを搭載していることも挙げられます。 バッテリーをサーバ搭載しているため、下図のように電力変換による電力損失がほぼない状態になっています。

今後もデータセンタに対する改善を継続して研究していこうと思います。