基盤技術カテゴリの記事一覧

2017年10月12日

ヤフーの分散オブジェクトストレージ Dragon について

こんにちは、データ&サイエンスソリューション統括本部所属の後藤泰陽(@ono_matope)です。少し時間があいてしまいましたが、9月19日にお茶の水女子大学で開催された WebDB Forum 2017 において、分散オブジェクトストレージ “Dragon” について講演しました。良い機会なので、本エントリでもDragonについてご紹介させていただきたいと思います。 発表資料 WebDB For

全て読む

2017年3月 7日

HDFS Erasure Codingの紹介とYahoo! JAPANにおける運用事例

はじめに こんにちは。Yahoo! JAPANでHadoopに携わっているエンジニアの浅沼です。Hadoopは大量のデータを分散処理するためのオープンソースソフトウエアです。この夏にリリース予定のバージョン3.0系には、HDFSの新機能であるErasure Codingが導入されます。Yahoo! JAPANではHadoopコミュニティーでErasure Codingの実装に参加してきました。本記

全て読む

2016年10月13日

ハイパフォーマンスでスケーラブルなメッセージングシステム:Pulsarの紹介

はじめに Pub-Subとは 用語の定義 システム構成 Hello World おわりに 緊急告知 参考 はじめに こんにちは。システム統括本部プラットフォーム開発本部の栗原と申します。 2016年9月、Yahoo! Inc.からPulsarがOSSとして公開されました。Pulsarは高い配信信頼性/パフォーマンス/スケーラビリティを誇るPub-Subメッセージングシステムです。Yahoo! I

全て読む

2016年9月 9日

OpenStackのコントローラをKubernetes上にデプロイする

はじめに OpenStackの運用エンジニアをしている木下です。今回はマルチプラットフォームCI環境に関する連載の第5弾として、OpenStack上へKubernetesをデプロイする取り組みについて紹介したいと思います。マルチプラットフォームCI環境の目的は、イメージビルドによってさまざまなプラットフォーム上でサービスを迅速に稼働させる事にあります。そして、連載の中ではプラットフォームとしてKu

全て読む

2016年9月 2日

KubernetesとOpenStackを連携させる方法

OpenStackの運用エンジニアをしている木下です。 今回はマルチプラットフォームCI環境に関する連載の第4弾として、KubernetesとOpenStackの連携を検証した際に分かった、動作させる手順と現在の状況について説明していきたいと思います。本エントリーでは、「Kubernetesの認証としてKeystoneを利用する方法」、「KubernetesからCinderを利用する方法」の2つを

全て読む

2016年8月 9日

Terraformを使ってOpenStack VMにKubernetesクラスタをデプロイする

こんにちは。データセンターのサーバを管理しています宮本です。 今回は、先日のOpenStackとKubernetesを利用したマルチプラットフォームへのCI環境で紹介されたCI環境を構築する上で「土台」となるKubernetesの導入方法について紹介したいと思います。そのためここでは、Kubernetesのデプロイを汎用的な技術として、Kubernetes構築の基本を把握できるよう体系立ててお話し

全て読む

2016年8月 1日

CalicoによるKubernetesピュアL3ネットワーキング

はじめに ネットワークを中心にデータセンターからKubernetesまで、幅広くインフラに関わらせていただいている市川です。 本エントリーでは、先日の「OpenStackとKubernetesを利用したマルチプラットフォームへのCI環境」エントリーから続くヤフーのOpenStackデプロイ環境におけるKubernetes利用連載の第2弾として、われわれのKubernetesネットワーク環境について

全て読む

2016年7月25日

OpenStackとKubernetesを利用したマルチプラットフォームへのCI環境

はじめに インフラ運用に従事している松谷です。2012年にOpenStackを社内に導入して以来、社内の環境は劇的に変化しました。当時ゴールにしていたハードウェアの抽象化はOpenStackを導入することで達成する事ができました。しかしながら現在はクラウドの進化やコンテナの台頭でさまざまなプラットフォーム上でサービスを迅速に稼働させる事が急務となってきていると考えます。コンテナプラットフォームを構

全て読む

2016年4月18日

openssl-1.0.2による性能向上

初稿ではAVX2による効果ではないかと記述をしておりましたが、stitchedではなく、multi bufferのサポートやその他要因が混合しており数値検証が完全ではないという指摘をいただきました。 記事内容の訂正を行います。検証が不十分なままの掲載となり申し訳ございません。また、数値や技術的な裏付けは今後再検証を進めていこうとおもいます。 サイトオペレーション本部(*1)を兼務させていただいてい

全て読む

2016年3月31日

サーバの電力消費傾向とピークカットの取り組み

サイトオペレーション本部の杉本(@keyaki)です。 サーバの導入検証や、インフラ関連ツールの開発・運用を担当しています。 今回は、データセンターの電力問題に対する取り組みをご紹介します。

全て読む

2015年12月25日

EVPN(Ethernet VPN)

Yahoo! JAPAN Tech Advent Calendar 2015の25日目の記事です。一覧はこちら メリークリスマス!Yahoo! JAPANでインフラ・ネットワーク領域の技術責任者をしている高澤です。 昨年に続き2回目の試みとなったYahoo! JAPAN Tech Advent Calendar、みなさまお楽しみいただけましたでしょうか。今年も広範囲な技術領域の記事が公開されてきま

全て読む

2015年12月 7日

キャッシュシステムのオリジンサーバアクセスの効率化と Apache Traffic Server

Yahoo! JAPAN Tech Advent Calendar 2015の7日目の記事です。一覧はこちら こんにちは。システム統括本部プラットフォーム開発本部配信プラットフォーム部の大久保諒です。 過去に何度か紹介している通り、ヤフーでは静的コンテンツのキャッシュを行うためにオープンソースの HTTP プロキシサーバである Apache Traffic Server (以下 ATS) を用いて

全て読む

2015年4月17日

TLS Session resumptionを使ってみた話

あっどうも、社員Mです。 細かすぎて伝わらないSSL/TLSというタイトルにて、1年目とはとても思えない1年目の新人さんによる TLS Session resumption の技術についてアツい紹介がありました。 私は、このあたりの技術を片っ端から人柱することを専門に担当しています。本日はその結果について簡単にご紹介できればと思います。 ※ 弊社で謎の人物キャラがはやるのは前CTOの明石さんの影響

全て読む

2015年1月20日

細かすぎて伝わらないSSL/TLS

「細かいと言うより長いよね」 はじめに こんにちは。ATS の脆弱性を発見した小柴さんや ATS に HTTP/2 の実装を行っている大久保さんと同じチームの一年目、匿名社員M さんからいじられている新人です。今回ありがたい事に、こういったすごい方々を含めモヒカン諸先輩方より「何か書かないの?」「いつ書くの?」という数々のプレッシャーお言葉をいただきました。 というわけで、SSL/TLS の Se

全て読む

2014年12月 2日

HTTP/2 プロトコルネゴシエーション方法と ATS での実装

Yahoo! JAPAN Tech Advent Calendar 2014の2日目の記事です。一覧はこちら はじめに こんにちは。システム統括本部 プラットフォーム開発本部 大久保諒です。本稿では、次世代 ウェブ プロトコルである HTTP/2 を使用するにあたり必要となる、クライアントとサーバー間でどのプロトコルを使用するかの合意を取る処理(プロトコルネゴシエーション)に関する簡単な説明と、Y

全て読む

2014年11月14日

HTTP/2 への取り組みの続報と ATS Summit 参加報告

はじめに こんにちは。システム統括本部 プラットフォーム開発本部 大久保 諒です。本稿では以前本ブログ記事「Yahoo! JAPANにおけるHTTP/2への取り組み」にてお伝えした、オープンソースのHTTPプロキシサーバーであるApache Traffic Server(以下、ATS)のHTTP/2サポートに向けた活動の続報をお伝えします。具体的には前回の記事以降に発生したATSコミュニティとのや

全て読む

2014年10月 7日

Apache Traffic Server の脆弱性の発見と報告

はじめに こんにちは。システム統括本部 プラットフォーム開発本部 エンジニアの小柴(@masaori335)です。Yahoo! JAPAN は多くの Open Source Software(以下 OSS)に支えられています。そのなかの 1 つに Apache Traffic Server(以下 ATS)があります。ATS は過去にこの TechBlog でも紹介したこともある非常に高性能なキャッ

全て読む

2014年6月23日

細かすぎて伝わらないmdbm

こんにちは、匿名希望の社員Mでございます。 Yahoo! INCが、NoSQLのmdbmをオープンソースとして公開しました。Yahoo! JAPANでも10年以上もお世話になっているものです。 https://github.com/yahoo/mdbm さて、この場面ではライトなユーザードキュメントや紹介を期待されているところですが、そんな空気感は一切無視して進行したいと思います。 個人的にどうし

全て読む

2014年6月20日

Yahoo! JAPAN における HTTP/2 への取り組み

はじめに こんにちは。システム統括本部 プラットフォーム開発本部 エンジニアの大久保諒です。 Yahoo! JAPAN のサービス利用者の皆様に、より高速にコンテンツをお届けするためのキャッシュ・プロキシサーバー関係の開発業務に携わっております。 本記事ではオープンソースの HTTP キャッシュ・プロキシサーバー Apache Traffic Server で HTTP/2 通信を可能とする為の機

全て読む

2014年6月19日

HTTP/2 入門

こんにちは。CMO室 エンジニアの石澤 (@summerwind) です。 少し前になりますが、HTTP/2の基本的な仕組みを1時間程度で理解することを目的とした「HTTP/2 入門」という勉強会を社内で開催しました。今回はこの場をお借りして、その時の勉強会資料と、HTTP/2の特徴についてを簡単にご紹介したいと思います。 勉強会資料 HTTP/2 入門 from Yahoo!デベロッパ

全て読む

2013年3月28日

Big Switch Networksと各社openflowスイッチとの相互接続検証

こんにちは、インフラ技術1部の松谷です。 先日、日本市場に進出を発表したBig Switch Networkの製品であるBig Virtual Switchについて、各社openflowスイッチとの相互接続検証を行いました。 その実験結果を2013年1月のJPNAP北陸ユーザ会にて発表しましたのでそちらの資料をシェアしたいと思います。 Openflow実験 from Yahoo! デベロ

全て読む

2012年11月 5日

プレハブデータセンタ

データセンタへの取り組み こんにちは、インフラ技術1部の松谷です。 私の部署では巨大なインフラを運用しているため、いろいろな取り組みを行っています。 今日はその中でも莫大なコスト発生源のデータセンタについての取り組みをお話したいと思っております。 データセンタとは データセンタの基本設備構成は電気、空調、ネットワーク、セキュリティ、災害設備などです。 これらの様々な組み合わせ方でTierが決定しま

全て読む

2012年6月27日

ヤフーのIPv6への取り組み Continue: IPv6共同実験

はじめに 特集ページにて公開していますが、いくつか実験を行いましたので、Techblogにて説明をさせていただきたいと思います。 フォールバックに関する影響調査 IPv6でコンテンツ配信を行った際に発生する、フォールバックによる影響調査をBBIX株式会社と行いましたので説明したいと思います。 端末側での計測 BBIX株式会社で各種端末と試験回線を準備していただき、Yahoo! JAPANのサイト

全て読む

2012年5月23日

ヤフーのIPv6への取り組み Continue: 現状のIPv6における利用の問題

こんにちは、Yahoo! JAPAN IPv6 PJ スタッフです。 これまでの検証からサービスを IPv6 に対応させる事によって接続が遅延する、もしくはそもそも接続できないと言った現象が起きる事がわかりました。特に現在明確に発生する事がわかっている深刻な問題は、端末のネットワークに対する接続において到達性の異なる網の混在によってTCP接続が遅延する(もしくは遅延しているように見える)現象です

全て読む

2011年8月12日

ヤフーネットワーク10年

はじめに こんにちは、ヤフーでネットワーク設計に携わって早10年の松谷と申します。 今回はヤフーネットワーク10年と題し、ヤフーの重要配信インフラの一部であるネットワークについて、過去の課題と共にご紹介していきたいと思います。 2000年 この頃のヤフーでは検索やオークションといったサービスのウェブサーバーへ、大量のアクセスが集中し高負荷になる事が多々ありました。当時、ほとんどのサービスが皆さんご

全て読む

2011年7月 4日

ヤフーのIPv6への取り組み Continue: World IPv6 Day を終えて

こんにちは。IPv6 プロジェクトのスタッフです。 2011年6月8日午前9時から 24時間World IPv6 Dayが行われYahoo! JAPAN もこのイベントに参加し、Yahoo! JAPAN トップページhttps://www.yahoo.co.jp/を IPv6 でアクセス可能の状態としました。 IPv6 プロジェクトでは、トップページへの対応と同時に、これまで行ってきたビーコンを

全て読む

2011年5月26日

ヤフーのIPv6への取り組み Continue

ヤフーのIPv6への取り組み Continue こんにちは。IPv6 プロジェクトのスタッフです。 以前にこちらのTech Blog記事で公開させていただきました、IPv6 アクセス傾向の調査とともに、引き続きこれからの Yahoo! Japan でのIPv6への取り組みをご紹介しようと思います。 接続性調査に関して サービスへの IPv6対応における接続性への影響の調査は、以前ご紹介した手法を

全て読む

2010年8月23日

サーバーの熱は冷まさなくても良い?

こんにちは、運用技術本部 サイトオペレーションズ部の秋山と申します。 Yahoo! JAPANには日本一のサイトを支えるたくさんのネットワーク機器、サーバー、ストレージがあります。 日々増え続ける、インフラ機器の運用管理に頭を悩ませている、管理者も多いかと思います。 悩むポイントは機器管理、コスト等いくつかあるかと思いますが、今回は「サーバーの熱」に焦点を絞り、話をします。 普段使っている

全て読む

2010年8月 4日

IPv6化の壁(DualStack対応とTunnelの課題)

こんにちは、IPv6プロジェクトスタッフの松本拓也です。 今回は、私共も含めContents Service Provider (以下、CSP)がなぜ安易にDualStack対応できない理由とその背景にかかわるTunnelの問題について具体的に説明したいと思います。 DualStack対応時の問題点 サーバーをDualStack化した場合、下記の2つの問題が発生する恐れがあります。 一点目は、

全て読む

2010年7月26日

IPv6ロードバランサにおけるICMPv6パケットの取り扱いについて

こんにちは。IPv6プロジェクトスタッフ 内田幸治です。 今回はIPv6サービス提供時にロードバランサ(以下、LB)を投入してサービスをする際にはまった、LBのICMPv6パケットの取り扱いについてのネタを紹介させていただきたいと思います。 このネタを説明するのにちょっとした基礎知識があるとわかりやすいので、まずは基本的技術に関して説明させていただきました。ネットワークに

全て読む

2010年6月24日

ヤフーにおけるパッケージ管理

こんにちは、R&D統括本部 開発推進室 セキュリティプラットフォーム技術の戸田 薫です。 個人的に自宅では、 FreeBSD でよく遊んでいて、FreeBSDのパッケージ管理には、portsnap、portupgrade を利用していますが、ヤフーでは独自の方法で行われます。 その背景としてヤフーには、平均15億以上のPVを支えるためやサービスの付加価値のために何万台ものサーバがあり、サービスやシ

全て読む

2010年6月23日

Yahoo! JAPAN IPv6への挑戦 ~Traffic ServerのIPv6化とMy Yahoo!への応用~

こんにちは、IPv6プロジェクトスタッフのダルビッシュこと江川卓秀です。 Yahoo! JAPANでのIPv6に関する取り組み紹介の3回目は、My Yahoo!という具体事例を通じて、どのように IPv6 配信を行ったか紹介させていただきます。 Yahoo! JAPANのサービスのIPv6対応について 第1回ではビーコンによるIPv6配信での影響調査、第2回ではネットワー

全て読む

2010年4月15日

Yahoo! JAPAN内でのIPv6アドレスの使い方

こんにちは。IPv6 プロジェクトのスタッフです。 ヤフーのIPv6への取り組みを3回に分けて紹介しております。前回はヤフーのIPv6への取り組みをとりあげさせていただきました。 最近IPv6に関するいろいろなセミナーでよく話題になることなのですが ネットワーク設計・運用者の方々はIPv6アドレスの設計方法に関して 頭を悩ませているのではないでしょうか。 そこで、2回目の今回はYahoo! JA

全て読む

2010年4月 1日

ヤフーのIPv6への取り組み

こんにちは。IPv6 プロジェクトのスタッフです。 今回は Yahoo! JAPANでの IPv6 に関する取り組みを 3回に分けて紹介します。 Yahoo! JAPANにおける IPv6 への取り組みは、近い将来広がる IPv6 のネットワークに対して Yahoo! JAPANのサービスがこれまで同様、もしくはそれ以上に快適に提供することを実現することを目的としています。この目的の元、これまで

全て読む