アーキテクチャカテゴリの記事一覧

2017年6月21日

高速ファイル/メッセージ転送システム K2HFTFUSE のパフォーマンスについて

こんにちは。ヤフー株式会社 システム統括本部の望月です。 私たちは先日、高速ファイル/メッセージ転送システムの K2HFTFUSE(ケーツーエッチ、エフティーフューズ) を公開し、この場でも紹介させていただきました。(高速ファイル/メッセージ転送 K2HFTFUSE の紹介)前回の Tech Blog では機能やプログラムの起動方法などを説明しましたが、今回はもっと詳細なパフォーマンス測定をし

全て読む

2017年6月 1日

Prometheus: Monitoring at ABYSS

2017年6月5日にYahoo! JAPANのオフィスでLucene/Solr勉強会が開催されます。(パチパチ) 「記念に何か書こう、とにかく書こう、なんかこう面白いやつ、いいから書こうぜ。俺たちよ。」という上司の笑顔に勇気をもらって書きます。(๑•̀д•́๑)

全て読む

2016年12月 9日

高速ファイル/メッセージ転送 K2HFTFUSE の紹介

こんにちは、technical yahoo の中谷です。今回は、Yahoo! JAPANからオープンソースとして公開した高速ファイル/メッセージ転送システムの K2HFTFUSE の紹介をします。K2HFTFUSEは、確実で高速なファイル/メッセージ転送を低コストで実現するために開発されたシステムです。 K2HFTFUSE(K2Hash File Transaction by FUSE-based

全て読む

2016年2月16日

分散プログラミングモデルおよびデザインパターンの考察

写真:アフロ データ&サイエンスソリューション統括本部、データインフラ本部、今野です。 早速ですが、今月開催の「Developers Summit 2016 (以下、デブサミ2016)」で当方が登壇する運びとなりました。気がつけば、前回の記事「分散システム処理モデルに関する動向について」から随分と日がたってしまいましたので、今回は、より広範囲な内容を整理してみたいと思います。 デブサミ2016の

全て読む

2015年6月10日

分散システム処理モデルに関する動向について(MapReduceからBorgまで)

写真:アフロ システム統括本部アーキテクト室 今野です。 先日、GoogleからBorg[1]なる論文が公開されました。Borgの関係者がKubernetes[2]の開発に携わっている経緯もあり、一般的にはコンテナ技術や仮想化を含めたPaaS(Platform as a Service)環境的な視点での注目が高い論文でしょう。 今回は、この論文を若干別の視点として、大規模分散システムの処理モデル

全て読む

2015年4月 6日

分散システムの一貫性に関する動向について

写真:アフロ システム統括本部アーキテクト室 今野です。 昨年は、Twitter,Facebookを始めとするクラウド各社で新規の分散システム開発のプロジェクトが相次いで発表された年でした。これらの新しい分散システムを開発する理由や、その背景にあるものは何なのでしょうか? 今回は、昨年末に開催された高信頼性分散システム系の国際学会であるSRDS 2014[1]の発表内容に関連する論文の話題も踏ま

全て読む

2010年5月27日

Hadoopを使いこなす(3)

こんにちは、R&D統括本部の吉田です。 前回と前々回の記事では、Hadoopのカスタマイズポイントを解説しました。 単純な問題に対しては、map関数とreduce関数の組み合わせだけでも、処理を行うことができますが、ある程度複雑な問題に対しては、今までに解説したカスタマイズポイントの活用が重要になるという話でした。 今回は実際のサービスの事例を紹介し、カスタマイズポイントがどう活用されてい

全て読む

2010年3月24日

これがABYSSのすべてだ!!

こんにちは。ABYSS開発チームの前田です。今回は前回に続いて、ABYSSについて、ご紹介します! 皆様、前回のABYSSの記事を読んでくださいましてありがとうございます。今回は主に、ABYSS内部のコンポーネントについてより詳しく説明して行きます。 ところで先日、ABYSSのロゴが完成しました! 現在チーム内ではリリースに向けて、ラストスパートを駆けています。ロゴが完成したこともあり、ABYSS

全て読む

2010年3月 1日

Hadoopを使いこなす(2)

こんにちは、 前回のHadoopの記事 に引き続き、MapReduceのカスタマイズポイントを解説していきます。 前回の記事の図や、表などを参照しながら読み進めていただければと思います。 MapperやReducerの流れの制御 Mapperの実行の流れは、デフォルトでは、初期化処理を行った後、map関数を繰り返し実行し、終了処理を行うようになっていますが、この流れ自体を制御することができます。

全て読む

2010年2月 8日

新検索プラットフォーム「ABYSS」

こんにちは、今回は現在開発を進めているヤフーの内部技術について紹介します。 Yahoo!サービス一覧をみるとさまざまなヤフーのサービスがあります。そして、ウェブ検索をはじめ各サービスの多くには検索機能がついています。ウェブ検索はYahoo! Search Technology、通称YSTと呼ばれる検索エンジンをバックエンドに利用しています。一方、ほかのサービスの検索機能はヤフー独自の検索エンジンを

全て読む

2010年1月26日

Hadoopを使いこなす(1)

こんにちは。前回のHadoopの記事では、HadoopやMapReduceについての概要を説明しましたが、 今回は一歩踏み込んで、Hadoopの使いこなし方について書きたいと思います。 今回は、ある程度Hadoopを使ったことのある方、Hadoopのインストールをして、 オフィシャルページのMapReduceチュートリアルなどを試してみた方を対象としています。 こちらでオフィシャルページの日本語訳

全て読む

2009年4月10日

APIとの通信効率をよくする実装例(2) 簡易キャッシュ

こんにちは、アリタノリヒロです。 前回の記事(PHPのcurl_multi機能)は、並列に通信することで高速化しようという話でした。今回は、通信そのものの数を減らすアプローチを考えてみましょう。 ■モデルケース  前回と同じように、いくつかのAPIから情報取得してマッシュアップするページがあったとします。 ■問題点 1台のサーバが同時に通信できる量にも限界はあるので、やみくもにAPIへの

全て読む

2009年3月 3日

Hadoopで、かんたん分散処理

こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo!JAPANでの実際の使用例を交えながら書きたいと思います。 Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoop

全て読む

2009年2月26日

開発と運用の分離

こんにちは、システム統括部の駒田です。 昨今、内部統制やJ-SOXといった言葉を良く耳にしますが、 ヤフーもご他聞に漏れず、粛々と対応を進めて参りました。 今回は、その対応の一環として行った、 「開発と運用の分離」に関してのエントリーをさせていただきます。 例えばですが... 開発成果物であるソースコードをテスト終了後に改ざんし、 不正に利益を得る様なエンジニアが存在していた場合、 それはヤフーに

全て読む

2009年2月23日

APIとの通信効率をよくする実装例(1) curl_multi

こんにちは。ライフスタイル事業部のアリタと申します。 Yahoo!のサービスも裏側ではWebAPIが多用されています。1つのページを構成するのに5、6個のAPIを使うこともざらですが、それではさすがにパフォーマンスが問題となってきます。その原因と対策例を紹介していきましょう。 ■モデルケース 例として、3つのAPIから取得したデータをマッシュアップしたページがあるとします。(ここではサンプルコード

全て読む