Open TechTalk「Hadoop Hack Night」レポート

こんにちは、TechBlog担当の井野です。

3月8日に開催されたOpen TechTalk「Hadoop Hack Night」についてのレポートをお届けいたします。本イベントは、思った以上に多くの方にご応募いただき抽選とさせていただきました。当日は、当選された１００名の方々にお集まりいただきました。ありがとうございました。

さて、本イベントですが、大きく分けて三部構成でお送りいたしましたので、各々ご紹介いたします。本イベントのTwitterハッシュタグ『#hadoophn』も活発にやり取りされておりました。

イベントの詳細は、技術評論社さんの「gihyo.jp」にも掲載されておりますので、 あわせてご覧ください。
Hadoop Hacks Night詳細レポート［前編］｜gihyo.jp
Hadoop Hacks Night詳細レポート［後編］｜gihyo.jp

イベントの冒頭挨拶

Hadoopの基礎から応用までを包括的に解説する書籍『Hadoop』（オライリー刊）の翻訳者のひとりであるヤフー エンジニアの兼田 聖士よりの挨拶。

今後、兼田にもTechBlogへ寄稿してもらう予定ですのでお楽しみに。

■第一部：Owen O’MalleyさんによるHadoop TechTalk

写真 Owen O’Malleyさん

下記４つのアジェンダでHadoopの紹介がありました。

Hadoop コミュニティについて

Core Contributorsが現在185人いて30%がYahoo!incから、 そして72%のpatchがYahoo!incから出ている。 サブプロジェクトであるHBase、Pig、Hive、ZooKeeperの コミュニティも徐々に育ってきている。

HadoopとYahoo!inc の関係

現在、Yahoo!incはHadoopの最大のユーザーであり最大のテスターそしてcontributorである。

Yahoo!はどの辺でHadoopを利用しているか

Yahoo!incでは検索Indexや広告の最適化、メールのスパムフィルター content Managementなどなどに使っている。

Hadoopを使うメリットで分かりやすい事例のひとつとして サーチサジェスト機能のデータの作成を紹介。 Hadoopを利用する前までは、26日かかってたのが、20分で終わるようになった。 開発期間も2-3週間かかっていたのか2-3日で完了できるようになった。

※　因みに、Hadoop に関連するモジュールPigは大規模データセットを解析するためのプラットフォームですが こちらを開発が非常に楽になるようです。例として出た、Javaで何百行と書かれているソースがPigでほんの数行というスライドは非常に驚きでした。

今後の展開

現在、セキュリティ、スケジュール機能、パフォーマンスなどをYahoo!inc で開発している。

■第二部： ヤフー エンジニアの吉田 一星によるYahoo! JAPANのHadoopへの取り組み

下記４つのアジェンダでHadoopへの取り組みの紹介がありました。

Yahoo! JAPANがHadoopを使う背景・経緯

−Yahoo! JAPANでも2007年頃からいくつかのサービスでHadoopを使い始めている。

−各サービスごとのクラスタ、検証用クラスタがばらばらに存在していた。

−2009年、すでにHadoopが導入されているサービスからノウハウを集約するHadoop Working Groupが結成された。

−現在、Hadoopの全社統一化が進められている最中。

各サービス・プラットフォームでの利用例

ログ解析、検索関係、インデックス作成、ランキング計算、クロール、機械学習関係、協調フィルタリング、クラスタリングなどなどに利用されている。

Hadoopの利用法

多くのエンジニアがアドホックに解析処理などを行うサービスでは、PigやHiveが利用されている。

問題点と今後

0.22、Yahoo Distibution of Hadoopに期待してる。

■第三部：Owenさんとパネラーの皆さんのディスカッション＋参加者との質疑応答

写真　パネリストの皆さん(左から)　モデレータ：馮 富久氏（株式会社技術評論社, 三上 俊輔 氏（筑波大学）、藤川 幸一 氏（株式会社シリウステクノロジーズ）、田中 慎司 氏（株式会社はてな）、吉田 一星 （ヤフー株式会社），Owen O’Malleyさん,通訳：山本　啓介（ヤフー株式会社）

• Hadoopのメリットについて
• 遺伝子工学（組み合わせのマッチング）などでの利用の可能性
• セキュリティ
• Pigのメリットデメリット
• GoogleのMapReduce特許についてのインパクトについて

といった話題でもりあがりました。

最後に

本イベント、いかがでしたでしょうか？ 直接参加している方も、オンラインで参加された方も楽しんでいただけましたでしょうか。 皆様にとってHadoopの未来を期待させるイベントであったことを願います。

P.S. 六本木の某居酒屋で行われた懇親会も半数以上の方にご参加いただき 大盛況でした。