Cloudera World Tokyo 2014 でImpalaについて発表しました

こんにちは。ヤフー株式会社の杉山です。Hadoopのベンダーとして知られるCloudera社が主催する Cloudera World Tokyo 2014（以下CWT2014）の午後のセッションで、昨年頃から盛り上がっているHadoopのSQLエンジンImpalaについて発表してきました。

ImpalaはHDFSを直接readする低レイテンシなSQLエンジンで、データの検索や集約を行う処理は従来のMapReduceを使わずに専用に開発されたImpaladが行います。Impalaの発表当初は話題を呼びましたが、最近ではImpala自体の存在は浸透して実際にどのように使っていくか、という話題が増えているように思います。

私たちヤフーでも、この新しいSQLエンジンに強い関心を持っており社内でさまざまな検証を行っています。発表資料の方では、サービス利用を考えた時に気になるレスポンスや並列リクエストを引き上げるための設計やチューニングポイントを紹介していますので、これからImpalaの本格利用を考えている方はぜひ参考にしてください。

せっかくですので、カンファレンスの様子もお伝えします。私は自分の発表準備もあって全てのセッションには参加できませんでしたが、参加できたものについては簡単にご紹介します。

午前の部

• Japan Update
  Cloudera株式会社　代表取締役社長　ジョー・シニョレリ氏

• エンタープライズにおけるグローバルHadoopの動向
  Cloudera, Inc.　Chief Operating Officer　カーク・ダン氏

• Hadoopと将来のデータセンター
  Cloudera, Inc. Chief Technologist　イーライ・コリンズ氏

• ビッグデータ・Internet of Thingsの潮流とインテルの戦略
  インテル株式会社 常務執行役員　平野浩介氏

今回のCWT2014は、この春Cloudera社への出資が大きなニュースとなったインテルが特別協賛スポンサーとなっており、IoT（Internet of Things:モノのインターネット）が強く前面に出ていたという印象です。前半のCloudera社の各面々もインテルとの協業の背景としてIoTをあげており、工場機械や自動車に取り付けるチップやセンサーをインテルが作って、そこから集められた大量のセンサーデータをClouderaのHadoopディストリビューション（CDH）が解析する、といったように両者が協調していくということでした。インテル平野氏のセッションでは、マッチ箱ほどの基盤にCPU、メモリ、ストレージを搭載してLinuxがブートするというチップを見せてくれました。インテルとの提携事業ではもうひとつ、これまでインテルが開発していたHadoopディストリビューションIDHをCloudera社のCDHに統合されたことも紹介されました。ハードウエアとソフトウエアの両者の得意分野で協業していく合理的な提携ですね。

午後の部

• A-1 象さん雲に乗る ～ Clouderaのクラウドコンピューティングへの取り組み
  Cloudera株式会社　Solutions Consultant　水丸淳氏

• B-2 AmebaにおけるHBase活用事例
  株式会社サイバーエージェント　技術本部　善明晃由氏・内藤遥氏

• A-5 Strata + Hadoop World 2014 レポート
  Cloudera株式会社　Sales Engineer　嶋内翔氏

午後はこちらのセッションに参加しました。Cloudera水丸氏のセッションでは、同社のクラウドに対する考え方が紹介されました。Cloudera社は創業当初からクラウド上でビッグデータを処理するプラットフォームを提供しようとしていたそうですが、当時の投資家などの反対が強くオンプレに自分たちのソフトウエア（CDH）を提供する現在の事業形態になったそうです。しかし、確実にクラウドは企業にも浸透しており創業当初の構想を実現すべくクラウド対応を加速しているということです。同じくCloudera社の嶋内氏からは、今年ニューヨークで開催されたHadoop World 2014の紹介がありました。米国のこのようなカンファレンスではHadoopを使っていること自体は特に言及されないほど浸透していて、絵に描いたような成功事例ばかりでなく、いかに活用しているかとか、その過程で出た苦労話とかが多くなっている、というのが印象的でした。

また私は時間の都合で参加できなかったのですが、sparkの事例を紹介するセッションが増えていてsparkがかなり盛り上がっているという印象でした。Hadoopは毎年話題を呼ぶエコシステムが生まれてきて、まだまだ面白いですね。

おわりに

同じスライドをCWT2014の1週前に行われた第1回 Tokyo Impala Meetupでも紹介しています。他の発表も面白いものがありますので、ぜひこちらも見てください！