Yahoo! JAPAN Tech Blog

2017年7月27日

OSS

Apache Ignite新メモリアーキテクチャ

  • このエントリーをはてなブックマークに追加

シュティフ ロマン(データプラットフォーム)
Apache Igniteコミッター
@rshtykh

はじめに

近頃、急激に増量していくデータはもはやタイムリー且つ正確なデータ処理を困難にする。そのような中で、複雑なETLを無くしてコストを削減でき迅速なデータ処理の可能性を実証するインメモリコンピューティング技術が注目されている。例えば、2015年からスタートしたIn-Memory Computing Summitだが、年1回の少人数イベントから、1年にインメモリシステムの開発者と利用者を2回集めるイベントまで発展してきた。

インメモリコンピューティングプラットフォーム(データベースシステム)では、なるべくメモリ上で高速なデータ処理を行うが、メモリの有限性をはじめ様々な理由によりディスクの利用もまだよく求められる。そのため、高速なメモリ上の処理を中心に据え置きながらビッグデータシステムに必要とされるディスクを用いた永続性機能を提供するチャレンジがある(不揮発性メモリ利用も考えられるが、本稿では対象外)。
本記事では、Apache Ignite(執筆時点のバージョン) 2.0から新オフヒープページメモリアーキテクチャを紹介する。このアーキテクチャは2.1から公開されるメモリ空間をディスクまで拡張するdurable memoryアーキテクチャの中核となる。

続きを読む

2017年7月26日

データサイエンス

名古屋で機械学習の勉強会をやっています

  • このエントリーをはてなブックマークに追加

勉強会お手伝い担当の iwasawa です。

今回は弊社の名古屋オフィスが会場提供をしている『機械学習 名古屋 分科会 ゼロから作る Deep Learning 読書会+ハンズオン』をご紹介させていただきます。

『機械学習 名古屋 分科会 ゼロから作る Deep Learning 読書会+ハンズオン』とは

こんなの。

続きを読む

2017年6月29日

JavaScript

WEB+DB PRESS vol.99から連載が始まりました&webpack3の補足

  • このエントリーをはてなブックマークに追加

こんにちは。エンジニアの穴井(@pirosikick)です。去年の10月よりヤフー黒帯制度にて、JavaScriptの黒帯をやっています。普段はヤフーの社内ベンチャー制度からできたリッチラボで福岡で働いていますが、ご飯がおいしすぎて太りました。痩せたい!

ここからが本題ですが、今月24日発売されましたWEB+DB PRESS vol.99より、ヤフーのフロントエンドエンジニアによる連載が始まりました!連載タイトルは「どんとこい!フロントエンド開発」です。ヤフーのフロントエンドエンジニアで、流れの速いWebフロントエンドで使われる技術を分かりやすく解説していきますので、どうぞよろしくお願いします!

続きを読む