ワークショップ: Apache Spark™ によるデータパイプラインと機械学習の統合 に参加した

会場風景

2019年10月24日、ついに日本法人もできたDatabricksが主催するワークショップに参加してきた。

情報

• 2019/10/24（木）
• 〒107-6090, 東京都港区, 赤坂1丁目12番32号
  • アークヒルズ アーク森ビル サウス WeWork内
• 参加者は22名

タイムテーブル

• 1:30-2:00 登録および交流
• 2:00-2:15 はじめに - データサイエンスとデータエンジニアリングの統合
• 2:15-3:15 お客様利用事例のプレゼンテーション
• 3:15-4:45 対話型デモおよびベストプラクティス
• 4:45-5:00 質疑応答

Databricks？

• 統合分析プラットフォーム製品であり社名
  • 部分部分で競合はいるけども、トータルで見たときの競合はない
  • すでにtalendやEMRがあって満足している際にお客を奪うことはない
• 10/22に$400 million 調達
• Apache Sparkコミッターの75%がDatabricks社員
• 全世界1,300名の社員
• SalesForceのEinsteinでも利用
• RIOT GamesはEMRで実装していたものをDatabricksに乗り換え

感想

ビッグデータ市場はまだまだ日本では成熟していないとガートナーのレポートから自分は読み取っている。 日本において、ビッグデータを扱うインフラのメインに据える製品としてDatabricksが刈り取れる牌はまだまだ沢山ありそう。 だから日本にも乗り込んできたのかもしれない。

www.gartner.com

Clouderaが既にいるし、Amazon EMRとかGCP BigQuery、Cloud Dataprocとかある中で、Databricksはどこまで売り込んで行けるのだろうか。 MicrosoftのAzureはDatabricksを推している感じがあるので、セットで売り込んでいく感じになるかもしれない。 Databricks自体はAWSをインフラとしてクラウド版を販売しているのでAWSはNGという訳でもないんでしょうけど、AWSのサービスとして使える訳ではないので。

azure.microsoft.com

参加している人の中にはBIツールで有名な会社やコンサルの人が来ていた。 狭い視野ではあるが、今日本に欠けているのはビジネス側の人の理解だと考えている。 橋渡し役がコンサルになるのかは分からないけども、技術とビジネスをもっとうまくつなげる事をできるようになる事が勝ち抜く秘訣ではなかろうか。

ちなみに、Databricksはコードをバリバリ書けるエンジニアを募集しているらしいので、腕に自信がある人は受けてみてもいいかもしれない。 自分は腕がまだないので応募しません。