カタベログ

IT技術に関するブログを書きたい.食べ物関連はInstagramをご参照の事.

2019-01-01から1年間の記事一覧

ワークショップ: Apache Spark™ によるデータパイプラインと機械学習の統合 に参加した

会場風景 2019年10月24日、ついに日本法人もできたDatabricksが主催するワークショップに参加してきた。

SageMakerでApache Airflowが触れるので試してみた

きっかけ 方針 注意点 作業の流れ クロージング 感想 きっかけ 2018年のAWS Re:Inventで発表されたあたりからずっと触ってみたいと思って何もしていなかった。 三連休だし、でも台風だから外に出れないしなので触ってみることにした。 方針 AWSさんは初心者…

PyConJP 2019(二日目)に参加した

#pyconjp What's PyCon JP ? 公式サイトより引用。 PyConは、Pythonユーザが集まり、PythonやPythonを使ったソフトウェアについて情報交換、交流をするためのカンファレンスです。 PyCon JPの開催を通じて、Pythonの使い手が一堂に集まり、Pythonにまつわる…

Google Colaboratoryでライブラリのダウンロードが遅くて困った話

TL;DR アメリカ国外からダウンロードしなければならない場合はGoogle ドライブに予め格納しておきましょう 気づき Google Colaboratoryで日本語の形態素解析とか動かそうと思ってJuman/Juman++、KNPとか入れようとしました。 しかしながら、wgetで京大のペー…

令和の機械学習Azure Hands Onの参加メモ

FIXERでのハンズオン風景 講師 山本 和貴 株式会社FIXER データ・サイエンティスト このハンズオンは採用活動の一貫らしいので、joinしたい人は参加するのもあり メモ これまでの機械学習 全て手作業(データ収集、クレンジングや加工、特徴量設計、モデル設…

Spark Meetup Tokyo #1 (Spark+AI Summit 2019)を聴講した話

開始前の風景 Spark + AI Summitって? Spark Meetup Tokyo 雑感 最後に Spark + AI Summitって? 米国Databricks社が主催するApache Sparkに関する世界有数のカンファレンス。 アメリカではSan Francisco市のMoscone West Convention Center(東京ドーム0.7…

MacOS(Mojave)でDatabricks koalasを利用しようとしてつまづいた

前提 買ったばかりので開発系ツールがあまり入っていないMac環境 GithubのReadMeを読めばおおよそ回避できる What's "Koalas"? SparkのDataFrameの為にPandasライクなAPIを用意したのがKoalas 米国Databricks社が開発してOSSとして公開した、Python用のフレ…