カタベログ

IT技術に関するブログを書きたい.食べ物関連はInstagramをご参照の事.

機械学習

SageMakerでApache Airflowが触れるので試してみた

きっかけ 方針 注意点 作業の流れ クロージング 感想 きっかけ 2018年のAWS Re:Inventで発表されたあたりからずっと触ってみたいと思って何もしていなかった。 三連休だし、でも台風だから外に出れないしなので触ってみることにした。 方針 AWSさんは初心者…

PyConJP 2019(二日目)に参加した

#pyconjp What's PyCon JP ? 公式サイトより引用。 PyConは、Pythonユーザが集まり、PythonやPythonを使ったソフトウェアについて情報交換、交流をするためのカンファレンスです。 PyCon JPの開催を通じて、Pythonの使い手が一堂に集まり、Pythonにまつわる…

令和の機械学習Azure Hands Onの参加メモ

FIXERでのハンズオン風景 講師 山本 和貴 株式会社FIXER データ・サイエンティスト このハンズオンは採用活動の一貫らしいので、joinしたい人は参加するのもあり メモ これまでの機械学習 全て手作業(データ収集、クレンジングや加工、特徴量設計、モデル設…

Spark Meetup Tokyo #1 (Spark+AI Summit 2019)を聴講した話

開始前の風景 Spark + AI Summitって? Spark Meetup Tokyo 雑感 最後に Spark + AI Summitって? 米国Databricks社が主催するApache Sparkに関する世界有数のカンファレンス。 アメリカではSan Francisco市のMoscone West Convention Center(東京ドーム0.7…

MacOS(Mojave)でDatabricks koalasを利用しようとしてつまづいた

前提 買ったばかりので開発系ツールがあまり入っていないMac環境 GithubのReadMeを読めばおおよそ回避できる What's "Koalas"? SparkのDataFrameの為にPandasライクなAPIを用意したのがKoalas 米国Databricks社が開発してOSSとして公開した、Python用のフレ…