カタベログ

IT技術に関するブログを書きたい.食べ物関連はInstagramをご参照の事.

Google Colaboratoryでライブラリのダウンロードが遅くて困った話

TL;DR

気づき

Google Colaboratoryで日本語の形態素解析とか動かそうと思ってJuman/Juman++、KNPとか入れようとしました。 しかしながら、wgetで京大のページからダウンロードしようとしたらやたらめったら遅い。 Google Colaboratoryの仕様で遅いのかなと調べてみたけど、むしろ早いという触れ込みが多いし、pip3とかはたしかに早い。

頭使って考えた結果、Google Colaboratoryは日本国外のサーバで動いていて距離が影響して遅いのではないかと仮説を立てた。 最も簡単に距離を縮める方法を考えた結果、もうGoogleドライブに入れちゃえばいいじゃんという結論に至った。 何回もダウンロードしなくても、一回アップロードすれば後はマウントすれば終わりだからオーバーヘッドも減るし。 実際、ドライブへのアップロードはColaboratoryでダウンロードより早いし、かなり楽になった。