なんとなく。 AWS GCPはちょっと触ってたけど、AWSは間違ってお金かかってしまいそうという謎の不安があって社会に出るまで敬遠していた。 EC2, ELB, S3, Beanstalkのような基本的なサービスに加えてRedshiftとEMRをかなり触ることになった。 覚えたり調べた…

はじめに Sparkの基本的な仕組み データコレクションの操作のためのAPI 1. RDD - ネイティブなオブジェクトのコレクション 2. DataFrame - 基本的な型の値からなるテーブル RDD v.s. DataFrame 3. Dataset - RDDとDataFrameの長所を併せ持つコレクション RDD…

8月に毎月恒例の社内LT大会があり、テーマがVMだったので、1974年の仮想化技術の論文を紹介しました。 そのときのスライドを公開します。 取り上げたのは次の論文です。 Popek, Gerald J., and Robert P. Goldberg. "Formal requirements for virtualizable …

修論と学会終わって成績表も確認したのでやっと気分が落ち着いた。 普通はこういうとき旅行とか行くのだろうけど、高校～大学で日本の８割ぐらいの都道府県は行ったし、海外は面倒なので、特に大きな計画はしてない。 近場で鳥取だけまだ訪れたことがないの…

Pythonで機械学習を使う場合、scikit-learnには何かとお世話になる。 豊富な学習アルゴリズムの実装を利用できるのが長所だが、実はアルゴリズムそのもの以外にも、前処理や評価のための様々な便利機能を有している。 これらを知らずに使っていると，車輪の…

昨年の10月から12月にかけて Cousera の機械学習オンラインコース "Machine Learning" を受講し、無事完走することができた。 www.coursera.org コースは無料で受講できるが、修得したことを公式に認定する修了証 (verified certificate) を取得するためには…

昨日書いた今年の目標に書きそびれたけど、今年は積極的にブログ書いていきたい。 形から入るタイプなのでテーマも変えてみた。 今までこのブログは時折思い出したようにぽつんと投稿するだけで、ほぼ放置状態だった。 理由は単純で、特に書くことがなかった…

あけましておめでとうございます。 今年は社会に出る予定なので、時間もお金も使い方の自由度が上がると信じてる。 とりあえずいくつか目標を書いておく。 エンジニア活動 最近ちょっとずつエンジニア力ついてきた気がするので、今年は成果を積極的に公開し…