2023年振り返り

0. はじめに

2023年を振り返らないと年を越せないので、今年やったことと来年の抱負をまとめます。

1. データ分析コンペ周りの振り返り

1.1 オンサイトイベント

今年は、関東Kaggler会の運営に携わったり、Kaggle Tokyo Meetup 2023でお手伝いしたり、また発表者として関西Kaggler会に参加したりと様々なKaggleオンサイトイベントに参加できました。
Kaggleをやっているいろんな方とオンサイトで交流できるのはとても好きなので、来年も積極的に参加していけたらと思います。

1.2 コンペの参加

今年はコンペに対する優先順位がどうしても低くなってしまいました。入賞したコンペは、全国医療AIコンテスト2023で28チーム中2位でした。 コンペ参加する時間を増やすことと、ソロ金チャレンジをするのは来年の目標です。

2. 社会人としての振り返り

2.1 Turingに入社しました

今年の4月からTuring株式会社という完全自動運転AI×EVの量産を目指すスタートアップに入社しました。
日本で完全自動運転の開発ができること、スタートアップとして軸のある大きな夢にメンバー一丸で向かっていくことは、他にはない魅力でこれからも日々頑張っていきたいです。

2.2 自動運転AI(主にPerception)の面白さ

自動運転×Computer Visionの分野の研究は注目しています。特に3次元物体検出のような周囲の道路状況や標識、障害物を認識する"Perception"という技術を強く注目しています。

今年は勉強会や社内のテックブログで論文紹介を行いました。

このような研究を追っていくと自分の興味としては、「NNの認識モデルの精度とレイテンシを向上させるか」と「データをどのようにスケールさせることができるか」にあるようでした。
前者は、KaggleのようなSoTA合戦のようなことですが、特にVision-centricな認識モデルではエッジデバイスで推論させることを考えると、より軽量で、よりシンプルな構造が望まれ、今後さらに面白い手法が提案されると思うので追っていきたいです。
後者は、Data-Centric AIなアプローチが重要であるとここ一年で強く感じたためです。自分がデータを作れる側だとしたら、質の高いデータをいかに継続して収集できるかを念頭に置き、そのためのデータ収集およびアノテーション方法や、オートラベリング、質の悪いデータを弾くフィルタリングなどを洗練していきたいと思います。また、Data-Centric AI勉強会にも登壇しました。毎回非常に勉強になるのでぜひみてください。

2.3 珈琲研究所

Turingの本社オフィスが2024年1月に移転するため、もともとオフィスがあった柏の葉にあまり来れなくなってしまい残念です。
オフィス近くに ソリト マーゴ コーヒー ラボ(珈琲研究所)というめちゃ美味しいコーヒーが飲めるお店がありました。おすすめはアメリカーノの浅煎りで、感動する美味しさなのでぜひ皆さん行ってください(水曜と木曜は定休日なので注意です)。

珈琲研究所のコーヒー

3. 今年買ったもの

今年引っ越しして、それを機に家具家電を新しくしました。中でもよかったものはパナソニックのドラム式洗濯機(NA-LX127BL)、FLEXISPOTの昇降デスク(EF1)、象印のスチーム式加湿器(EE-DD35-HA)でした。
ドラム式洗濯機は、会社の人や関西Kaggler会であった人から絶対買うべきとおすすめされたので買いましたが、洗濯というタスクがなくなったので感動しました。昇降デスクもFLEXISPOTの中で比較的安価なものにしましたが満足しています。スチーム式加湿器も電気代に目を瞑ればお手入れ楽で、導入してから明らかに体調が良くなったのでこの冬は使い続けそうです。

他に良かったものとして、山善の温度調整可能な電気ケトルやよいときOneがあります。よいときOneは言わずもがなですが、ケトルは自宅でコーヒー淹れる時に重宝してました。価格も1万円切るのでおすすめです。

4. 来年の抱負

自分は継続することが非常に苦手なのでざっくりとした目標だけあげると、

  • Kaggle Competitions Grandmasterになる(ソロ金1枚取る)
  • 仕事を頑張る
  • OSS活動をする
  • いろんな人と交流するために勉強会参加する

です。あと来年もどんどん飲みに誘ってください！3月以降なら比較的時間が取れます。

2022年の振り返り

0. はじめに

2022年を振り返らないと年を越せないので、今年参加したデータ分析コンペティションや私の1年について簡単にまとめてみます。

1. コンペの振り返り

1.1 参加したコンペ

今年参加したコンペは以下の通りです。
今年はKaggleでは金3枚1、銀3枚を獲得できたので良かったです。

Kaggle

atmaCup

SIGNATE

1.2 参加したコンペの傾向

今年、私が参加したコンペの多くは自然言語処理(NLP)のコンペでした。
始めの頃はテンプレートのBERTの学習コードをただ動かすだけでしたが、コンペを通してBERTでの固有表現抽出やQuestion-Answerの実装やRoBERTa以外のモデルを知ることでBERTを使ったNLPの世界を少し知れました。

またfoursquareコンペでちょっとした情報検索?のことも知れたのも今後の情報検索、レコメンド系のコンペに参加するハードルを下げることができたのも良かったです。

1.3 コンペメダル以外の成績

KaggleであればNotebookやDiscussionのランクも少しずつ上げてコンペを盛り上げようと考えていました。
結果としては全てにおいてExpert以上にでき、かつNotebookではMasterになることができました。
来年はDatasetsとDiscussionでもMasterになれるようにしていきたいですね。

1.4 来年参加したいコンペについて

来年は(動)画像系のコンペや、もし自己位置推定系のコンペがあればそれらに集中して参加したいと考えています。
ひとまず現在行われているNFLコンペを最後まで走り切ることを目標に頑張っていきます。

2 コンペ以外の振り返り

2.1 今年の振り返り

今年はいろんなインターンに参加でき、研究では国際学会でオランダに行ったり、様々な方と交流することができコンペ以外にも充実しすぎた一年でした。

インターンでは、コンペを通して知り合った方との縁で参加できたり、コンペに関する実績を評価してもらえたり、また業務でもKaggleの知見が活きるような「月刊Kaggleは役に立つ」を常日頃感じることができました。
コンペや研究とはまた違ったことを勉強でき、いろんな人との繋がりができて非常に良かったです。関係者の方々には感謝感謝です🙇

2.2 来年やりたいこと

今年でクラフトビールやウイスキーの美味しさを知ってしまったので揃えていきたい2ですし、美味しいお酒が飲める店を探していきたいので知っている方はぜひ教えてください🙌3

3. なんとなくのまとめ

今年は一年通してかなり成長できた実感があります。
NLPコンペもなんとなくは知っていたけど、ある程度自分の中で体系化することができたのが満足なポイントです。

またKaggleを通した交流もすごく広がったのも非常に良かったです。
Kaggleのおかげで交流でき(特に社会人の方々)、またそのご縁でインターンに参加できました。学生のうちに社会人との交流機会が機会があるのもKaggleならではなので、どんどん学生の方参加しないかなと思っています👀

来年はもっといい一年にできるよう楽しみながら精進します。

  1. うち2枚は残念なコンペではありましたが…↩
  2. 山﨑・白州・響を家に揃えるのが目標です↩
  3. そして飲みにいきましょう！↩

2021年の振り返り

はじめに

Twitterを眺めていたら2021年の振り返りをいろいろ見てしまったので，私も書くしかないなと思い今年の参加したデータ分析コンペを振り返りをまとめてみます．

参加したデータ分析コンペ

参加したコンペの中で入賞したコンペは以下の通りです．

Kaggle

atmaCup

その他

コンペ振り返り

時系列順に振り返ってみます．

#10 [初心者歓迎!] atmaCup (4th /525 teams)

テーブルデータとしてまとめられている美術作品の属性情報からその作品がどれくらい評価されたかを予測する回帰タスクでした．短期間ではありましたが，可変長なカテゴリデータがあったり，テキストデータが多言語であったりと工夫する点が多くてとてもやりごたえがあったコンペでした．

私たちのチームでは，お互いに独立してモデルを作成してstackingをすると一気に精度が伸びて最終日に上位に食い込めたといった感じでした（solutionはこちら）．上位3位には入れなかったものの，敢闘賞3位という結果で物理メダルがもらえてかなり嬉しかったコンペでした．

このコンペで初めてとtuboさんとマージすることなりましたが，この後，他の4つのコンペでマージすることとなり，今年Kaggle Masterになれたのもtuboさんとマージできたおかげといっても過言じゃないかもです．

Indoor Location & Navigation (15th / 1170 teams)

indoorコンペです．スマホのセンサーデータ(WiFiやIMUなど)を使ってショッピングモールでの位置とフロアを推定するコンペでした．絶対位置推定は多くのチームではNNを使っており，またIMUデータから相対位置を推定して，絶対位置の精度を向上させるpost processingが効いたコンペでした．

atmaCup#10が終わった後に参加し，公開notebookを越したあたりにtuboさんとマージして，その直後にpenguinさんとこっこさんとマージし，15位で銀メダルを獲得しました．（solutionはこちら）

コンペ自体とても面白く，初めてKaggleでメダルが取れたのが嬉しかったです．ただチームメイトの方々に比べてほとんど貢献できずに悔しい思いをしたコンペでした．

Google Smartphone Decimeter Challenge (5th / 810teams)

outdoorコンペです．スマホのGNSSデータから位置情報を予測するコンペでした．最初からホスト側が絶対位置推定を行っており，多くの参加者はそのデータに対してpost processingして精度を向上させていたと思います．

indoorコンペであまり貢献できなかったことと，このコンペの終了時期が院試と被っていたため，コンペ序盤に大きく差をつけてやる！という気持ちで取り組みました．それが功を奏してか，序盤から終盤まで金圏内で維持することができました．

序盤にtuboさんとpenguinさんと再度マージして，最終的にindoorコンペで上位だったchrisさんとSaitoさんとマージし，結果的に5位で金メダルでCmpetition Expertに昇格しました．

MLB Player Digital Engagement Forecasting (83th / 852teams)

outdoorコンペと同時期に開催されていたコンペで，各MLB選手のエンゲージメントを予測するというタスクでした．outdoorコンペの方を主にやっていたので序盤だけの参加でした．ただtarget以外を特徴量を組み込んだ学習モデルのnotebookを最初に公開することができて，notebookで金メダルを獲得できてよかったです．

NFL Health & Safety - Helmet Assignment 58th / 825teams

大阪勢が強かったコンペです．NFLの試合の動画から検出されたヘルメットがどのプレイヤーかをマッチングさせるタスクでした．これ系のタスクは今までやったことはなかったものの，penguinさんが序盤に上位にいたことから競プロ要素で解けるかも？とメタ的に考えて序盤だけ参加しました．ただ圧力コンペが始まり，そちらのほうが勝算が高そうだったので圧力に注力しました．

Google Brain - Ventilator Pressure Prediction (19th / 2605teams)

圧力コンペです．人工呼吸器のシミュレーションデータから肺の圧力を推定する回帰タスクした．シンプルなテーブルデータで，LSTMやtransformerで比較的高精度のモデルを組むことができたコンペでした．これまでNNが強いコンペにあまり参加したことがなく，またスケーリングや評価指標のMAEがかなり奥深く，学ぶことが非常に多かったコンペでした．

このコンペではtuboさん，mstさん，ねむりさん，Takuさんとチームを組んで参加し，結果的に19位と銀メダルでCmpetition Masterに昇格しました．

#12 Sansan × atmaCup (6th / 245teams; 学生部門１位)

圧力コンペ期間中に開催されたコンペです．NDAの関係上タスク等に触れることはできませんが，非常に楽しいコンペで結果的に学生１位で初めて賞金をいただきました．（コンペタスクやsolutionはSansan Builders Blogにて紹介されています）

MLCAS2021 Crop Yield Prediction Challenge (1st / 29teams)

指導教員の方から紹介されたコンペで，大豆の収量を予測するテーブルデータの回帰タスクです．ワークショップの一環として開催されたコンペらしく，参加者は多くはなかったものの１位を獲得できてとても嬉しかったです．（ただかなりコンペ設計としては怪しいところが多く，私のモデルが何の役に立つのだろうかと不安になりました）

コンペ振り返りの総括

Kaggleでは金１枚，銀２枚，銅２枚（加えてrt4kaidoさんとマージしたOptiver Realized Volatility Predictionで銀か銅か獲得できそうです）と目標としていたKaggle Competition Masterに昇格することができ，またコンペで賞金を獲得できて良かったです．Kaggle自体はちゃんと参加したのはMechanisms of Action (MoA) Predictionで最終的に公開notebookのスコアにも到達できなかったので，そこから考えるとかなり成長できた１年でした．

ただチームで参加がほとんどで，ありがたいことに強い方々とマージしていただけたおかげで獲得したメダルも多かったです．来年以降はなるべくソロで参加して，理想は金圏マージでやっていきたいです．

来年の目標

Kaggleで金メダル２枚以上とatmaCupで総合３位以内を目指して頑張ります．