やったこと

• anime.csvの基本的な前処理
  • categorical → TruncatedSVD
• SeenとUnseenユーザを分けて学習
  • Seenはlgbm
  • UnseenはSurpriseを利用
• TargetEncoding
• anime2Vec

LateSubでやったこと

• implicitを使ったBPR, ALS
• anime2Vecのvector_sizeを小さくする(効いた)

間に合わなかったこと

• item2itemやuser2userの利用
• アンサンブル

1st

https://github.com/unonao/atmacup-15

1st place solution

• 方針
  • 視聴したという接続情報そのものを活用する
    • 誰が何を視聴したという履歴自体がデータ
  • グラフ構造として見たときに、2,3-hop 以上先までの高次の接続情報を利用する
  • ユーザーごとに固有の情報を作れるようにする
    • そのユーザーがそのアニメをどう思うのかの情報を追加する
    • 集約前の値/ユーザーごとの集約結果(平均値)
• How

  • CV

    • SeenとUnseen Userを分けて予測。CVはそれらの加重平均

  • Feature

    • 集約前の値/ユーザーごとの集約結果(平均値)
    • ユーザーごとの集約指標を更にアニメで集約(2hop,3hop…)
    • Implicit(ex. BPR)で作った埋め込みを特徴量として利用

  • Model

    • LightGCN
      • RMSEのlossを計算する。edge regressionの問題を解く
      • user_id, anime_idのpairの接続のみを使う
    • 普通のNN

    layers = []
            layers.append(nn.Linear(n_features, hidden_dim))
            layers.append(nn.ReLU())
            layers.append(nn.Dropout(p=dropout_rate))
            for _ in range(n_layers - 2):
                layers.append(nn.Linear(hidden_dim, hidden_dim))
                layers.append(nn.ReLU())
                layers.append(nn.Dropout(p=dropout_rate))  # Dropout層を追加
            self.fc_layers = nn.Sequential(*layers)
    
            self.fc_final = nn.Linear(hidden_dim, 1)
    

  • 実験管理

    • wandb + hydra