【第4話 前処理】現役データサイエンティストが機械学習でtotoを当てるまでの物語

# 大会カテゴリーを絞る
match_category = ['Ｊ１ サントリー','Ｊ１ ＮＩＣＯＳ','Ｊ１', 'Ｊ２', 'Ｊ３', 'Ｊ１ １ｓｔ', 'Ｊ１ ２ｎｄ','ＹＮＣ', 
                'ＹＬＣ グループステージＡグループ', 'ＹＬＣ グループステージＢグループ', 'ＹＬＣ グループステージＣグループ', 'ＹＬＣ グループステージＤグループ', 
                'ＹＬＣ プレーオフステージ', 'ＹＬＣ プライムステージ', 'ＹＬＣ ノックアウトステージ', 
                'ＹＮＣ グループステージＡグループ', 'ＹＮＣ グループステージＢグループ', 'ＹＮＣ 予選Ａグループ', 'ＹＮＣ 予選Ｂグループ', 'ＹＮＣ 決勝トーナメント']

df_pick = base_df_score_mod.copy()
df_mod = df_pick[df_pick["大会"].isin(match_category)]

df_match_category_mod = df_mod.copy()

df_match_category_mod["大会"] = df_match_category_mod["大会"].replace(re.compile(r" １ｓｔ"), '', regex=True)
df_match_category_mod["大会"] = df_match_category_mod["大会"].replace(re.compile(r" ２ｎｄ"), '', regex=True)
df_match_category_mod["大会"] = df_match_category_mod["大会"].replace(re.compile(r" サントリー"), '', regex=True)
df_match_category_mod["大会"] = df_match_category_mod["大会"].replace(re.compile(r" ＮＩＣＯＳ"), '', regex=True)

df_match_category_mod["大会"] = df_match_category_mod["大会"].replace(re.compile(r"ＹＬＣ .+"), 'カップ戦', regex=True)
df_match_category_mod["大会"] = df_match_category_mod["大会"].replace(re.compile(r"ＹＮＣ .+"), 'カップ戦', regex=True)
df_match_category_mod["大会"] = df_match_category_mod["大会"].replace(re.compile(r"ＹＮＣ"), 'カップ戦', regex=True)

df_match_category_mod.to_csv('./steps/step_4.csv', index=False)

# 「節」表記の調整
df_mod = df_match_category_mod.copy()
df_mod["節"] = df_mod["節"].replace(re.compile(r"第.日"), '', regex=True)

df_mod.to_csv('./steps/step_5.csv', index=False)

# totoの予想に使えない列の削除
df_drop = df_mod.copy()
df_drop = df_drop.drop(["スコア", "入場者数", "インターネット中継・TV放送"], axis=1)
df_drop.to_csv('./steps/step_6.csv', index=False)

# 中止の行を除く
df_cancel = df_drop.query("home_score != '中止'")
df_cancel.to_csv('./steps/step_7.csv', index=False)

# 時刻のデータをカテゴライズする
df_mod = df_cancel.copy()
df_mod["match_time"] = df_mod["K/O時刻"].replace(re.compile(r":\d\d"), '', regex=True)
df_mod = df_mod.dropna(subset=["match_time"])
df_mod = df_mod.query("match_time != ''")
df_mod = df_mod.astype({'match_time': int})
df_mod['match_time'] = np.where(df_mod['match_time'] >= 18, "night", np.where(df_mod['match_time'] < 16, "day", "twilight"))

df_drop = df_mod.copy()
df_drop = df_drop.drop(["K/O時刻"], axis=1)

df_drop.to_csv('./steps/step_8.csv', index=False)

# 細かい調整
df_mod = df_drop.copy()
df_mod = df_mod.astype({'年度': str})
df_mod["day"] = df_mod['年度'].str.cat(df_mod['試合日'], sep='/')
df_mod = pd.concat([df_mod, df_mod["day"].str.split('\(', expand=True)], axis=1)
df_mod = df_mod.drop(["day"], axis=1)
df_mod = df_mod.rename(columns={0: 'day', 1: "weekday"})
df_mod = df_mod.drop(["年度", "試合日", "weekday"], axis=1)
df_mod["day"] = pd.to_datetime(df_mod['day'])
df_mod["week_day"] = df_mod["day"].dt.day_name()

df_mod.to_csv('./steps/step_9.csv', index=False)

# 日付などに関するデータ整形
df = df_mod.copy()
df["month"] = pd.to_datetime(df["day"]).dt.month

studium_dict = settings.studium_dict

df = df[~df["スタジアム"].str.contains('.*未定.*', regex=True)]

df = df.reset_index(drop=True)
for index_num, row in tqdm(df.iterrows(), total=len(df)):
    df.at[index_num, "studium_mod"] = studium_dict[row["スタジアム"]]

    if row["ホーム"] == "草津":
        df.at[index_num, "ホーム"] = "群馬"
    elif row["アウェイ"] == "草津":
        df.at[index_num, "アウェイ"] = "群馬"

    if row["ホーム"] == "平塚":
        df.at[index_num, "ホーム"] = "湘南"
    elif row["アウェイ"] == "平塚":
        df.at[index_num, "アウェイ"] = "湘南"

    if row["ホーム"] == "横浜M":
        df.at[index_num, "ホーム"] = "横浜FM"
    elif row["アウェイ"] == "横浜M":
        df.at[index_num, "アウェイ"] = "横浜FM"

    if row["ホーム"] == "市原":
        df.at[index_num, "ホーム"] = "千葉"
    elif row["アウェイ"] == "市原":
        df.at[index_num, "アウェイ"] = "千葉"

    if row["ホーム"] == "Ｖ川崎":
        df.at[index_num, "ホーム"] = "東京Ｖ"
    elif row["アウェイ"] == "Ｖ川崎":
        df.at[index_num, "アウェイ"] = "東京Ｖ"

df.to_csv('./steps/step_10.csv', index=False)