競馬レース結果のスクレイピング

import pandas as pd
import re 
from bs4 import BeautifulSoup
import requests
from tqdm import tqdm

race_id_list=[]
for year in range(2023,2024):     #開催年　2023年のレース
    for place in range(1,11,1):   #競馬場　01~10
        for kai in range(1,7,1):        #開催回　1回〜6回
            for day in range(1,13,1):   #日目 　 1〜12日目
                for r in range(1,13,1): #第〇R　 1~12R
                    race=str(year)+str(place).zfill(2)+str(kai).zfill(2)+str(day).zfill(2)+str(r).zfill(2)
                    race_id_list.append(race)

#レース結果を格納する空のリストを作成する。
race_list=[]
#2023年のレースIDをfor in関数で一つずつ取り出す
#進行状況を確認するため、tqdm関数を使用する
for id in tqdm(race_id_list):
    #存在しないレースIDがあるとエラーが発生するため、try関数にてエラーをスキップする。
    try:
        #レースIDを用いて、レース結果のURLを作成する。
        result_url=f"https://race.netkeiba.com/race/result.html?race_id={id}&rf=race_list"
        #read_html関数を用いて、レース結果をスクレイピングする。
        #レース結果はページの一番最初にある表となるため、[0]をつけて最初の表を指定する
        df_result=pd.read_html(result_url,header=0,encoding='euc-jp')[0]
    except:
        continue
    #そのレースIDのレース結果をrace_listに格納する
    race_list.append(df_result)
#race_listに格納した各レース結果を一つに統合する。
df_shutuba=pd.concat(race_list,ignore_index=True) #2023年のレース結果をまとめたデータフレーム

from bs4 import BeautifulSoup
import requests

#取得したいレースのURLを作成する
result_url=f"https://race.netkeiba.com/race/result.html?race_id=202404040111&rf=race_list"
#requests関数でURL先のページからWEB情報を取得する。
res=requests.get(result_url)
#BeautifulSoupで取得したWEB情報を解析する
soup=BeautifulSoup(res.content,"lxml")

import pandas as pd
from tqdm import tqdm #進行状況を表示させるライブラリをインストール
import re 
from bs4 import BeautifulSoup
import requests

#空のデータフレームを用意する
df_result=pd.DataFrame()
#CSSセレクタ("div.RaceData01")から距離・フィールド・馬場の情報を抽出する。
info=soup.select_one("div.RaceData01").text
#距離を抽出する
dis=re.findall(r"\d+",data1)[2]
#フィールドを抽出する
field=data1[data1.find("/")+2:data1.find("/")+3]
#馬場を抽出する
condition=data1[data1.find("馬場")+3:data1.find("馬場")+4]

#本賞金を取得する
main_prize=re.findall(r'\d+', soup.select_one('.RaceData02 span:nth-of-type(9)').text)[0]
#頭数を取得する
head_count=re.findall(r'\d+', soup.select_one('.RaceData02 span:nth-of-type(8)').text)[0]

#開催回を取得する
kai=soup.select_one('.RaceData02 span:nth-of-type(1)').text
#競馬場を取得する
keibajou=soup.select_one('.RaceData02 span:nth-of-type(2)').text
#系種を取得する
breed=soup.select_one('.RaceData02 span:nth-of-type(4)').text
#日目を取得する
nitime=soup.select_one('.RaceData02 span:nth-of-type(3)').text
#クラスを取得する
class_=soup.select_one('.RaceData02 span:nth-of-type(5)').text

#距離、フィールド、馬場のデータフレームを作成する、
df_result[["距離","フィールド","馬場","本賞金","頭数","開催回","競馬場","系種","日目","クラス"]]=[[dis,field,condition,"main_prize","head_count",kai,keibajou,breed,nitime,class_]]

import pandas as pd
from tqdm import tqdm #進行状況を表示させるライブラリをインストール
import re 
from bs4 import BeautifulSoup
import requests

#レースIDを作成

race_id_list=[]
for year in tqdm(range(2023,2024)):  #開催年　2023年のレース
    for place in tqdm(range(1,11,1)):  #競馬場 01~10
        for kai in range(1,7,1):       #開催1回〜6回
            for day in range(1,13,1):   #開催日1〜12日目
                for r in range(1,13,1): #1~12R
                    race=str(year)+str(place).zfill(2)+str(kai).zfill(2)+str(day).zfill(2)+str(r).zfill(2)
                    race_id_list.append(race)

#レース結果を格納する空のリストを作成する。
race_list=[]
#2023年のレースIDをfor in関数で一つずつ取り出す
#進行状況を確認するため、tqdm関数を使用する
for id in tqdm(race_id_list):
    #存在しないレースIDがあるとエラーが発生するため、try関数にてエラーをスキップする。
    try:
        #レースIDを用いて、レース結果のURLを作成する。
        result_url=f"https://race.netkeiba.com/race/result.html?race_id={id}&rf=race_list"
        #read_html関数を用いて、レース結果をスクレイピングする。
        #レース結果はページの一番最初にある表となるため、[0]をつけて最初の表を指定する
        df_result=pd.read_html(result_url,header=0,encoding='euc-jp')[0]
    except:
        continue
    try:
        #レース情報をスクレイピングする。
        #requests関数でURL先のページからWEB情報を取得する。
        res=requests.get(result_url)
        #BeautifulSoupで取得したWEB情報を解析する
        soup=BeautifulSoup(res.content,"lxml")
        #CSSセレクタ("div.RaceData01")から距離・フィールド・馬場の情報を抽出する。
        info=soup.select_one("div.RaceData01").text
        #距離を抽出する
        dis=re.findall(r"\d+",info)[2]
        #フィールドを抽出する
        field=info[info.find("/")+2:info.find("/")+3]
        #馬場を抽出する
        condition=info[info.find("馬場")+3:info.find("馬場")+4]
        #本賞金を取得する
        main_prize=re.findall(r'\d+', soup.select_one('.RaceData02 span:nth-of-type(9)').text)[0]
        #頭数を取得する
        head_count=re.findall(r'\d+', soup.select_one('.RaceData02 span:nth-of-type(8)').text)[0]
        #系種を取得する
        breed=soup.select_one('.RaceData02 span:nth-of-type(4)').text
        #開催回を取得する
        kai=soup.select_one('.RaceData02 span:nth-of-type(1)').text
        #競馬場を取得する
        keibajou=soup.select_one('.RaceData02 span:nth-of-type(2)').text
        #日目を取得する
        nitime=soup.select_one('.RaceData02 span:nth-of-type(3)').text
        #クラスを取得する
        class_=soup.select_one('.RaceData02 span:nth-of-type(5)').text

        #日付取得
        day= soup.find('meta', {'name': 'description'})
        day=day['content'].split(' ')[0]
        df_result["日付"]=day

        #レース結果のデータフレーム(df_result)にレース情報のデータを加える
        df_result["距離"]=dis
        df_result["フィールド"]=field
        df_result["馬場"]=condition
        df_result["本賞金"]=main_prize
        df_result["頭数"]=head_count
        df_result["系種"]=breed
        df_result["開催回"]=kai
        df_result["競馬場"]=keibajou
        df_result["日目"]=nitime
        df_result["クラス"]=class_
        df_result["日付"]=day

        
        #レースIDをdf_resultに追加する。
        df_result["レースID"]=id
    except:
        pass

    try:
        #馬のIDを取得
        horse=soup.select("tbody > tr > td:nth-child(4)> span")
        horse_id=[]
        for uma in horse:
            try:
                uma=str(uma)
                uma_id=re.findall(r"\d{3}[A-Za-z0-9]{7}",uma)[0]
                horse_id.append(uma_id)
            except:
                continue
        df_result["馬ID"]=horse_id

        #騎手のIDを取得
        kisyu=soup.select("td.Jockey")
        kisyu_id=[]
        for k in kisyu:
            try:
                k=str(k)
                k_id=re.findall(r'recent/(\w{5})',k)[0] #recent/の後の英数字を5文字取り出す。
                kisyu_id.append(k_id)
                kisyu_id=kisyu_id[:df_result.shape[0]]
            except:
                continue
        df_result["騎手ID"]=kisyu_id
        df_result["騎手ID"] = df_result["騎手ID"].apply(lambda x: "J" + str(x))

    except:
        pass

    #そのレースIDのレース結果をrace_listに格納する
    race_list.append(df_result)
#race_listに格納した各レース結果を一つに統合する。
keiba_data=pd.concat(race_list,ignore_index=True) #2023年のレース結果をまとめたデータフレーム
keiba_data=keiba_data.rename(columns={'馬 番':"馬番","着 順":"着順","人 気":"人気",'馬体重 (増減)':'馬体重(増減)','騎手 斤量':'騎手斤量'}) 
keiba_data.to_csv("競馬データ.csv",index=False)