馬情報のスクレイピング

import pandas as pd
import re 
from bs4 import BeautifulSoup
import requests
from tqdm import tqdm

uma_id_list=pd.read_csv("〇〇")["馬ID"].unique().tolist()

#requests関数でURL先のページからWEB情報を取得する。
res=requests.get(f"https://db.netkeiba.com/horse/2015104961/")
#BeautifulSoupで取得したWEB情報を解析する
soup=BeautifulSoup(res.content,"lxml")

##ライブラリインポート
import pandas as pd
from tqdm import tqdm #進行状況を表示させるライブラリをインストール
import re 
from bs4 import BeautifulSoup
import requests

#馬IDのリストを作成する。
uma_id_list=pd.read_csv(〇〇)["馬ID"].unique().tolist()

#馬情報(基礎情報・血統情報)の取得

#各馬の情報を入れる空のリストを作成
empty_list=[]
for i in tqdm(uma_id_list):
    #ある馬の情報を入れるリストを作成
    uma_list=[]
    try:
        ##血統情報が記載されたhtmlを取得
        res=requests.get(f"https://db.netkeiba.com/horse/ped/{i}/")
        soup=BeautifulSoup(res.content,"lxml")
        #父
        uma_list.append(re.findall(r"\d{3}.{7}",str(soup.select_one("tr:nth-child(17) > td.b_fml > a:nth-child(1)")))[0])
        #母
        uma_list.append(re.findall(r"\d{3}.{7}",str(soup.select_one("tr:nth-child(1) > td:nth-child(2) > a:nth-child(1)")))[0])
        #父父
        uma_list.append(re.findall(r"\d{3}.{7}",str(soup.select_one("tr:nth-child(9) > td.b_fml > a:nth-child(1)")))[0])
        #父母
        uma_list.append(re.findall(r"\d{3}.{7}",str(soup.select_one("tr:nth-child(17) > td:nth-child(2) > a:nth-child(1)")))[0])
        #母父
        uma_list.append(re.findall(r"\d{3}.{7}",str(soup.select_one("tr:nth-child(25) > td.b_fml > a:nth-child(1)")))[0])
        #母母
        uma_list.append(re.findall(r"\d{3}.{7}",str(soup.select_one("tr:nth-child(1) > td:nth-child(3) > a:nth-child(1)")))[0])
    except:
        pass

    try:
        #生年月日、調教師、馬主、生産者、産地が記載されたhtmlを取得
        res=requests.get(f"https://db.netkeiba.com/horse/{i}/")
        soup=BeautifulSoup(res.content,"lxml")
        #生年月日、調教師、馬主、生産者、産地を取得する
        birthday= soup.select_one("th:-soup-contains('生年月日') + td").text
        tyoukyou= soup.select_one("th:-soup-contains('調教師') + td").text
        banushi= soup.select_one("th:-soup-contains('馬主') + td").text
        seisansya= soup.select_one("th:-soup-contains('生産者') + td").text
        sanchi= soup.select_one("th:-soup-contains('産地') + td").text
        #ある馬情報をいれるリストに生年月日、調教師、馬主、生産者の情報を追加
        uma_list.extend([f"{i}",birthday,tyoukyou,banushi,seisansya,sanchi])
        #ある馬の情報を示したデータフレームを作成
        uma_b=pd.DataFrame([uma_list],columns=["F", "M", "FF", "FM", "MF", "MM","馬ID","生年月日","調教師","馬主","生産者","産地"])
        #データフレームのカラムの並べ替え
        uma_b=uma_b[["馬ID","生年月日","調教師","馬主","生産者","産地","F", "M", "FF", "FM", "MF", "MM"]]
        #ある馬の情報を示したデータフレームを空のリストに入れる
        empty_list.append(uma_b)

    except:
        pass
#各馬の情報を一つデータフレームに統合    
uma_info=pd.concat(empty_list,axis=0)  #血統情報・生年月日、調教師、生産者、産地の情報
#csvで保存する。
uma_info.to_csv("馬情報.csv")