1.データ収集 : 実践的ボートレース(競艇)予想AIを作ろう

[注意]掲載しているコード等は執筆時点では動いていますが、その後の環境の変化等により動かなくなっていることがあります。コードが必ず動くことを保証する訳ではありません。あくまでも参考にしてください

2024/10/31 追記
モデルの保存先を、GoogleDrive > Dropboxに変更できるように修正しています。そのためコードの一部を削除しています。

0.この記事ですること

AIを作るにはまずデータがないと話になりません。しかしデータの用意はAI作成とはまた違ったスキルなので、ここで挫折する人も多いかと思います。
そんな面倒なデータ準備を解説します。
(コードをコピペして実行すれば良いので、中身読まなくても大丈夫です)

1.データ取得元

ボートレースの情報は、公式サイトが一番詳しそうです。
なので今回は公式サイトをスクレイピングする形でデータを収集したいと思います。
スクレイピングに関してはサイトに迷惑がかからないようになど注意してください。
https://www.boatrace.jp/

24.10.15追記
colabからアクセス不可でしたが、対応方法追記しました。

1-1.対象ページ

今回スクレイピングの対象ページは下記です。

・本日のレース
https://www.boatrace.jp/owpc/pc/race/index
・レース一覧
https://www.boatrace.jp/owpc/pc/race/raceindex?jcd=04&hd=20240124
・出走表
https://www.boatrace.jp/owpc/pc/race/racelist?rno=1&jcd=04&hd=20240124
・オッズ
https://www.boatrace.jp/owpc/pc/race/odds3t?rno=1&jcd=04&hd=20240124
・直前情報
https://www.boatrace.jp/owpc/pc/race/beforeinfo?rno=1&jcd=04&hd=20240124
・結果
https://www.boatrace.jp/owpc/pc/race/raceresult?rno=1&jcd=04&hd=20240124

1-2.取得方法

 各ページ単位でデータを取得するコードを作成し、取得したデータはデータベースに格納していきます。後のnoteでは、日々の運用にも言及しますが、このnoteでは、過去データを取得するところまでを解説します。

2.下準備

2-1.conohaでのDBサーバの設定

取得したデータはDBに貯めます。DBはなんでもOKですが、クエリや設定などは下記のConoHaに準拠していますので、それ以外のものを利用する場合は適宜書き換えてください。