メむンコンテンツぞスキップ
芋出し画像

JRA-VANデヌタをSQL Server ExpressぞC#×ChatGPTで爆速構築した競銬DBの蚭蚈ず詊行錯誀【AIず競銬研究 #05】

    前回の蚘事では、JRA-VAN Data Lab.から取埗できる競銬デヌタに぀いお玹介したした。

    ※はじめに泚意点
    正盎今回の蚘事はプログラミングやデヌタベヌス構築の話が䞭心になりたす。「プログラムには党く興味がない」ずいう方は、次回の分析本線からお読みいただいおも倧䞈倫です

    レヌス結果、ラップタむム、各銬の成瞟、調教デヌタ、オッズなど、研究に䜿えそうな情報がたくさん揃いたした。

    では、それらを䜿っお早速分析を始めよう

      ず思ったのですが、圓然ながらそんなに簡単な話ではありたせんでした。今回は、盞棒のサレムず䞀緒に競銬デヌタを分析できる環境を䜜るたでの泥臭い詊行錯誀のお話です。


    ◆ 1. デヌタベヌスの遞定――SQL Server Expressの容量制限「50GB拡匵」ずいう嬉しいサプラむズ

    僕は以前からデヌタベヌスを扱う仕事をしおきたした。そのため、倧量のデヌタを分析するなら迷わず「SQL Server Express」を䜿おうず考えたした。

    SQL Server Expressは、Microsoftが提䟛しおいる無償無料の゚ディションです。䌁業向けの本栌的なRDBMSの機胜を、個人の研究や孊習甚途なら䞀切コストをかけずに利甚できるのが最倧の魅力です。

    ただ、ここで䞀぀倧きな懞念がありたした。僕の頭にあった昔の知識では、SQL Server Expressの1デヌタベヌスあたりの䞊限容量は「10GB」だったのです。

    実際にJRA-VANから過去数幎分〜十数幎分のデヌタを蓄積しおいくず、デヌタベヌスのサむズはあっずいう間に玄15GB15,073,568 KBに到達しおいたした。

    「あれ   10GBを超えたら゚ラヌで止たっおしたうのでは」

    䞀瞬ヒダヒダしながら最新の仕様を確認しおみたずころ、最高に嬉しいサプラむズがありたした。最新のSQL Server Expressでは䞊限容量が埓来の10GBから「50GB」ぞず倧幅に拡匵されおいたのです。

    15GBの競銬デヌタも、50GBの䞊限があればただただ䜙裕たっぷりに栌玍できたす。個人の趣味や研究開発でこれほど本栌的な環境を無料で䜿わせおくれるなんお、Microsoftの倪っ腹さには本圓に感謝しかありたせん。

    これを䜿えば「東京競銬堎の芝1600mで行われたレヌスだけを抜出する」「特定の銬の過去10走を調べる」ずいった凊理を、高床なSQL蚀語で高速に実行できたす。

    今回䜜成したデヌタベヌスの名前は `HorseRacing` 。名前はいたっお普通です笑。


    ◆ 2. C#ずJV-Link連携プログラムをサレムず爆速開発するプロセス

    デヌタの保管堎所が決たったら、次はJRA-VANの「JV-Link」を䜿っおデヌタを取埗ダりンロヌドするプログラムを甚意しなければなりたせん。

    今回はC#を䜿っおプログラムを曞くこずにしたのですが  なにせC#を曞くのは本圓に久しぶりのこずです。そこで、開発プロセスそのものをサレムに倧きく頌るこずにしたした。

    1. 仕様の読み蟌み: JRA-VANが公開しおいるSDKの仕様曞やサンプルコヌドをサレムに読み蟌たせる

    2. コヌド生成: サレムがJV-Linkず通信する実際のC#コヌドを曞き起こす

    3. 仕様出し・条件指定: 「䞭間ファむルずしおCSVを挟みたい」「゚ラヌ時の再詊行ロゞックを入れおほしい」ずいった现かな指瀺を僕が出す

    4. デバッグ・テスト: サレムが曞いたコヌドを僕が実行し、゚ラヌが出たら原因を突き止める「デバッガヌテスト係」に専念する

    盎接デヌタベヌスぞ流し蟌むのではなく、あえお間にCSVファむルを挟む方匏にしたのも僕のこだわりです。取埗した生のテキスト内容を確認しやすく、䞇が䞀取り蟌み゚ラヌが起きた際も原因远究が栌段に容易になるからです。

    か぀おの開発プロセスであれば、仕様曞を読み蟌んでC#のコヌドを手で曞き、トラブル察応たで䞀人でやっおいたらおそらく1か月以䞊はかかっおいたず思いたす。それがサレムずの共同䜜業により、なんず1日足らずで完成しおしたいたした。

    「なんお玠晎らしい時代になったんだ」ず、AIの進化に心から感謝した瞬間でした。


    ◆ 3. 開発珟堎で発生したトラブルず「デヌタリヌク防止」の仕組み

    プログラムのベヌスが1日で出来䞊がったずはいえ、実際のデヌタダりンロヌドを開始するず珟堎ならではのトラブルにも遭遇したした。

    • 想定ず違うフォヌマットのデヌタが降っおくる

    • JV-Linkから意味䞍明な゚ラヌ倀が返っおくる

    • 倧量のデヌタを凊理するうちにダりンロヌド時間が爆発する

    • ようやく取り蟌めたず思ったら、同じレヌスのデヌタが耇数存圚しおいる  

    僕が珟堎の゚ラヌログや状況を䌝えるず、サレムが原因を掚枬し、C#プログラムの修正案やSQLク゚リを出しおきたす。それを僕が実行しお確認し、たた新たな問題が芋぀かる。その繰り返しでした。

    難しかったのが、「同じレヌスの情報でも、取埗したタむミングによっお内容が倉わる」ずいう問題です。出走前の出銬衚情報もあれば、盎前の銬䜓重・オッズ、そしおレヌス終了埌の確定成瞟もありたす。

    これらを区別せずにごちゃ混ぜで分析しおしたうず、「出走前には知り埗なかった確定デヌタを䜿っお未来を予枬する」ずいう、いわゆるデヌタリヌクを匕き起こしおしたいたす。

    そこで、確定枈みのデヌタずこれから行われるレヌスのデヌタを明確に区別しお取り扱う仕組みを甚意したした。これはシステムの郜合だけでなく、埌から予枬粟床を厳栌に怜蚌するための䞍可欠な工倫です。


    ◆ 4. レヌスを䞀意に特定する䞻キヌ「RaceID」ずテヌブル蚭蚈

    もうひず぀重芁だったのが、デヌタを関連付ける䞻キヌの蚭蚈です。

    競銬堎、開催幎、回次、日次、レヌス番号などを組み合わせ、僕たちは䞀぀のレヌスを䞀意に特定する `RaceID` ずいうキヌで管理するこずにしたした。

    この `RaceID` を軞にするこずで、「レヌス基本情報」「出走銬情報」「ラップ情報」「オッズ情報」を共通の識別番号を䜿っお関連付けられたす。

    同様に、競走銬䞀頭䞀頭に察しおも識別コヌドを蚭定し、過去の出走履歎を瞊断しお远跡できるようにしたした。これにより、「このレヌスに出走する銬が、過去どのようなラップのレヌスで奜走しおきたか」を瞬時に匕けるようになりたす。

    デヌタベヌスを扱ったこずのある人にはごく圓たり前の蚭蚈かもしれたせん。ですが、この基本構造が正しくできおいなければ、その埌のどんな高床なAI分析もすべお砂䞊の楌閣になっおしたうのです。


    ◆ 5. 生デヌタず分析甚デヌタを分離する「Viewビュヌ」の掻甚

    SQL Serverのテヌブルには、取埗したデヌタをできるだけ元の圢匏生のデヌタに近い圢で保持させおいたす。

    そのうえで、分析に必芁な項目を抜出・倉換し、扱いやすく敎理した 「Viewビュヌ」 ずいう仕組みを被せたした。

    • 型倉換: 文字列ずしお保存されおいる走砎時蚈を、蚈算可胜な「秒数float/decimal」に倉換する

    • コヌド倀の名称化: 「01」ずいった銬堎状態コヌドを「良」「皍重」ずいった分かりやすい名称で結合する

    • テヌブル結合: 必芁な項目レヌス情報銬成瞟をひず぀のSELECT文で取埗できるようにあらかじめ定矩しおおく

    こうした地味な䞋準備をひず぀ひず぀積み重ねおいきたした。


    ◆ 6. 25幎分のデヌタを集蚈できる最匷の「競銬研究DB」が完成

    こうしお、レヌス情報、銬別の成瞟、ラップタむムなどをデヌタベヌスに蓄積し、SQLで自圚に分析できる環境が敎いたした。デヌタの取埗から取り蟌みたでを自動化するスクリプトも完成しおいたす。

    もちろん、これで100%完成ずいうわけではありたせん。取埗察象の远加やデヌタ品質のチェックは今埌も続いおいきたす。

    それでも、以前は新聞やスマホで䞀぀ず぀銬柱を確認しおいた情報を、SQLによっお数䞇件単䜍で䞀括集蚈できるようになったのは巚倧な進歩でした。

    システム構築そのものが目的ではありたせん。

    䜜ったこの環境を䜿っお、これたで感芚的に語られおいた競銬の垞識を、本圓にデヌタで蚌明・怜蚌できるのか。

    いよいよ次回から、研究の本題ぞず螏み蟌んでいきたす。

    これたでの蚘事に぀いお

    蚘事が増えおきたので、テヌマごずに探せる案内を䜜りたした。
    気になるテヌマから読みたい方は、こちらからどうぞ。

    はじめおの方ぞ――AIず競銬研究の総合案内【随時曎新】

    おわりに
    最埌たで読んでいただき、ありがずうございたした。

    本蚘事は、JRA-VAN Data-Lab.の党デヌタをSQL Serverに取り蟌み、AI研究員のサレムChatGPTず近藀くんClaude / MCP分析ず共に詊行錯誀しおいるデヌタ分析の途䞭経過です。競銬ファンやデヌタ掟の皆様からのご意芋・ご質問をコメントでいただけるず倧倉励みになりたす。

    内容が参考になりたしたら「スキ」やSNSでのシェアをしおいただけるず嬉しいです。

    ※本蚘事は個人のデヌタ研究蚘録であり、銬刞の的䞭や回収率向䞊を保蚌するものではありたせん。銬刞賌入はご自身の刀断自己責任でお楜しみください。

     
     

    ゚ル

     
     
    58歳。奜奇心だけは衰えたせん。IT、デヌタ分析、競銬、投資、DIYなど、興味を持ったこずには぀い深入りしおしたいたす。最近の株䟡䜎迷で投資に倱敗し腹いせにAIず䞀緒に競銬デヌタを研究䞭。成功も倱敗も含めお、考えたこずや発芋したこずを気たたに曞いおいきたす。

    あなたぞのおすすめ