メインコンテンツへスキップ
見出し画像

Notionデータベースを使ってAssetBundleリリースを自動化した話 Now In REALITY Tech #119

    アバターシステムチーム Unityエンジニアかとうです。
    今回は、Notionデータベースを使ってAssetBundleのリリースを自動化したお話しです。

    従来のAssetBundleリリース

    REALITYでは毎週水曜14:00にAssetBundleのリリースを行なっています。AssetBundleには新規のアバターアイテム、ルームの家具、ギフトなどのアセットに加え、リリース済みのアセットの修正など様々なものが含まれます。

    リリースプロセスでは、リリースしたいものが全て含まれているかを確認した上でAssetBundleのビルドを行う必要があります。しかし、その確認作業はリリース予定のアセット一覧とGitHub上のPR一覧を見比べて確認するという手間のかかるアナログなものでした。結果、毎週エンジニアが一定の工数をかける必要がありました。

    Notionの導入

    そんな状況の中、業務にNotionを導入することになりました。NotionにはNotionデータベースという簡易的なデータベースを作成する機能と、Notion上のデータに対して読み込み、書き込みができるAPIが存在します。これを利用して、リリースするものがちゃんと入っているかをチェックし、自動でビルドキックするシステムを構築することにしました。

    自動化の設計

    画像
    設計考え中

    自動化はNotionデータベース、Jenkins、Pythonスクリプトを連携することで実現しました。具体的にはNotionデータベースに必要な情報を全て所持し、PythonからNotionデータベースにアクセスして情報を取得した上で、AssetBundleのリリースビルドが可能な状態かを判断。ビルド可能であればAssetBundleのビルドを行う、という仕組みです。(AssetBundleのビルドが行えない状態であればSlackにエラーメッセージを送信します)

    また、エンジニアが個別のリリース項目について認識すること自体がコストになっていたため、Notionデータベースへの登録作業はPMに担当してもらい、エンジニアは自動リリース機能のメンテナンスのみを担当する形にしました。これは単にタスクをお願いしたというわけではなく、従来はアセットのリリース時期をPMが管理しているにも関わらず、PRマージをエンジニアが行うことで、エンジニアがリリース制御を行うという不効率なフローになっていました。そこで、PMがリリース制御を直接行えるようにフローを再構築したという形になります。これにより、より正確かつ効率的にリリース制御が行われるようになりました。

    ただ、マージの実施についてはエンジニアが実施することになっていたので、エンジニアが認知しないということを実現するためにPMがNotionデータベースに登録した内容に基づきGitHubのPRを自動でマージする機能を実装しました。

    各ツールの役割

    • Notionデータベース

      • リリースするAssetBundleのバージョン情報とリリース予定のアセット一覧を保持する。

      • Pythonスクリプトからアクセスされ、リリース予定のAssetBundleバージョンが存在する場合、そのバージョンに含まれる予定のすべてのアセットが揃っているかを確認する。

    • Jenkins

      • Jenkins 自動AssetBundleリリースジョブを月曜正午、火曜正午に定期実行する。

      • PythonスクリプトによるNotionデータベースのチェック結果を読み取り、問題がなければAssetBundleビルドを実行する。

      • Slackに自動リリースの実行結果を通知する。

    • Pythonスクリプト

      • Notionデータベースにアクセスし、リリース予定のAssetBundleバージョンが存在する場合、そのバージョンのリリース項目がすべてマージされているかを確認する。

      • 未マージの項目があり、ステータスが「リリースOK」でPRのURLが登録されている場合、PRを自動的にマージする。

      • 自動マージ後、すべてのリリース候補がマージされている場合、AssetBundleのビルドを実行する。

      • ビルドが完了したら、Notionデータベース上のバージョンを更新し、該当のバージョンを「リリース済み」ステータスにする。

    フローチャート

    画像
    大まかなフロー

    NotionDBの構成

    AssetBundleバージョン情報

    画像
    ビルド日程、バージョン情報、ステータスを保持しています。

    リリース予定アセット一覧

    画像
    リリース名、リリース日、バージョン、PRへのリンク、自動マージしてOKかどうかのステータスを保持しています

    Jenkinsパイプライン

    以下はJenkinsのパイプラインスクリプトです。
    ※Slackへのメッセージ送信にはSlackNotificationAPIを使用しています。

    stage('CheckNotionStatus') {
      steps {
        withCredentials([
          string(credentialsId: utility.getGhToken(), variable: 'git_token'),
          string(credentialsId: utility.getAccessToken(), variable: 'notion_token')
        ]) {
          script {
            // 月曜日の場合チェックモードを有効にする
            checkMode = isMonday() || params.FORCE_CHECK_MODE
    
            print("checkMode: ${checkMode}")
    
            // Notionデータベースの情報を用いてリリースのステータスチェックを行うPythonスクリプトを実行
            command = """
              python3 script/ab-python/hoghoge.py \
              --update_version_state_mode '' \
              --version_file_name ${version_file_name} \
              --error_file_name ${error_file_name} \
              --slack_message_file_name ${slack_message_file_name} \
              --error_case ${error_case} \
              --success_case ${success_case}
            """
    
            def result = sh(script: command, returnStdout: true).trim()
            lastLine = result.split('\n')[-1]
    
            version = read_text_content(version_file_name)
            slackMessage = read_text_content(slack_message_file_name)
            errorMsg = read_text_content(error_file_name)
    
            if (lastLine == error_case) {
              slackMessageWithHeader = getNotionCheckFailureMessage(slack_mention_group, errorMsg, checkMode, notion_db_url)
              slackSend(channel: reality_asset_git_operation_ch, color: 'danger', message: slackMessageWithHeader)
              is_error = true
            } else {
              slackMessageWithHeader = getNotionCheckSuccessMessage(slack_mention_group, slackMessage, checkMode)
              slackSend(channel: reality_asset_git_operation_ch, color: 'good', message: slackMessageWithHeader)
    
              if (!checkMode) {
                if (!params.SKIP_TAG) {
                  sh 'git checkout develop'
                  sh 'git pull'
                  sh "git tag ${version}"
                  sh "git push origin ${version}"
                }
    
                // ビルドジョブをキック
                def buildResult = build(job: 'release_ab_build_job', parameters: [
                  string(name: 'tags', value: version),
                  string(name: 'minimum_ver', value: version),
                  string(name: 'memo', value: version)
                ])
    
                // ビルド結果を通知
                result = buildResult.result
                print("buildResult: ${result}")
                def slackMessage
                if (result == 'SUCCESS') {
                  slackMessage = unity_asset_operation_en + "\n prod ABビルドに成功しました、今週のリリース担当ENは問題ないようであればサポツから公開設定を行なってください: ${result}"
                  slackSend(channel: reality_asset_git_operation_ch, color: 'good', message: slackMessage)
                } else {
                  slackMessage = unity_asset_operation_en + "\n prod ABビルドに失敗しました: ${result}"
                  slackSend(channel: reality_asset_git_operation_ch, color: 'danger', message: slackMessage)
                  error("ABビルドに失敗しました: ${result}")
                }
              }
            },,,

    Notion連携

    Notion上のリリース項目管理データベースとAssetBundleバージョン管理データベースからNotion API経由で情報を取得し、チェックしています。以下のPythonコードを参考にNotionデータベースから情報を取得できます。

    # Notionデータベースから情報を取得する関数
    def get_notion_data(database_id, param):
        headers = {
            "Authorization": f"Bearer {key_set.get_notion_api_key()}",
            "Notion-Version": "2022-06-28",
            "Content-Type": "application/json"
        }
        # database_idはNotionデータベースのURLに含まれる文字列です
        url = f"https://api.notion.com/v1/databases/{database_id}/query"
        response = requests.post(url, headers = headers, data = param)
    
        if response.status_code == 200:
            data = response.json()
            if len(data["results"]) > 0:
                return data
        return None

    GitHub連携

    GitHub API経由でPRのマージ情報を取得し、ghコマンド経由でレビュー情報の取得を行なっています。レビュー情報の取得に関しては、API経由だとレビュワーにアサインされていない人のコメントなどもレビュー情報として取得されるため、「アサインされたレビュワー全員が承認しているかどうか」という情報を取得する用途としては使い勝手が悪かったので、ghコマンド経由で情報を取得するというアプローチを取りました。

    ちなみに、REALITYはmasterブランチに向けたマージを行う際に自動テストをパスしている必要があるのですが、必ずしも自動マージの対象ブランチが自動テストを実行済みというわけではありません、そういう場合"Enable Auto merge"を有効にして、自動テスト実施後にマージが行われるようにするのですが、この場合実際にマージが行われるまでラグがあり、マージが本当に成功するかも不明なため、処理フローの最後に5分間待った上で最終的にマージできたかどうかを取得し本当にマージできたかを確認するという処理を行っています。

    # GItAPIでマージを試みる マージが実行がされた場合はTrueを返す(実際にマージが完了したかどうかは保証しない)
    def merge_pr(repo_owner, repo_name, pr_number):
        api_url = f"https://api.github.com/repos/{repo_owner}/{repo_name}/pulls/{pr_number}/merge"
        headers = {
            "Authorization": f"Bearer {key_set.git_token()}",
            "Accept": "application/vnd.github.v3+json"
        }
        response = requests.put(api_url, headers=headers)
    
        if(response.status_code != 200):
           return enable_auto_merge(repo_owner, repo_name, pr_number)
    
        #マージが実行された
        return True
    # GitCLI経由でPRのレビューステータス最新を取得
        command = ['gh', 'pr', 'view', pr_number, '--repo', f'{repo_owner}/{repo_name}', '--json', 'latestReviews']
        result = subprocess.run(command, stdout=subprocess.PIPE, check=True).stdout.decode('utf-8')
        result_json = json.loads(result)
        ## 全員がApprovedになっているかを確認
        for latestReview in result_json["latestReviews"]:
            if latestReview['state'] != 'APPROVED':
                return False
        return True

    結果

    画像
    最適化によりルーチン作業が撲滅されました!

    AssetBundleのリリースを自動化した結果、AssetBundleリリースにかかるエンジニアのコストをほぼ0にすることができました。エンジニアの実作業コストと認知コストがなくなり、開発作業など別のタスクにリソースを割けるようになりました。今後も効率化できる作業を見つけたら、どんどん効率化していきたいと思います!

     
     
    REALITY株式会社は"なりたい自分で、生きていく。"をビジョンに掲げ、バーチャルライブ配信アプリ「REALITY」の運営やバーチャルライブ制作などのライブエンターテインメント事業を展開しています。 https://reality.inc/