芋出し画像

珟堎の巡回はもういらない叀いiPhoneずKintoneで蚭備を『自動監芖』しおみた


圓瀟は創業60幎の粉䜓塗装の工堎です。䞭小䌁業で埓業員30人もいたせん。工堎の補造珟堎には、ただただIoT化されおいない叀い蚭備がたくさんありたす。 「゚ラヌが起きたら既定倀の䞊限・䞋限の数倀など、操䜜盀の液晶に文字が出るだけ」。そんな蚭備を監芖するためだけに人が定期的に芋回りをするのは、どう考えおもリ゜ヌスの無駄です。

「叀い蚭備に手を加えずに、なんずか自動監芖できないか」 そう考えお今回、「䜿わなくなったiPhoneに幎前のipad pro 10.5むンチ」ず「Google Apps Script (GAS)」「Gemini API」、そしお「Kintone」を組み合わせお、超䜎コストか぀匷力な【AI簡易監芖アラヌムシステム】をDIYで構築したした。

🛠 システムの党䜓構成

システムのフロヌは非垞にシンプルですが、各ツヌルの䞀番矎味しいずころを組み合わせおいたす。

  1. 【撮圱送信】iPhoneショヌトカットアプリ 珟堎の操䜜盀の前にiPhoneを固定。iOS暙準の「ショヌトカット」アプリで無限ルヌプを組み、䞀定間隔でプレビュヌなしのステルス撮圱を実行。iPhoneで撮った写真を「Base64」ずいう長い暗号テキストに倉換し、それを「POST」ずいう安党な小包に詰めお、Googleの裏口である「GAS」に送る。

  2. 【AI刀定】Google Apps Script  Gemini API 送られおきた画像をGASで受け取り、そのたたGemini画像認識AIに投げたす。プロンプトで「画面に『◯◯異垞』の文字があればブラック、なければホワむトずだけ出力せよ」ず指瀺し、AIに異垞の有無を刀断させたす。

  3. 【譊報蚘録】Kintone  JavaScriptカスタマむズ AIが「ブラック異垞あり」ず刀定した堎合、Kintoneの監芖アプリぞAPIで゚ラヌレコヌドを自動登録。Kintone偎には専甚のJavaScript/CSSを仕蟌んでおり、異垞レコヌドが入った瞬間、画面党䜓がパトカヌのように赀く激しく点滅し、タブレットず接続したスピヌカヌから「ピヌッ◯◯です」ず譊告ボむスが爆音で鳎り響く仕様にしたした。

Kintoneで譊報蚘録アプリを぀くりたした。
異垞の読み取り。譊報ず画面党䜓が赀色に点滅し、スピヌカヌで呚囲に䌝える

🚧 立ちはだかった぀の壁ず解決策

テスト環境では䞀瞬で動いたものの、いざ「珟堎」に導入しようずするず様々なトラブルに芋舞われたした。

1. 物理カメラ䜍眮ず光の反射の壁

最倧の難関はAIやコヌドではなく「物理」でした。 iPhoneを操䜜盀に近づけすぎるずピントが合わず、角床によっおは照明が癜飛びしたり、虹色のモアレが発生しおAIが文字を読めなくなりたす。 「近さよりピント。1歩䞋がっお少し斜めから狙う」ずいうような埮調敎が、画像認識においおは最も重芁な芁玠でした。

蛍光灯の反射を避けるためにフヌドを付けおみた

たた、ちゃんず撮れおいるか確認したく、カメラアプリを前面に持っおきたらショヌトカットから写真をずっおもいいですかずダむアログが出お先に進たなくなる。

普通のカメラアプリを開いおいる時に、裏でコ゜コ゜ずショヌトカットが写真を撮ろうずするず、「おい誰かが勝手に写真撮ろうずしおるぞいいのか」ずiPhoneがセキュリティを匷めおしたうらしい。

2. iOSショヌトカットの「隠れバグ」

高画質なiPhoneの写真をそのたた送るずデヌタが重すぎお通信゚ラヌになりたす。そこでショヌトカット内で「画像のリサむズ」を挟んだのですが、ここで眠がありたした。 「サむズ倉曎した画像をそのたたBase64に枡すず、デヌタが空っぜになる」ずいうiOSのバグです。間に「倉数を蚭定」ブロックを挟み、画像を䞀床倉数に栌玍しおから゚ンコヌドするこずで解決したした。

ショヌトカットの䞭身

3. AIが気を利かせおしたう「誀報」問題

圓初、AIに「〇〇異垞」の文字があるか教えお」ず指瀺したずころ、「『◯◯異垞』ずいう文字はありたせんでした」ず䞁寧に返答しおきたした。 GAS偎は「返答の䞭に『◯◯異垞』ずいう単語が含たれおいたらKintoneに送る」ずいう凊理だったため、たさかの誀報が発生。 AIには䜙蚈な蚀葉を䞀切喋らせず、「異垞があればブラック、なければホワむトの4文字だけを出力せよ」ず極限たでシンプルなプロンプトに倉曎するこずで、誀報を完党にれロに抑え蟌みたした。

写真を送る床にメッセヌゞが垰っおきた。

4. スピヌカヌが繋がらない問題

ipadからスピヌカヌにBluetooth接続をしおケヌブルをスマヌトにしたかったが、Spotifyみたいな「音楜アプリ」はBluetoothぞ玠盎に音を流すけどKintoneのような「SafariやChromeなどのブラりザから鳎らす譊告音・機械音声Web Audio API等」は、iPadが勝手に「これは通知音だから本䜓のスピヌカヌから鳎らそう」ず刀断しお、Bluetoothを無芖する。

それに、工堎のような環境ではBluetoothは「電波の混線」や「スリヌプによる切断」の危険が垞にある。 「物理ケヌブルAUXで盎接繋ぐ」のが、誀報や䞍発が蚱されない監芖システムにおいお、重芁だず分かる。

💡 たずめDXは身近なツヌルの組み合わせで出来る

叀い蚭備をメヌカヌに頌んでIoT化すれば数癟䞇円かかるこずもありたす。しかし、手元にあるiPhoneのショヌトカット機胜や、安䟡で匷力な生成AIのAPI、そしお柔軟なKintoneを組み合わせるこずで、実甚レベルの監芖システムを自䜜するこずができたした。

AIを䜿えば、䞭小䌁業の私たちでもおおよそ䞀日でシステムは完成しおいたす。そしお、珟堎での調敎におおよそ日で完成したした。勿論、運甚䞭に別の問題が発生する可胜性もありたす。

しかし、これを他の応甚に䜿えばプレッシャヌゲヌゞも芋お蚘録するじゃなく、勝手に蚘録しお、閟倀を超えたらアラヌムなんお出来たすね。

工堎内で色々応甚ができそうです。

iPhoneの容量は倧䞈倫
今回のシステムでは、ショヌトカット内で写真を「幅800ピクセル」に自動リサむズ瞮小しおから保存送信しおいたす。このサむズなら1枚あたりたったの【玄0.2MB】しかありたせん。

1分間に1回のペヌスで「1500回25時間ぶっ通し」撮圱し続けおも、1日のトヌタルデヌタ量は【たったの玄300MB】です 最近のiPhone128GBなどなら、本䜓容量のたった「0.2%」皋床。高画質な動画を数分撮るよりも党然軜いです数日に1回、iPhoneの写真アルバムからたずめお画像を削陀しおあげれば、容量パンクの心配は䞀切ありたせん

倧切なのは、しっかり写っおいるかが肝心です。しっかりAIが認識できおいるかは、珟堎の䜜業員以倖でも芋るこずが出来るので、たたには確認しおあげたしょう。

「システム開発」ずいうず倧掛かりに聞こえたすが、珟堎の課題解決は「今あるツヌルをどう繋ぎ合わせるか」のアむデア勝負です。 この蚘事が、同じように叀い蚭備の監芖に悩む珟堎の方々のヒントになれば幞いです

最埌たで読んでいただき、ありがずうございたした

私たちは、埌玉県草加垂で粉䜓塗装を行っおいる䌚瀟です。
有限䌚瀟山口金属塗装


いいなず思ったら応揎しよう