An object detection camera device M5StickV software for LEGO Mindstroms 51515 Robot Inventor and LEGO Spike Prime 45678

M5tickVをLEGO Mindstroms 51515 Robot InventorとLEGO Spike Prime 45678の物体認識センサーとして利用できるようにするソフトウェアです。

このソフトウェアを利用することで、以下のムービーのような賢い眼をもったロボットを簡単に作ることができるようになります。

• 顔を認識すると笑顔を返すロボット
• BB-8の姿を認識すると一回転するロボット
• サンダーバードの姿を認識すると羽ばたくロボット

裏側では深層学習が利用されていますが、深層学習の知識がなくても大丈夫です。
例えば、先ほどのムービーの3つの機能を持ったロボットは以下のScratchプログラムで作れてしまいます。とても簡単ですね。

1. 認識したい物体の見本写真を撮影するカメラ機能（デフォルトでは10種類、最大200種類）
2. カメラで物体を認識したら、それをLEGO Mindstorms等のハブに伝える機能（あたかも超音波センサーのように動作します）

Qiitaの記事を参照

• 物体認識アルゴリズムはBrownieを参考にしています。
• 写真撮影のプログラムは https://docs.m5stack.com/#/en/related_documents/v-training を参考にしています。
• LEGO Mindstorms等とセンサーの通信プロトコルは https://github.com/GianCann/technical-info/blob/master/uart-protocol.md と https://github.com/ceeoinnovations/SPIKEPrimeBackpacks で学習しました。