graphicsautomation 2023.03 - 2023.10
メディアアート向け高負荷リアルタイムAI画像処理システム
技術統括
解決した課題
メディアアート作品のAI処理データをUnityコンテンツへリアルタイムにつなぐため、分散データ処理パイプラインを設計・構築しました。
ENGINEER · STRUCTURE
ボトルネックを見つけ、リアルタイム処理の仕組みに変える
転送・取得・高負荷処理のボトルネックを切り分け、Node.js・Python・Unityを一つのリアルタイム処理フローにつなぎました。
仕組みをつくった方法
- 毎秒60回の画像データ処理
- Node.js · Python · Unity · WebSocketを使用
- Pythonマルチプロセッシングで画像取得遅延を206msから13msに短縮
- 複数のRaspberry Piクラスターで高負荷を分散処理
ARTIST · EXPERIENCE
処理したデータを作品体験までつなげる
技術統括として作家と協働し、リアルタイムデータの仕組みがUnityコンテンツにつながる制作基盤をつくりました。
体験へつないだ方法
- 技術統括として作家とともに作品制作プロジェクトに参加
- AI処理データをUnityコンテンツとリアルタイムで連携
- 主な成果
- 毎秒60回の画像データを扱うリアルタイムパイプラインとUnity連携ロジックを設計・構築しました。
- 課題解決のアプローチ
- 性能改善を個別の技術課題で終わらせず、データがUnityコンテンツへリアルタイムに届く制作フロー全体まで設計します。
- 数値の基準
- 13msは画像取得の遅延値であり、AI推論やパイプライン全体の遅延値ではありません。