リアルタイムAI音声変換アプリ
既存の通話・配信アプリと連携し、会話中の音声を選択した声へ低遅延で変換するクロスプラットフォームアプリ。
課題
ゲーム配信やオンライン会議で自然に使える音声変換には、高い音質と会話を妨げない低遅延の両立が必要だった。 さらに、iOS・Androidの異なる音声処理へ対応し、通話中も音声プリセットを途切れなく切り替える必要があった。
ソリューション
複数の音声変換モデルを比較し、リアルタイム性能と音質のバランスからRVCを採用。INT8量子化、推論処理の最適化、Encoder・Vocoderの常駐化を行い、React Nativeとネイティブ音声モジュールを連携した。
成果
体感200ms未満の音声変換を実現し、主要な通話・配信アプリで利用できるiOS・Android共通アプリとして提供した。
チーム
2 members, 5 months
フロントエンド・音声処理・AIモデル評価
役割
クロスプラットフォーム開発と音声パイプライン最適化を担当。
React NativeのUI実装、AIモデル評価、推論最適化、iOS・Androidのネイティブ音声処理連携を担当しました。
技術スタック
FrontendReact Native / TypeScript
AI ModelRVC / So-VITS-SVC / DDSP-SVC
RuntimeONNX Runtime / TorchScript
AudioAVAudioEngine / AAudio / Oboe
BackendPython / FastAPI
主要機能
01
体感200ms未満のリアルタイムAI音声変換
02
モデル全体を再読込しない音声プリセット切替
03
React NativeによるiOS・Android共通コードベース
04
主要な通話・配信アプリとの連携
注力した点
リアルタイム用途に適したモデル選定
RVC、So-VITS-SVC、DDSP-SVCを比較し、実用上の遅延と音質のバランスからRVCを採用しました。
モバイル推論の最適化
INT8量子化、ウォームキャッシュ、モデル構成要素の常駐化を組み合わせ、モバイル端末上で安定した推論を実現しました。