VRChat
aba製作所aba製作所

【無料あり】UdonLipsync【AvaterNPCワールド想定】VRChat

●概要 UdonLipsync は、 VRChat などのアバタープラットフォームで NPC のリップシンクをリアルタイムに制御するための UdonSharp 用スクリプトです。 AudioSource を解析し、音から抽出したメル周波数ケプストラム係数（MFCC）を用いて母音を識別し、対応する Blend Shape を使用して NPC の口の動きを再現します。 ●サンプルVRchatワールド https://vrchat.com/home/content/worlds/wrld_1e3a13a4-63f7-45cd-ad1f-3f17087a18a6 ●作ったきっかけ 　ChatGPTに「udon#スクリプトでFFT変換するサンプルを作ってください」と聞いたのがきっかけ。 実際にaudioSource.GetSpectrumData()でスペクトラムをとれて「シュ…シュゴイ…」となって、第一ホルマント、第二ホルマントの特徴から計算しようとしてうまく行かず、@hecomiさんのuLipSyncを参考にMFCCで処理できないかとChatGPT様に聞いてみたらあっさり実装したコードが出て、あとは使い勝手を上げるようにエディタ拡張も作ってもらいました。そら課金もしますがな。

利用規約

Copyright (c) 2024 abanum(@lonly_somen) MIT License Projects referencing this document are released under the terms of the MIT license. https://opensource.org/license/mit

更新履歴

2024/10/8 リリース 2024/10/9　再生後、Blend Shapeを一回だけリセットするように変更。アイドルモーションのBlend Shapeを初期状態にする必要がなくなりました。

「ギフトとして贈る」とは

【無料あり】UdonLipsync【AvaterNPCワールド想定】VRChat
【無料あり】UdonLipsync【AvaterNPCワールド想定】VRChat
【無料あり】UdonLipsync【AvaterNPCワールド想定】VRChat
●概要 UdonLipsync は、 VRChat などのアバタープラットフォームで NPC のリップシンクをリアルタイムに制御するための UdonSharp 用スクリプトです。 AudioSource を解析し、音から抽出したメル周波数ケプストラム係数（MFCC）を用いて母音を識別し、対応する Blend Shape を使用して NPC の口の動きを再現します。 ●サンプルVRchatワールド https://vrchat.com/home/content/worlds/wrld_1e3a13a4-63f7-45cd-ad1f-3f17087a18a6 ●作ったきっかけ 　ChatGPTに「udon#スクリプトでFFT変換するサンプルを作ってください」と聞いたのがきっかけ。 実際にaudioSource.GetSpectrumData()でスペクトラムをとれて「シュ…シュゴイ…」となって、第一ホルマント、第二ホルマントの特徴から計算しようとしてうまく行かず、@hecomiさんのuLipSyncを参考にMFCCで処理できないかとChatGPT様に聞いてみたらあっさり実装したコードが出て、あとは使い勝手を上げるようにエディタ拡張も作ってもらいました。そら課金もしますがな。