KuchiPaku - the YMM4 lip-sync support tool

KuchiPaku (クチパク) はYMM4（ゆっくりムービーメーカー4）むけの「あいうえお口パク（リップシンク）」を生成するツールです。

The KuchiPaku (pronounce: "coo-chee-park", meaning: lip-sync) is a lip-sync generator tool for the YMM4 (Yukkuri Movie Maker 4).

What's KuchiPaku?

YMM4がサポートしていない「あいうえお口パク」を作成するツールです。

KuchiPaku上で、キャラクターのそれぞれの口の形を指定することで、発音のタイミングに合わせて「表情アイテム」を自動でYMM4のタイムラインに並べます。

主な読み上げソフトのほか、歌声合成ソフトのあいうえお口パクにも利用できます。

作った経緯はブログ記事でちょっと書いてます。 YMMであいうえお口パクした～い！

Supported YMM4 features

KuchiPakuはYMM4の以下の機能に対応、または対応予定です。

• 立ち絵形式
  • 「動く立ち絵」
    • 動く立ち絵をあいうえお口パクできます
• ボイス形式
  • 「カスタムボイス」
    • タイミング情報ファイル(.labファイル)を用意する必要があります
  • 以下のTTSソフトのAPI連携ボイス
    • CeVIO Creative Studio (SAPI5除く)
    • CeVIO AI (SAPI5除く)
    • VOICEVOX（対応予定）
    • SHAREVOX（対応予定）

Install

• githubのReleasesから最新のものをダウンロードしてください。
  • zipファイルを展開し、お好きな場所に設置してください
• github以外からの配布は行っていません。
  • github以外で配布されていた場合、ウイルスやトロイの木馬などの不正なプログラムの可能性があります。絶対にダウンロードしないでください。
• アップデートの際はそのまま上書きしてください
• アンインストールはフォルダ毎削除でOKです

Requirements

動作環境

• Windows 10 64bit 18362以降
• .NET 9 Runtime
• .NET Framework 4.8 (CeVIOのAPI利用ボイスの場合）

CeVIOを普通とは違う所にインストールしてる場合は、下の例みたいにappsettings.jsonを書き換えてください。

例：CeVIO AIを「F:\Path\To\CeVIO\AI\」にインストールした場合

		{
			"type":"CeVIO AI",
			"engine":"CeVIO",
- 			"DllPath":"C:\\Program Files\\CeVIO\\CeVIO AI\\"
+ 			"DllPath":"F:\\Path\\To\\CeVIO\\AI\\"
		},

How to use

1. YMM4でプロジェクトを作ります
2. あいうえお口パクさせたいキャラの立ち絵とセリフアイテムを配置します
   • 立ち絵の種類は「動く立ち絵」、セリフの種類は「カスタムボイス」にしてください
   • v.0.2以降はCeVIOのAPI経由のセリフも対応しています
3. プロジェクトを保存し、YMM4を終了します
   • YMM4は必ず終了してください。ファイルを保存できなかったり、CeVIOのAPI利用制限に引っかかって正しく動きません。
4. KuchiPakuで保存したプロジェクト(.ymmp)を読み込みます
5. 「キャラ口パク設定」で設定するキャラを選びます
6. 右側であ行・い行などの口の形を指定します
7. すべてのキャラ設定が終わったらプロジェクトを保存します
8. YMM4で再度プロジェクトを開いて、続きを編集します

映像を先行させるオプション(v0.3～)

「動画先行の原則」というのがあり、映像と音がピッタリ合うよりも、 映像が1～2フレーム先行する方がピッタリ感じられる現象 があります。

v0.3以降で口パクを先行させるオプションを追加しました。 有効にするとデフォルトで66ミリ秒だけ口パクが先行します。

0～200ミリ秒の間で設定可能です。 色々試してみて下さい。

Timing label file (.lab)

KuchiPakuは一部の音声合成ソフトがサポートする「タイミング情報ファイル」(.lab)を利用して口パクを生成します。.labファイルが用意できれば以下に記載がないソフトでも対応している可能性があります。

• 公式に出力サポートしているソフト (officially supported tools)
  • 読み上げソフト (TTS tools)
    • CeVIO Creative Studio
    • CeVIO AI
    • A.I.VOICE
    • VOICEVOX
    • SHAREVOX
  • 歌声合成ソフト (Vocal singing synth tools)
    • CeVIO Creative Studio
    • CeVIO AI
    • NEUTRINO
    • VoiSona
    • NNSVS
• タイミング情報ファイルを生成するツール(.lab file generator tool)
  • こちらのツールを利用することで.labファイルを生成できます
  • Wav2Lab by @Auxilyrica
  • UtauMakeLab plugin for UTAU by delta-kimigatame
    • github repo

Projects

• KuchiPaku.Core: Independent common component project includes MVVM Model code.
• KuchiPaku: The WPF application project includes MVVM View and ViewModel code.

Libraries

• Epoxy
• FluentWPF
• ModernWpfUI
• Enterwell Client WPF - Notifications
• Microsoft-WindowsAPICodePack-Shell
• NLog
• Json.NET
• MinVer
• Microsoft.Extensions.Hosting
• Fluent CeVIO Wrapper
  • H.Pipes
  • ConsoleAppFramework
  • System.Reactive

KuchiPaku license

The MIT License

Copyright (c) 2022 - InuInu

• LICENSE.txt

🐶Developed by InuInu

• InuInu（いぬいぬ）
  • YouTube YouTube
  • Twitter @InuInuGames
  • Blog note.com
  • niconico niconico