ソング・ハミングで口パクデータ（.labファイル）を出力したい

[Hiroshiba]

内容

トークソフトにはよくある .lab ファイルの出力機能がソング側にもあると面白そうです。
実際の需要の声↓

https://x.com/Sazanami_ch35/status/1795808363064013058

VOICEVOXは原理的に、音声合成の途中で音素列を求めます。
その情報はエディタ内にもあるので、どうにかしてファイル出力まで持っていけば可能だとは思います。

voicevox/src/openapi/models/FrameAudioQuery.ts

Line 46 in a07c776

phonemes: Array<FramePhoneme>;

Pros 良くなる点

口パクで歌えるようになるので動画映えする

実現方法

音素列を取得し、labに加工してファイル保存すればOKなはずです。

labに加工する方法はトーク側にあります。

voicevox/src/store/audioGenerate.ts

Line 70 in a07c776

export async function generateLabFromAudioQuery(

ファイル保存は、wav保存時に同じファイル名.labを保存すればOK。

問題はどうやって音素列を保存関数まで持っていくかだと思います。
現状音声合成はリアルタイム性を加味するためにRENDER関数で閉じていて、音素列を持ってこれないはずです。
また給付ごとに区切ったフレーズごとに音声合成しているので、フレーズごとに散らばっている音素列をどうにかして集約する必要もありそうです。

このあたりの設計を整理するところからなのかなと思います。

その他

設計だけでもコメントウェルカムです！
不明な点などあれば気軽にお聞きください 🙏

[sigprogramming]

EXPORT_WAVE_FILEはレンダリング完了を待ってから書き出すようになっていて、これと同じようにレンダリング完了を待つようにすれば音素列を持ってこれると思います。
音素列はstate.singingGuides.get(phrase.singingGuideKey)してsingingGuide.query.phonemesで取得できます。

フレーズごとに散らばっている音素列は、以下の流れで集約できると思います。

1. 各音素の位置（曲の先頭から何秒のところにあるか）を求める
2. フレーズごとに散らばっている音素列を一つにまとめる
3. pauが連続しているところを一つのpauにまとめる
4. 各音素の位置を $t_0, t_1, t_2, \ldots, t_{n-1}$ として、 $t_i > t_{i+1}$ の場合に $t_{i+1}$ を $t_i$ に設定する

[Hiroshiba]

この機能の要望を結構見かけるので、優先度中にしたいと思います！挑戦者求む！
https://x.com/roxtarland/status/1819718592163918197

[sigprogramming]

#2356 で実装した処理を使用すれば、こちらすぐ実装できそうです、取り組みます。