複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #743

aoirint · 2022-03-09T19:55:54Z

内容

~~#741, #742, #754, #755 の差分を含んでいます。そちらを先に確認おねがいします。~~

これまで、DEFAULT_ENGINE_INFOSに登録されたエンジンを起動し、接続テストを待機するようになっていました。

このPRでは、エディタ起動時にすべてのエンジンからキャラクター情報を取得するようにします。

AudioCellにengineIdの追加が必要になったので、変更量が多めな気がします（概念としてengineKeyとengineIdが混じりあっていてややこしい実装になっていると思っているし、適切に使い分けられているか自信がない...）。

TODO

AudioCellのキャラクター一覧
- アイコン・キャラクター名の表示
- 音声合成
- 立ち絵・キャラクター名の表示
デフォルトスタイル：デフォルトスタイルダイアログ: speakerUuidが異なる場合にstyleIdの重複を許容する #755
- 動作確認
キャラクター並び替え・試聴：キャラクター並び替えダイアログ: speakerUuidが異なる場合にstyleIdの重複を許容する #754
キャラクターライセンスの表示
プロジェクトファイルのマイグレーション
- 0.11.3→4453c8e：https://gist.github.com/aoirint/6160bef0f3edf8323d050cd00df21cb3/revisions#diff-e025cf0dfb7ad368112fb107a23a5b14ba8bd7d6fc36ba49d14f34f00ab198dc

動作確認手順

COEIROINK 1.0.1のエンジンのWindowsビルド: https://github.com/shirowanisan/voicevox_engine/releases/tag/c1.0.1+v0.10.4
VOICEVOXエンジン 0.11.3 https://github.com/VOICEVOX/voicevox_engine/releases/tag/0.11.3

Windows上で、VOICEVOXエンジン・COEIROINKエンジンを適当なディレクトリに配置後、.envファイルを以下のように書き換えてください（engineKeyはランダム）。

DEFAULT_ENGINE_INFOS=[{"key":"074fc39e-678b-4c13-8916-ffca8d505d1d","executionEnabled":true,"executionFilePath":"C:/Users/aoi/local/voicevox_engine_cpu-0.11.3/run.exe","host":"http://127.0.0.1:50021"},{"key":"d9212658-962f-4918-80b2-310b7de70c41","executionEnabled":true,"executionFilePath":"C:/Users/aoi/local/COEIROINK-CPU-c1.0.1+v0.10.4/run.exe","host":"http://127.0.0.1:50031"}]
# DEFAULT_ENGINE_INFOS=[{"key":"074fc39e-678b-4c13-8916-ffca8d505d1d","executionEnabled":true,"executionFilePath":"C:/Users/aoi/local/voicevox_engine_cpu-0.11.3/run.exe","host":"http://127.0.0.1:50021"}]
VUE_APP_GTM_CONTAINER_ID=GTM-DUMMY

スクリーンショット・動画など

その他

Hiroshiba · 2022-06-21T15:32:05Z

こちら、ぜひぜひPRを見てみたいです。
かなりコンフリクトが発生しちゃっていますが、rebaseでなんとかなりそうでしょうか･･･👀

…-api

…patch-multiple-engine-api

…-api

aoirint · 2022-06-26T15:50:41Z

コンフリクト解消しました！

Hiroshiba

コンフリクト解消ありがとうございます！！
ちょっと最初に１点だけコメントしました！

Hiroshiba · 2022-06-26T16:21:18Z

src/components/AudioCell.vue

+          `No engineKey for target character style (speakerUuid == ${speakerUuid}, styleId == ${styleId})`
+        );
+
+      const engineId = getEngineIdByEngineKey(store.state, engineKey);


たしかにengineKeyとengineIdの使い分けがなかなか難しそうな気がしました！
ちょっと何度も聞いてしまっていて申し訳ないのですが、どういう使い分けが想定されていたんでしたっけ･･･🙇

engineIdは、エンジンの種類（VOICEVOX ENGINEやCOEIROINK ENGINE）に対して、エンジンの提供者が割り振るIDです。バージョンが変わっても同じIDを使うことを想定しています。

engineKeyは、エディタに登録されたエンジンの登録項目（ユーザ登録エンジン1、ユーザ登録エンジン2のような）に対して、エディタが自動的に割り振るIDです。
例えば、以下を区別するためのものです。

ローカルで実行されているVOICEVOX ENGINE 0.12.3

ローカルで実行されているVOICEVOX ENGINE 0.7.5

VPSで実行されているVOICEVOX ENGINE 0.7.5

ただ製品版VOICEVOX（エディタとエンジンが同梱配布）では、エディタ初回実行時にengineKeyを決定するような仕組みを入れるのは複雑かなと思ったので、配布時に既に割り振られている（.env.productionに記述されている）形を想定しています（DEFAULT_ENGINE_INFOSでは決め打ちの値ということ）。

VOICEVOX 0.12.3では、キャラクター＋スタイルの情報は、AudioCellがstyleIdとして持っています。
AudioCellの内容はプロジェクトファイルに保存されます。
複数エンジン対応後、キャラクター＋スタイルを一意に識別するには、少なくとも(engineId, styleId)または(speakerUuid, styleId)が必要です（エンジンバージョンによる違いは無視）。
#609 (comment) で(engineId, styleId)がよさそうということだったと思うので、このPRではAudioCell（プロジェクトファイル）が(engineId, styleId)をもつように変更しています。

engineKeyからengineIdを引く処理、またはengineIdからengineKeyを引く処理が必要になっていて、この変換が挟まること、どの関数でどちらを受け取るべきなのかを決めること、が複雑（わかりにくい）と思っています。

このPRでは、実装を簡単にするためにengineKey == engineIdを想定していて、このロジックが分散しないようにgetEngineIdByEngineKey、getDefaultEngineKeyByEngineIdで共通化しています（インタフェースは暫定的なものです）。

例えば、エンジン設定UIでengineIdに対するデフォルトのengineKeyを設定できるようにして、それをgetDefaultEngineKeyByEngineIdが返すことで、シンプルなエンジン切り替え（バージョン切り替え）の仕組みが作れると思っています（いろいろな初期化が必要そうなので再起動を促すと楽そう）。

ありがとうございます！！非常によくわかりました！！！

AudioCellでengineIdを使うのは、現行と同じ挙動になって、少なくとも使い勝手が悪くなることは無く、かつ実装もそこそこシンプルなので、やっぱり良い方法だと感じました。

将来的にはAudioCell（よいうよりAudioInfo）にengineKeyも保存する形を目指す感じになる感じでしょうか。
（過去バージョンのエンジンと今のエンジンを統一的に使えるように）

engineIdとengineKeyを分けたいのは賛成なのですが、今は同一に扱っているため、潜在的なバグに気づきにくく、かつ実装方針もなかなか定まりにくいのかなと感じています。
もうAudioInfoにengineKeyも持たせちゃうのはどうでしょう 👀

getDefaultEngineKeyByEngineIdとgetEngineIdByEngineKeyを用意するのは賛成です！
でももしかしたらgetDefaultEngineKeyByEngineIdとgetEngineIdByEngineKeyを呼ぶべき機会はとても少なくて、
前者は「AudioInfoにあるengineKeyがengineInfosにないので仕方なくデフォルトのを使うとき」のみ、
後者は「AudioInfoに登録するためにengineIdを得るとき」のみにできるのかなと思っています。

なんか見落としや気づいてない点がありそうなので、ご指摘頂けると。。。🙇

もしくは、engineId周りを一旦コードから外しちゃうというのはどうでしょう 👀

一旦外すことを提案している理由はもう２つあります。
理由の１つは、上述のような、engineIdをどう扱うか・どう実装するかの議論が発生してしまうためです。
結構大きな変更コード量なので、差分を明確にしたいという気持ちがあります。

もう１つの理由は、このプルリクエストが、エディタ側の複数エンジン対応に必須な最後のコードだからです。
この最後のキャラクター統合さえ完了すれば、他のコードを一気に組み込んで行けるため、ぜひ早く取り込みたいという気持ちがあります･･･！！！

もしよければ･･･！！

Hiroshiba · 2022-07-09T12:07:16Z

engineIdどうするかさえ決まれば…！！

Hiroshiba · 2022-07-13T16:26:03Z

こちらいかがでしょう 👀

今頂いている２つのPRの機能が揃うと複数エンジン対応を多人数でガツガツ進められそうな気がしています。
お返事厳しそうであれば、来週か再来週くらいにブランチをforkして実装して別のPRを作らせていただこうかなと思います。
せっかく実装して頂いたのにお待ちできなくて申し訳ないです･･･。

Hiroshiba · 2022-07-23T13:26:50Z

ちょっとお返事がないので、頂いたPRを派生して実装して別のRPを作ってみます！
@aoirint さんすみません 🙇

aoirint · 2022-08-23T17:01:45Z

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #883

に引き継いでいただいて、マージされたのでこちらはクローズします！
ありがとうございます！
（そしてこちらのPRになかなかお返事できず申し訳ないです・・・！）

Hiroshiba · 2022-08-23T17:10:49Z

レビューありがとうございました！！

aoirint added 30 commits March 9, 2022 04:25

add runEngineAll

a135eff

fix log

f81a774

fix log

22e0168

add killEngineAll

c5202dd

fix log

6e46ad9

fix log

31bfe9f

add restartEngineAll

eb919bd

call killEngineAll

39b81df

fix log unit

c8a7c22

npm run fmt

9778831

add START_WAITING_ENGINE_ALL, RESTART_ENGINE_ALL

7d7b41c

npm run fmt

e0198fe

DETECTED_ENGINE_ERROR engineKey

5f33a07

npm run fmt

e23e9fb

fix check all ready logic

9d593e0

fix engineState

4f0c2ee

fix test

c9a2272

type with undefined

23bdd06

fix allEngineState logic

8272997

fix test

63c5816

add comment

4754d9f

multiple engine: SET_CHARACTER_INFOS, USER_ORDERED_CHARACTER_INFOS

f3777c8

multiple engine: LOAD_CHARACTER_ALL

67591d6

fix buildFileName logic

a97a3c6

fix default style id

d0bad7b

fix characterInfos from vue

9b3defa

pass engineInfos to vue

579f08b

fix log

d963590

fix changeStyleId

b1c6fda

fix synthesis to use engineKey/Id

7333e5a

loop engineInfos -> engineKeys

d610af5

aoirint marked this pull request as draft March 26, 2022 10:14

add characterInfos assert.isObject

8d6e974

aoirint added 14 commits June 23, 2022 02:12

Merge remote-tracking branch 'origin/main' into patch-multiple-engine…

d30dfbb

…-api

fix DictionaryManageDialog working for first engine

2fa8690

Merge remote-tracking branch 'origin/patch-multiple-engine-api' into …

c0af3b5

…patch-multiple-engine-api

SETUP_ENGINE_SPEAKER: add engineKey (fix character init)

7e5e1e1

fix assertion compare

b7759cd

fix assert message

f137521

project migration version 0.12 -> 0.13

4afe467

add comment

0a34c0d

LOAD_USER_DICT: add engineKey

a0a812a

getFlattenCharacterInfos func

70c863c

GENERATE_AUDIO_ITEM: (engineId, styleId) assertion

2c4bed5

fix message

34fc2dc

add comment

7747878

Merge remote-tracking branch 'origin/main' into patch-multiple-engine…

bf28087

…-api

aoirint marked this pull request as ready for review June 26, 2022 15:50

Hiroshiba reviewed Jun 26, 2022

View reviewed changes

This was referenced Jul 23, 2022

engineKeyをengineIdにすべて変更する #871

Merged

エディタ側から複数のエンジンを見るようにする #609

Closed

Hiroshiba mentioned this pull request Aug 3, 2022

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #883

Merged

aoirint closed this Aug 23, 2022

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #743

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #743

aoirint commented Mar 9, 2022 •

edited

Loading

Hiroshiba commented Jun 21, 2022

aoirint commented Jun 26, 2022

Hiroshiba left a comment

Hiroshiba Jun 26, 2022

aoirint Jun 26, 2022

aoirint Jun 26, 2022

aoirint Jun 26, 2022

aoirint Jun 26, 2022 •

edited

Loading

Hiroshiba Jun 27, 2022

Hiroshiba Jun 28, 2022

Hiroshiba commented Jul 9, 2022

Hiroshiba commented Jul 13, 2022

Hiroshiba commented Jul 23, 2022

aoirint commented Aug 23, 2022

Hiroshiba commented Aug 23, 2022

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #743

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #743

Conversation

aoirint commented Mar 9, 2022 • edited Loading

内容

TODO

動作確認手順

関連 Issue

スクリーンショット・動画など

その他

Hiroshiba commented Jun 21, 2022

aoirint commented Jun 26, 2022

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba Jun 26, 2022

Choose a reason for hiding this comment

aoirint Jun 26, 2022

Choose a reason for hiding this comment

aoirint Jun 26, 2022

Choose a reason for hiding this comment

aoirint Jun 26, 2022

Choose a reason for hiding this comment

aoirint Jun 26, 2022 • edited Loading

Choose a reason for hiding this comment

Hiroshiba Jun 27, 2022

Choose a reason for hiding this comment

Hiroshiba Jun 28, 2022

Choose a reason for hiding this comment

Hiroshiba commented Jul 9, 2022

Hiroshiba commented Jul 13, 2022

Hiroshiba commented Jul 23, 2022

aoirint commented Aug 23, 2022

Hiroshiba commented Aug 23, 2022

aoirint commented Mar 9, 2022 •

edited

Loading

aoirint Jun 26, 2022 •

edited

Loading