複数エンジン対応: `DEFAULT_ENGINE_INFOS`に登録されたエンジンのプロセスをすべて起動する（Callback版） #741

aoirint · 2022-03-08T20:37:56Z

内容

これまで、PR分割のため仮の実装として、エディタ起動時にDEFAULT_ENGINE_INFOSの0番目に登録されたエンジンだけが起動するようになっていました。

このPRでは、エディタ起動時にすべてのエンジンのプロセスを起動するようにします。
この挙動は、今後エディタから各エンジンのAPIにアクセスする実装を開発するための暫定的なもので、変わる可能性があります。
将来的に、エンジンプロセスを並列起動できる可能性がありますが、実装の簡略化のため行っていません。
CPU/GPUフラグの個別化も考えられますが同様に省略し、設定UI上で決めた1つの設定がすべてのエンジンで使われます。これは別途Issueを立てて方針を検討したいです。
エディタ終了時は、すべてのエンジンのプロセスを終了するようにします。

また、Electronのメインプロセス（background.ts）で複数のエンジンプロセスを扱えるようにするため、
エンジンプロセスの起動関数runEngineAll/runEngine、再起動関数restartEngineAll/restartEngine、終了関数killEngineAll/killEngineを整備します。
すべてのエンジンを操作する*All関数は、既存のエンジンプロセス操作関数を置き換える形で簡易に実装するための暫定的なものです。今後、UI側のActionもいったん同様の実装で進めることを考えています。

動作テスト手順

プロセスの起動をテストするには、COEIROINK 0.2.0のエンジンのWindowsプレビュービルドをシロワニさんが作成してくださっています。
いまのところ、COEIROINKのエンジンAPIはhttp://127.0.0.1:50031で待ち受けるようになっているようです。

https://github.com/shirowanisan/voicevox_engine/releases/tag/c0.2.0%2Bv0.10.preview.0

VOICEVOXエンジンは、以下のリリースが利用できます（製品版同梱のものでも問題ないはず）。

https://github.com/VOICEVOX/voicevox_engine/releases/tag/0.11.3

Windows上で、VOICEVOXエンジン・COEIROINKエンジンを適当なディレクトリに配置後、.envファイルを以下のように書き換えて、VOICEVOXエンジン・COEIROINKエンジンのプロセスの起動を確認できます（engineKeyはランダム）。

DEFAULT_ENGINE_INFOS=[{"key":"074fc39e-678b-4c13-8916-ffca8d505d1d","executionEnabled":true,"executionFilePath":"C:/Users/aoi/local/voicevox_engine_cpu-0.11.3/run.exe","host":"http://127.0.0.1:50021"},{"key":"d9212658-962f-4918-80b2-310b7de70c41","executionEnabled":true,"executionFilePath":"C:/Users/aoi/local/COEIROINK-CPU-c0.2.0+v0.10.preview.0/run.exe","host":"http://127.0.0.1:50031"}]
# DEFAULT_ENGINE_INFOS=[{"key":"074fc39e-678b-4c13-8916-ffca8d505d1d","executionEnabled":true,"executionFilePath":"C:/Users/aoi/local/voicevox_engine_cpu-0.11.3/run.exe","host":"http://127.0.0.1:50021"}]
VUE_APP_GTM_CONTAINER_ID=GTM-DUMMY

エディタ起動・初期設定後、閉じるボタンを押して以下のようなログになれば成功です。
エディタ終了時に二重にエンジンプロセスのkillが走ってしまっていますが、このPR以前からそういう実装になっています（エディタの終了・エンジンプロセスの終了をできる限り保証するためのはずです。今後改修できそうならしたいです）。

[05:12:37.631] [info]  Starting 2 engine/s...
[05:12:37.632] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: Start launching
[05:12:37.633] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: Starting process
[05:12:37.635] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d mode: CPU
[05:12:37.635] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d path: C:\Users\aoi\local\voicevox_engine_cpu-0.11.3\run.exe
[05:12:37.636] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d args: []
[05:12:37.655] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: Start launching
[05:12:37.656] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: Starting process
[05:12:37.657] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41 mode: CPU
[05:12:37.657] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41 path: C:\Users\aoi\local\COEIROINK-CPU-c0.2.0+v0.10.preview.0\run.exe
[05:12:37.658] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41 args: []
[05:12:40.654] [info]  Waiting engine 074fc39e-678b-4c13-8916-ffca8d505d1d
[05:12:43.702] [info]  Waiting engine 074fc39e-678b-4c13-8916-ffca8d505d1d
[05:12:45.043] [error] ENGINE d9212658-962f-4918-80b2-310b7de70c41 STDERR: Warning: Failed to read the user dictionary.
Traceback (most recent call last):
  File "voicevox_engine\synthesis_engine\make_synthesis_engine.py", line 39, in make_synthesis_engine
ModuleNotFoundError: No module named 'core'
Notice: mock-library will be used. Try re-run with valid --voicevox_dir
[05:12:45.060] [error] ENGINE d9212658-962f-4918-80b2-310b7de70c41 STDERR: INFO:     Started server process [33824]
INFO:uvicorn.error:Started server process [33824]
INFO:     Waiting for application startup.
INFO:uvicorn.error:Waiting for application startup.
[05:12:45.061] [error] ENGINE d9212658-962f-4918-80b2-310b7de70c41 STDERR: INFO:     Application startup complete.
INFO:uvicorn.error:Application startup complete.
[05:12:45.062] [error] ENGINE d9212658-962f-4918-80b2-310b7de70c41 STDERR: INFO:     Uvicorn running on http://127.0.0.1:50031 (Press CTRL+C to quit)
INFO:uvicorn.error:Uvicorn running on http://127.0.0.1:50031 (Press CTRL+C to quit)
[05:12:46.750] [info]  Waiting engine 074fc39e-678b-4c13-8916-ffca8d505d1d
[05:12:48.128] [error] ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDERR: Warning: cpu_num_threads is set to 0. ( The library leaves the decision to the synthesis runtime )
[05:12:48.140] [error] ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDERR: INFO:     Started server process [32576]
INFO:     Waiting for application startup.
[05:12:48.141] [error] ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDERR: INFO:     Application startup complete.
[05:12:48.142] [error] ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDERR: INFO:     Uvicorn running on http://127.0.0.1:50021 (Press CTRL+C to quit)
[05:12:48.290] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55165 - "GET /version HTTP/1.1" 200 OK
[05:12:48.306] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55165 - "GET /speakers HTTP/1.1" 200 OK
[05:12:48.379] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55170 - "GET /speaker_info?speaker_uuid=35b2c544-660e-401e-b503-0e14c635303a HTTP/1.1" 200 OK
[05:12:48.405] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55172 - "GET /speaker_info?speaker_uuid=b1a81618-b27b-40d2-b0ea-27a9ad408c4b HTTP/1.1" 200 OK
[05:12:48.421] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55171 - "GET /speaker_info?speaker_uuid=3474ee95-c274-47f9-aa1a-8322163d96f1 HTTP/1.1" 200 OK
[05:12:48.474] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55165 - "GET /speaker_info?speaker_uuid=7ffcb7ce-00ec-4bdc-82cd-45a8889e43ff HTTP/1.1" 200 OK
[05:12:48.524] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55169 - "GET /speaker_info?speaker_uuid=388f246b-8c41-4ac1-8e2d-5d79f3ff56d9 HTTP/1.1" 200 OK
[05:12:48.536] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55170 - "GET /speaker_info?speaker_uuid=c30dc15a-0992-4f8d-8bb8-ad3b314e6a6f HTTP/1.1" 200 OK
[05:12:48.553] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55171 - "GET /speaker_info?speaker_uuid=4f51116a-d9ee-4516-925d-21f183e2afad HTTP/1.1" 200 OK
[05:12:48.563] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55172 - "GET /speaker_info?speaker_uuid=e5020595-5c5d-4e87-b849-270a518d0dcf HTTP/1.1" 200 OK
[05:12:48.576] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55166 - "GET /speaker_info?speaker_uuid=8eaad775-3119-417e-8cf4-2a10bfd592c8 HTTP/1.1" 200 OK
[05:12:48.936] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d STDOUT: INFO:     127.0.0.1:55166 - "POST /audio_query?text=&speaker=2 HTTP/1.1" 200 OK
[05:39:50.744] [info]  All windows closed. Quitting app
[05:39:50.744] [info]  Checking ENGINE status before app quit
[05:39:50.745] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: last exit code: null, signal: null
[05:39:50.745] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: Killing process (PID=20668)
[05:39:50.745] [info]  Interrupt app quit to kill ENGINE
[05:39:52.879] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: last exit code: null, signal: null
[05:39:52.879] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: Killing process (PID=30092)
[05:39:52.917] [info]  All windows closed. Quitting app
[05:39:52.918] [info]  Checking ENGINE status before app quit
[05:39:52.918] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: last exit code: null, signal: null
[05:39:52.918] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: Killing process (PID=20668)
[05:39:52.918] [info]  Interrupt app quit to kill ENGINE
[05:39:52.937] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: last exit code: null, signal: null
[05:39:52.937] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: Killing process (PID=30092)
[05:39:53.460] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: Process terminated due to receipt of signal null
[05:39:53.460] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: Process exited with code 1
[05:39:53.460] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: Process closed
[05:39:53.460] [info]  ENGINE 1 / 2 processes killed
[05:39:53.460] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: Process closed
[05:39:53.460] [info]  ENGINE 1 / 2 processes killed
[05:39:53.490] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: Process terminated due to receipt of signal null
[05:39:53.490] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: Process exited with code 1
[05:39:53.491] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: Process closed
[05:39:53.491] [info]  ENGINE 2 / 2 processes killed
[05:39:53.491] [info]  All ENGINE killed. Quitting app
[05:39:53.491] [info]  Checking ENGINE status before app quit
[05:39:53.491] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: last exit code: 1, signal: null
[05:39:53.491] [info]  ENGINE 074fc39e-678b-4c13-8916-ffca8d505d1d: Process already closed
[05:39:53.491] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: last exit code: 1, signal: null
[05:39:53.491] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: Process already closed
[05:39:53.491] [info]  ENGINE d9212658-962f-4918-80b2-310b7de70c41: Process closed
[05:39:53.491] [info]  ENGINE 2 / 2 processes killed
[05:39:53.492] [info]  All ENGINE killed. Quitting app

スクリーンショット・動画など

その他

aoirint · 2022-03-10T15:46:22Z

src/background.ts

-      log.info("ENGINE killed. Quitting app");
+    onAllKilled: () => {
+      // executed asynchronously to catch all process closed event
+      log.info("All ENGINE killed. Quitting app");
      app.quit(); // attempt to quit app again


VOICEVOXエディタがエンジンのプロセスを管理していない場合（ターミナルでエンジンを起動しているなど）、app.quitが呼ばれない問題が発生しそう（修正したい）

こちらの修正作業をするか、Promise版 #750 を代わりにレビューしてもらうか悩み中なのでDraftにしています

（Promise版は手元での動作確認中）

いま db81c2b はbefore-quitからの非同期なapp.quitの呼び出しがループするようになっている...

#654 の段階で外部で起動されたエンジンがあるときにapp.quitが呼ばれない不具合が入っている気がする

ちょっと状況を性格に把握できていないかもですが、自分で起動したエンジンは自分で終了するロジックにすると綺麗かもと思いました！

自分で起動したエンジンは自分で終了するロジック

自分で起動していないエンジンは終了させないようにしています（プロセスを検索する必要がある＋勝手に終了させるのは他のアプリケーションにとってよくなさそう）。

app.quitの呼び出しがループ

修正を入れました。直ったと思います。

（プロセスを1つもキルする必要がないときにapp.quitを呼び出して無限ループしていた）

…-process-container

Hiroshiba

LGTM！！

制御変数がなかなか多くなってきましたね･･･！
別途エンジンマネージャを作って、そちらで状態変数などを全部管理しちゃうとコードがかなり読みやすく・書きやすくなる気がしました！
もしよければ切り出しをお願いしたいかもです。

aoirint · 2022-03-11T16:44:06Z

background.tsにエンジンプロセスの制御のための実装が多くなっているので、とりあえずファイル分けはできるといいなと思いました！

aoirint added 10 commits March 9, 2022 04:25

add runEngineAll

a135eff

fix log

f81a774

fix log

22e0168

add killEngineAll

c5202dd

fix log

6e46ad9

fix log

31bfe9f

add restartEngineAll

eb919bd

call killEngineAll

39b81df

fix log unit

c8a7c22

npm run fmt

9778831

This was referenced Mar 8, 2022

複数エンジン対応: すべてのエンジンとの接続テスト成功を待機する・すべてのエンジンを再起動 #742

Merged

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #743

Closed

Hiroshiba mentioned this pull request Mar 10, 2022

エンジンのプラグイン化（複数のエンジンを同時に見れるようにする） VOICEVOX/voicevox_project#2

Open

61 tasks

aoirint commented Mar 10, 2022

View reviewed changes

aoirint added 5 commits March 11, 2022 01:16

assume to be killed

2102710

add memo comment

c24c7e4

fix comment

5c1cf7c

call onAllKilled after final process kill errored

086bd30

fix log

9399dd1

aoirint marked this pull request as draft March 10, 2022 16:36

fix log

db81c2b

aoirint changed the title ~~複数エンジン対応: DEFAULT_ENGINE_INFOSに登録されたエンジンのプロセスをすべて起動する~~ 複数エンジン対応: DEFAULT_ENGINE_INFOSに登録されたエンジンのプロセスをすべて起動する（Callback版） Mar 10, 2022

aoirint mentioned this pull request Mar 10, 2022

複数エンジン対応: DEFAULT_ENGINE_INFOSに登録されたエンジンのプロセスをすべて起動する（Promise版） #750

Merged

aoirint added 2 commits March 12, 2022 00:40

Merge remote-tracking branch 'origin/main' into patch-multiple-engine…

26e4b2d

…-process-container

fix infinite loop when using external engine

b681ec4

aoirint marked this pull request as ready for review March 11, 2022 16:30

Hiroshiba approved these changes Mar 11, 2022

View reviewed changes

Hiroshiba merged commit e7456f3 into VOICEVOX:main Mar 11, 2022

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

複数エンジン対応: `DEFAULT_ENGINE_INFOS`に登録されたエンジンのプロセスをすべて起動する（Callback版） #741

複数エンジン対応: `DEFAULT_ENGINE_INFOS`に登録されたエンジンのプロセスをすべて起動する（Callback版） #741

aoirint commented Mar 8, 2022 •

edited

Loading

aoirint Mar 10, 2022

aoirint Mar 11, 2022 •

edited

Loading

aoirint Mar 11, 2022 •

edited

Loading

aoirint Mar 11, 2022

Hiroshiba Mar 11, 2022

aoirint Mar 11, 2022 •

edited

Loading

Hiroshiba left a comment

aoirint commented Mar 11, 2022 •

edited

Loading

複数エンジン対応: DEFAULT_ENGINE_INFOSに登録されたエンジンのプロセスをすべて起動する（Callback版） #741

複数エンジン対応: DEFAULT_ENGINE_INFOSに登録されたエンジンのプロセスをすべて起動する（Callback版） #741

Conversation

aoirint commented Mar 8, 2022 • edited Loading

内容

動作テスト手順

関連 Issue

スクリーンショット・動画など

その他

aoirint Mar 10, 2022

Choose a reason for hiding this comment

aoirint Mar 11, 2022 • edited Loading

Choose a reason for hiding this comment

aoirint Mar 11, 2022 • edited Loading

Choose a reason for hiding this comment

aoirint Mar 11, 2022

Choose a reason for hiding this comment

Hiroshiba Mar 11, 2022

Choose a reason for hiding this comment

aoirint Mar 11, 2022 • edited Loading

Choose a reason for hiding this comment

Hiroshiba left a comment

Choose a reason for hiding this comment

aoirint commented Mar 11, 2022 • edited Loading

複数エンジン対応: `DEFAULT_ENGINE_INFOS`に登録されたエンジンのプロセスをすべて起動する（Callback版） #741

複数エンジン対応: `DEFAULT_ENGINE_INFOS`に登録されたエンジンのプロセスをすべて起動する（Callback版） #741

aoirint commented Mar 8, 2022 •

edited

Loading

aoirint Mar 11, 2022 •

edited

Loading

aoirint Mar 11, 2022 •

edited

Loading

aoirint Mar 11, 2022 •

edited

Loading

aoirint commented Mar 11, 2022 •

edited

Loading