2023年11月24日、Synthesizer V Studioのベータ版アップデート(バージョン1.11.0b1)がリリースされました。
その際に追加された新機能の1つが『ボーカルMIDI変換機能』。
これはボーカル音声を収録したオーディオファイル(wavファイル)からノートやピッチ、歌詞を検出してSynthesizer V Studioのピアノロール上に出力する機能。
要するに自分の歌声を録音して読み込ませれば、歌詞を1個ずつ打ち込まなくても自動的に歌わせてくれるってやつです。めっちゃ便利。
で、この機能が発表されたとき、ふとある考えが頭を過ぎったごるびー。
「これ、歌だけじゃなく喋らせるのでも使えるのでは……！？」
ということで早速試してみたんで、その時に感じたことをまとめました。
- SynthV喋らせてみたいぜ！
- SynthV喋らせてるぜ！
- HANASUやトークロイドみたいな音声合成ソフトのトークに興味あるぜ！
- SynthVの歌にセリフパートを入れたいぜ！
といった方々の参考になれば幸い！
……で、結論から言うと、
ボーカルMIDI変換機能、SynthV音源を喋らせるのにも使えます。
ホント凄すぎるなSynthVは……。
そしてこの機能、UTAUやVOCALOID等他のボーカルシンセサイザーを喋らせる時にも便利！(詳しくは後述)。
なんでHANASUやトークロイドといったソフトウェアトークの動画を作ってる方にもおすすめ。
使い方も解説してるんで、興味ある方は是非使ってみて下さい！
ボーカルMIDI変換機能は無調声でもこんなに喋る！
というわけで早速ボーカルMIDI変換機能で喋らせてみたサンプル動画がこちら。
めっちゃ本名のってたんでツイ消し！
— ごるびー (@golbeegolgol) November 24, 2023
SynthVβ版のボーカルMIDI変換機能ちょっと使ってみました 自分で録音した喋り声を変換してみたらほぼほぼそのまんま喋ってくれた すんげぇ…… pic.twitter.com/cfGhnPjlba
使用した音源は自分の推し音源の『重音テト』。セリフはテトさんの決めゼリフ「君はじつに馬鹿だな」にしました。
自分の声が低いんでテトさんの声も低くなっちゃってますが、喋り方自体はかなり自然な感じで出力されています。歌詞(というかセリフ)も「ばかだな」→「たかだな」になってるくらいで、なかなかの精度です。
そして動画を見てもらえば分かる通り、調声は一切してません。
無調声でこんだけ喋ってくれるってヤバすぎんか？良い意味でエグいぜSynthV！
調声するとさらにリアルに！
参考までに別のサンプルもいくつか載っけときます。
以上の動画は全てボーカルMIDI変換機能を使った後、ちょっと自分で調声を入れてます。
テトさん、かなーり自然に喋ってくれとる……！
これだけのお喋りをいちから調声するのはすんごく大変です(少なくとも自分はめっちゃ時間かかる……)。
そんな調声も、ボーカルMIDI変換機能を使えばかなり時短になる！マジですげぇ！
調声で使って感じたボーカルMIDI変換機能のメリット3つとデメリット2つ
その後もボーカルMIDI変換機能使ってみたんで、その時に感じたことをメリット・デメリットに分けてまとめておきます。
まずはメリットを3つ！
メリット① ピッチとノートの下準備が一瞬！調声作業の時間短縮になる
上でもちょっと触れましたが、1番のメリットは何よりもこれ！
ボーカルMIDI変換機能は、トーク調声の肝になるピッチ(音程)＆ノート長(音の長さ)調声の下準備を一瞬でやってくれます。
おかげで調声にかかる時間を短縮できる！
これがマジで素晴らしい。
ピッチとノート長は音声合成ソフトを喋らせる際にめっちゃ重要になる部分です。
ここがある程度しっかり調声できていれば、かなり自然に喋ってくれます。
ただそれだけに、しっかり調声しようとすると結構時間がかかる……。
そんなピッチとノート長の調声を、音声ファイルさえ用意すれば大体やってくれます。滅茶苦茶ありがてぇ！
これくらいのセリフを手作業で入力＆調声するのは骨が折れますが、ボーカルMIDI変換機能は一瞬でやってくれます。すげぇよ！
初めて使った時すげぇ感動しました。
あんだけ時間かかってたピッチとノート長の大まかな調声が、ほんの一瞬で終了。
神機能をありがとうSynthV……！
メリット② 難しいセリフの調声の足がかりになる！今まで調声できなかったセリフができるようになるかも？
調声の時短だけでなく、難しいセリフの調声でもボーカルMIDI変換機能は便利！
喋り声を調声する際、難しいセリフだと
ってことになりがち。
そんなセリフも、ボーカルMIDI変換機能を使えば大体のピッチとノート長を自動で入力してくれます。
もちろんその後の調声は自分でやらないといけませんが、土台となる部分を作ってくれるんで調声のやりやすさは段違い。
おかげで今まで調声できなかったセリフもできる可能性あり！表現の幅が広がるぜ！
メリット③ セリフのピッチを確認できるからHANASUやトークロイドの調声の参考になる！
これが冒頭部分で触れたメリットです。
ボーカルMIDI変換機能はセリフの大体のピッチとノート長をSynthVのピアノロール上に表示してくれます。
つまりこれ、SynthVをちょっとしたピッチモニターとして使えるってことなんですよ！
なんでHANASUやトークロイドでも
ってときに、セリフを録音してボーカルMIDI変換機能使えば調声の参考にできます。便利すぎる！
因みに、ここで言うピッチモニターとは、音声のピッチを表示してくれるソフトのこと。
これを使えばセリフのピッチが大体分かるので、喋り声の調声では重宝します。
と思われるかもしれませんが、SynthVでは普通のピッチモニターにはない、すげぇメリットがあります。
それはノートの生成。
普通のピッチモニターでは、基本的にピッチしか表示してくれません。
……なんだけども、これだとセリフのどこがどの高さなのか分かり辛い。
それに対しSynthVでは、ピッチと一緒にノートも表示してくれます。
なんで、『それぞれの音がどれくらいの音程なのか』『それぞれの音の長さがどれくらいなのか』等が分かりやすい！
他の音の音程や長さ等も視覚的に分かりやすい！
おかげで今まで以上にHANASUやトークロイドの調声で参考にしやすい！
自分みたいにSynthV以外のボーカルシンセサイザー(歌唱用の音声合成ソフト)を喋らせてる人にはめちゃくちゃ嬉しいメリットですね。有難すぎるぜSynthV！
デメリット① クオリティを求めるならある程度の調声スキルはあった方が良い
続いてデメリット。
めちゃくちゃ便利なボーカルMIDI変換機能ですが、流石にメリットばかりではなかったですね。
まずは調声に関する部分。
ボーカルMIDI変換機能の変換精度はなかなかのものですが、完璧ではありません。
音声ファイルによってはピッチやセリフがちゃんと読み取れない場合があり、その部分は自分で調声する必要があります。
こんな風にセリフ通りにノートを変換してくれないことも。
また、ボーカルMIDI変換機能が出力してくれるのはピッチとノートのみ。
その他のパラメータ(ブレスやボーカルスタイル等)はそもそも自分で調声しないといけません。
なんでクオリティを求めるなら、ある程度の調声スキルはあった方が良い感じですね。。。
と言っても大体の部分はかなり自然に喋ってくれるんで、ちょっと修正できるくらいの調声レベルで大丈夫と思います(まぁそれも変換結果次第ではありますが)。
デメリット② 録音用の機材の準備が必要になる
あと機材に関する部分。
当たり前な話ですが、ボーカルMIDI変換機能を使うには変換するための音声ファイル(自分の声を録音したやつ)が必要です。
なんで当然、自分の声を録音するための録音機材も準備しないといけません。こればっかりは致し方無し……。
まぁ機材と言ってもとりあえずマイクと録音できるソフトがあれば問題ないんで、そこまで難しく考えなくても大丈夫です。
マイクとソフトについて、簡単に触れときます。
①マイク
録音機材の代表格。
最近はオンラインで会議や授業なんかをやる機会が増えてるんで、
って方も多いかもですね。
その場合はお持ちの機材を使ってみて下さい。SynthVで問題なくMIDI変換できればOK！
因みに自分は『HyperX QuadCast』ってマイクを使ってます。
以前デザインのカッコよさに惚れて衝動買いしちゃったヤツ。タップでミュートのON/OFFができ、接続方法もUSBと使いやすさ抜群。
今のところ、このマイクで特に問題なく録音できてます。
もし、
って方は参考にどうぞ。
ポチップ
②ソフト
マイクだけじゃ録音できないんで、当然録音ソフトも必要。
ただ録音ソフトは『Audacity』って高性能なフリーソフトがあるんで、マイク以上に心配する必要なし。
比較的シンプルな構成で使いやすい！
操作も特に難しくない(赤い録音ボタン押したら普通に録音始まります)んで、ソフト持ってない方はAudacityおすすめです。自分もこれで録音してます(もちろんお持ちの録音ソフトがあるならそれでもOK)。
③おまけ スマホでもいける
録音用のアプリをダウンロードすれば、スマホでも音声ファイルの録音ができます。
なんて場合は使ってみるのもアリです。
ただ、
- スマホに保存(録音)された音声ファイルをパソコンに移す手間がかかる
- wavファイルで保存できる録音アプリを使わないと、後でwavファイルに変換する必要がある
というデメリットもあるんで、そこは注意。
自分が感じたボーカルMIDI変換機能のメリット＆デメリットはこんな感じです。
デメリットはあるものの、それを補って余りあるメリットが魅力的な機能。マジで実装してくれてありがとう……！
簡単！ボーカルMIDI変換機能の使い方
ここまで読んで、
と思われた方もいるんじゃないでしょうか！(いてくれ)
そんな方用に、ボーカルMIDI変換機能の使い方を簡単に解説しときます！
今回は例として、最初のサンプル動画同様に「君はじつに馬鹿だな」ってセリフをテトさんに喋ってもらいます。
①公式サイトでSynthesizer V Studio Proのベータ版をダウンロード&パソコンにインストール
記事執筆段階(2024年1月8日)では、ボーカルMIDI変換機能はSynthesizer V Studio Proのベータ版でのみ提供されています。
なんで使うにはまずベータ版データのダウンロード&インストールが必要。
※製品版のアップデートで追加されたらこの作業は飛ばして下さい。
まずDREAMTONICS社(Synthesizer Vの開発元)公式サイトのNEWSページから最新のベータ版情報ページに飛び、そこにあるリンクから該当のベータ版をダウンロードします。
その後ダウンロードしたexeファイルを実行すればインストールが始まります。
これで準備はOK！
無料版では使えない！
残念ながらボーカルMIDI変換機能は有料版の『Synthesizer V Studio Pro』でのみで使える機能。
なんで無料版の『Synthesizer V Studio Basic』では使えません(まぁ逆にこんなすげぇ機能が無料で使えたらヤバすぎるが)。
ベータ版にはSynthesizer V Studio Basicのものもあるんで、ダウンロード間違いに注意。
②Synthesizer V Studioで新規オーディオトラックを作成し、音声ファイルを読み込む
ここからはSynthesizer V Studio上での操作になります。
Synthesizer V Studioのトラック欄で新規オーディオトラックを作成し、音声ファイルを読み込みます。
③ボーカルMIDI変換機能を使って音声ファイルを変換する
いよいよボーカルMIDI変換機能を使うぜ！
読み込んだ音声ファイルを右クリックして『オーディオをノートに変換』を選択。
因みに画像で黒塗りしてるところに音声ファイルの保存先が表示されてます。マイクロソフトのアカウント名が出ちゃってるんで消させてもらいました……。
次にボーカルMIDI変換機能のウインドウが表示されるんで、自分が変換したい内容に合わせて設定を行い、『確定』をクリック。
多分初期設定だと『歌詞を解析』のチェックが外れてると思うんで、音声ファイルのセリフを反映させたい場合はチェックを入れといてください。
すると……
Synthesizer V Studio起動時にあるトラックに音声ファイルが変換されます！やったぜ！
因みにこの段階でトラックに歌声データベースが設定されてなくても、ボーカルMIDI変換はちゃんと実行されるのでご安心を(もちろん設定してても実行されます)。
④自分好みに調声する
あとはボーカルMIDI変換機能で変換しきれなかったセリフ・ピッチ曲線を修正したり、ボーカルスタイル等その他のパラメータを自分好みに調声していきます。
調声する際は、音声ファイルを読み込んだトラックはミュートにしとくのがおすすめ。
じゃないと再生するたびに自分の声も再生されるんで調声に集中できん……。
因みに今回、変換がめちゃくちゃうまくいってセリフは完璧、ピッチもかなり違和感無く出力されました。えっぐいぜ……。
というわけで調声は全体の音程とパラメータを幾つか弄るだけに留めました。
その結果がこちら。
かなり自然なお喋り……！
改めてボーカルMIDI変換機能すごすぎるぜ！
まとめ ボーカルMIDI変換機能は界隈全体にとって革新的な機能！是非使え！
以上、トーク調声におけるボーカルMIDI変換機能のメリット・デメリットをまとめるとこんな感じ。
メリット
- ピッチとノートを一瞬で用意してくれるので調声の時間短縮になる
- 今まで調声できなかった難しいセリフも、大体のピッチとノートを調声してくれる
- SynthVをピッチモニターとして使えるので、HANASUやトークロイド等SynthV以外のボーカルシンセサイザーを喋らせる際にも活用できる
デメリット
- ピッチとノート以外のパラメータは自分で調声する必要があり、クオリティを求めるならある程度の調声スキルがいる
- 変換するための音声ファイルが必要なため、それを録音する機材が必要
もうこの記事で何回も言ってますが、ボーカルMIDI変換機能、マジですごいです。
今までもSynthVでのトーク調声はやりやすいと感じてましたが、ボーカルMIDI変換機能でそれがさらに加速(？)しましたね。
そしてHANASU調声をメインでやってる自分としては、メリット③がすんごく有難い！
おかげでHANASU調声の質が前より洗練されてる気がします。マジで実装してくれてありがとう……！
間違いなく、ボーカルMIDI変換機能はボーカルシンセサイザーのトーク界隈全体にとって革新的な機能ですね。
是非皆も使って、この界隈を盛り上げてってくれ！
今回は以上！それではﾉｼ
