音楽とかソフトとか

fransingを使って拙作の「ひらひら」をカバーしてみました。



fransingの用途の一つとして、"声のお化粧ツール"としての使い方があるかなと思い、やってみました。

「さくらさくら」と同様オクターブとgフラグを操作しています。この場合化粧というより女装に近いですが別に女装癖等は無く、録音時は原曲のキーを変えたものに合わせて、割と普通に歌って音源化しています。地声より明らかにこちらの声の方が使いどころのある声になるので嬉しいような嬉しくないような妙な気分です。ぶりっ子な合成音が出てきておいおいと思ったり、今は面白がっていますが後で恥ずかしくなるかもしれません。主に技術的な興味でやっているということをここに明言いたします。

ここまで書いて気づきましたが、平沢師匠的には"SP-2"に類するものなのかもしれません。あるいはより音楽的には「カストラート」(wikipedia)も思い出します。21世紀の今はこういう技術があるので痛い思いをしなくても良いのですと。

スポンサーサイト

PageTop
setParam ver.2.0-b111229を上げました→ダウンロード

<変更点>

- (追加) wavファイルを一括モノラル化する機能を追加した。
- (修正) ステレオwavの発声タイミングチェック再生(F8)ができないバグ、F0抽出できないバグを修正した。

<捕捉>

今回はステレオwavファイル周りへの対応を行いました。バグについてはステレオwavを使った際に起きるものですので内部的にモノラルに変換して処理するようにしました。

また、そもそもUTAU音源がステレオwavである必要も無いと思いますのでファイルサイズ削減のために一括でモノラルに変換できるようにしました。「ツール」→「wavファイルの一括モノラル化」で実行できます。

PageTop
ほぼ一年ぶりにwavDivider(わぶでば) ver.2.3をバージョンアップしました→ダウンロード

<主な変更点>

- (追加) 「自動ラベリング」のパラメータ値の自動抽出機能を追加した。
- (追加) 各設定窓がESCキーで閉じるようにした。
- (変更) 編集後に別のファイルを開く際の確認窓のふるまいを変更した(2回出る場合があったのを1回にした)。
- (変更) 「自動ラベリング」のパラメータ"平均平滑化のサンプル数"を"抽出窓長"に変更した。
     (以前あったパワー平均平滑化を廃止し、同種の機能である窓長を使うようにした。)
- (変更) パワー曲線表示をやや高速化した。またプログレスバーを表示させた。
- (変更)ファイルオープン窓の拡張子指定を変更(.wav、.labを表示するようにした)。
- (修正) "_"で始まるファイル名の_を削除してしまうバグを修正した(UTAU連続音音源向け)。
- (修正) 「自動ラベリング」のショートカット(Ctrl+F11)を削除した(波形縮小のショートカットと同じなので)。
- (修正) 「詳細設定」のショートカット(Ctrl+F12)を削除した(波形縮小のショートカットと同じなので)。

<自動ラベリングの改良>

「自動ラベリング」周りを変更しました。以下が新しい設定窓です。

パラメータ値の自動推定

ボタン「以下のパラメータ値をwavから自動推定する」を押すと、処理中のwavのパワーに応じてパラメータ値を自動設定します。具体的には、パワーの平均と標準偏差を求めて平均-標準偏差を「発声中のパワー最小値」と「無音中のパワー最大値」に設定しています。

また以前は「平均平滑化のサンプル数」というパラメータがありましたが、それを「パワー抽出窓長」に替えました。

PageTop
fransingを手早くテストするにはテンポが遅く曲長の短いデータがあると良いだろうということで、「さくらさくら(古歌)」のデータを作ってみました。

ダウンロード

曲長は43秒、BPMは100です。利用手順例はREADME.txtをご覧下さい。

以下は使ってみた例です。
「さくらさくら」を歌ってみました by nwp8861

PageTop
fransingを使った音デモがいくつかありましたので、数日前に捕捉した分をブログにもまとめておきます。歌い方のノウハウであったり、そもそも使えるかどうかという点でも参考になるかなあと思います。多分明記のないものはクローズドテストだと思います。順不同です。


【title:ふらんしんぐテスト1】 by @ritu_u
・クローズドテストのようです。
・かわいらしく歌っている感じがします。

【title:fransingテスト!】 by @yuna_sakuya
・自作の単独音音源版→生歌版→fransing音源版と比較やすいです。
・原音設定の手修正あり。

【title:fransing 使ってみた】by @koro2wanko
・ゆったりめの曲です。
・音のつなぎ目部分が気になりますが音自体は破綻していなさそうで、調声で修正できそうだなと思いました。

fransing音源で「会いたい」(原音設定ちょっと直した) by @miko_ookami
【title:fransing音源で「会いたい」】 by @miko_ookami
・オープンテストだそうです。
・原音設定手修正有りと無し。
・同種のデモ動画(fransing未使用で手動切り出しのようです)も↓に昨日上げられていました。


お試し #fransing by @tatsu3
・ゆったり目の曲です。
・resamplerと相性の悪い音があってTIPSエンジンを使用されたとのことです。
・原音設定手修正有り。
・音が破綻していなくて安心して聴ける印象でした。

【fransing音源 いろは唄】 by @M_c3o2
・歌っている感じが良く残っている反面使える音と使えない音が混在している印象でした。

fransingTEST「ミッドナイト・バレリーナ」(サビ部分のみ) by @AI0193
・原曲をトレースするように歌われたとのことです。
・原音設定の手修正有り。
・テンポが速い割に音が破綻していない印象でした。

【title:fransingで遊んでみた【二番地】】 by @am_yuumu
・原音設定の手修正無し。
・UTAUは"おま☆かせ"
・歌っている感じが良く残っている印象です。所々破綻した音がありますが原音設定と調声次第でもっと整いそうです。

------
・ゆったり目の曲を歌った方が破綻しなさそうです。

・過去に収録した単独音/連続音音源と声色が変わる様子です。これは最初は歌うときに何らかの表現を入れて発声したからかなと思ったのですが、そうではなく表現以前の問題で、中の人らしさがより残るようになったのかなとも思います。この辺りうまく説明できないのですが、単独音音源を収録して合成音を聴いたときに「あ、ちょっと音が変わったな」と感じる度合いが、歌声の方は小さいような気もします。

------
ひとまず音声補正ツールとしてfransingを捉えたときに追加したい機能があるのでそのうち実装しようかなと思います。(重複エイリアスに通し番号を付け、その番号をふったustも出力可能にする)

また、ゆったり目のお試しキットを作ると良いのかなと思いました。とりあえず手元の「さくらさくら」はゆっくりで曲も短いのでこのオケとustをまとめようと思います。

PageTop
fransing ver.0.1(Windows版とMacOS X版)を公開しました→説明&ダウンロード

初回リリースですのでもし不具合やよく分からない点などありましたらブログコメントやtwitter等でご連絡頂ければ幸いです。よろしくお願いします。

余談ですが、動作テストの際に「耳のあるロボットの唄」のbatファイル群を一つのustファイルに変換しました。こちらからダウンロードできます。

PageTop
昨晩でfransing本体の実装がWindows版、MacOS版いずれもほぼ終わりました。あとはREADME等のドキュメントを書いて完成です。

その前にまた寄り道してしまったのでまとめます。

「カットアップ(Wikipedia記事)」という制作技法があることを今年のビートニクスの新譜で知りました。既存の文や音を細かく裁断して並び替えて新しいものにするというやり方のようです。

fransingの動作テストをしているうちにリミックスに使えないかなと思い、このカットアップに相当するやり方でやってみました。

まず元波形として以下のものを使いました。朝音ボウの歌う「さくらさくら(古歌、BPM100)」です。

さくらさくら(歌:朝音ボウ) by nwp8861

次にテンポを400BPMに上げ4分音符をずらっと並べたust(歌詞は何でも良い)を作ってfransingで裁断しました。その際、fransingで指定する4つの数値パラメータをすべて0にセットします(参考:現行fransingのGUI)。これで音符の位置ぴったりにwavが切り出されます。また今回はボーカルwavではなくボーカルとオケの混じったwavを裁断してみました。

あとはDAW上で適当にwavファイルを並び替えてリミックスオケを作りました。以下が完成品です。

さくらさくら(fransing remix) by nwp8861

なお、ドラム、元のボーカルのみwav、各種VSTeも使用しました。

PageTop
前回記事の続きで今度は「DENKIYASOU(電気夜想)」という動画を上げました。




前回の動画は、、「幸せの国 二番地」(酒乱Pさん作)をダリアさんが歌い、そのwavをfransingで音源化してUTAUで再び歌い直して動画化したものでした。あれはクローズドテストということで、汎用的な音源テストより有利な品質になるテストです。

今回はオープンテストということで、同音源で別の曲を歌わせています。前々回記事のCaparo Ululaさんの歌声でやったテスト後半部分と同じで、今回は女性音源でも試してみたということになります。

今回も歌える言葉の種類が少ないので連続音oto.iniから単独音音源のエントリを追加作成しました。その結果以下の図にある単独音名を使えるようになり、今回はこの制約の下で歌詞を作成しました。
歌詞に使える音一覧


主な所感としては、やはり既存音源のように「おま☆かせ」だけで破綻無く歌ってくれるというわけにはいかないと感じました。歌声音源では合成がうまくいかない音だけでなく、同じ音でも音色に幅があるようです。また、音によっては重複エイリアスがかなり多いのですが、そういう場合は聴きづらい音を削除したりエイリアス名を使い分けたりして整理した方が良さそうです。

P.S.
曲調は懐古調です。元々Sinsyに歌わせようと思っていました。出だしの辺りの声をいじりながら何となく小池玉緒さんの「三国志のテーマ」を思い出したりもしました。

PageTop
Fransingを上げる前にsetParam ver.2.0-b111204 を更新しました→ダウンロード

今回は変更点多めでバグ修正が数点あります。

<主な変更点(追加5件、変更5件、修正4件)>

- (追加) wav以外の波形形式に対応した。
- (追加) ファイルメニューに、最近使ったフォルダ等を開く機能を追加した。
- (追加) 起動時にフォルダ選択窓を出す/出さないを設定可能にした。
- (追加) メイン窓最下行に幾つ目の音を編集しているかを表示するようにした。
- (追加) 左右ブランクの移動可能範囲を他パラメータより優先するモードを追加した。デフォルトで有効。
- (追加) エイリアス一括変換で重複エイリアスの通り番号をふれるようにした(変換規則に音名(%m)、接尾辞(%s)、重複通し番号(%r)を追加した)。

- (変更) オプションメニュー構成を変更した。「マウス、キー操作の設定」という項目にいくつかを移動した。
- (変更) 先行発声のタイミング試聴で、発声開始がなるべくクリック音の1拍または半拍に合うようにした。
- (変更) 保存フォルダの初期値を"c:/Program Files/UTAU/voice"または"c:/Program Files (x86)/UTAU/voice"にした。

- (修正) tabキーを押すとF1などのキーバインドが効かなくなるバグを修正した。
- (修正) 「オーバーラップ値を負にしない」モードで左ブランクを移動させると負にできてしまう不具合を修正した。
- (修正) oto.iniの読み込みをわずかに高速化した(読み込み中に波形描画をしないようにした)。
- (修正) 空のwavファイルを読んだ際にエラー窓が出ないようにした。

以下詳細です。(長文です。)


<wav以外の波形形式に対応>

Mac音家から久々の新音源「ウィスパー☆エンジェル ささやきさん」が出て今回からUTAU向けoto.iniが同梱された記念ということでaiffに対応させました。aiffモードにする場合はsetParam-setting.iniというファイルのwaveFileExt=wavを=aiffと書き換えて下さい。なお、開いた音源フォルダにwavとaiffが混在していると想定しない動作をする場合があります。必ずどちらかの形式に統一して下さい。

wavとaiffが自動的に切り替わるように実装することもできますが、現状でaiff音源はほとんど無いだろうということで現状ではこのような対応法をとりました。


<最近使ったフォルダをもう一度開く機能>

以下のように、「最近開いたフォルダを開く」「最近開いた親フォルダを開く」メニューを追加しました。

最近開いたフォルダ

「最近使った*親*フォルダを開く」の方では過去に開いたフォルダの一つ上のフォルダを初期フォルダとしてフォルダ選択窓を出します。

この機能を付けて思ったのですが、これまでのsetParamでは起動時にフォルダ選択ダイアログ窓が自動で出るようになっていました。でもこのフォルダ履歴を主に使いたい場合、むしろ起動時に何も出ない方が便利だと思います。

そこでフォルダ選択ダイアログが自動で出ないように設定変更できるようにしました。やり方ですが、setParam-setting.iniのopenStartDialog=1を=0に書き換えて下さい。私自身も=0で使っています。


<幾つ目の音を編集しているか>

上下矢印でwavを切り替えると、画面左下に何個目のwavなのか表示するようにしてみました(図では142個中7個目)。原音設定は持久走系なのでペース配分に使えるかなと思います。100個設定したら休憩といった具合です。

編集しているwavの番号



<オプションメニュー構成変更&左右ブランクの移動可能範囲を他パラメータより優先するモード>

オプションメニューの項目が増えたので以下のように「マウス、キー操作の設定」という項目を作って関連項目をまとめました。

オプションメニュー変更


根本的にはそもそもsetParamの設定に関するインタフェースは一貫していないと感じていますが、実装の優先度が低くてなおざりになっています。いずれは詳細設定窓ですべての設定を変更できるようにしようと思い描いていますが。。

また「左右ブランクの移動可能範囲を他パラメータより優先する」という項目を追加しました。このモードがONのときは左右ブランクが"ほうき"、他パラメータが"ごみ"のような挙動になります(デフォルトでONにしてあります)。(Fransingのテストで)連続音音源から単独音音源を作る必要があってこのモードを追加しました(左ブランクのドラッグで、オーバーラップも移動させたかったので)。

具体的な図で示すと、本バージョンで指定可能な左右ブランク挙動は以下の3パターンになりました。

左右ブランクの挙動の違い

デフォルトの移動可能範囲は青色です。ブランク優先を解除した場合は、「オーバーラップを負にしても良い」かか否かで赤色緑色までになります。


<エイリアス一括変換の変換規則>

連続音音源で同じ音エントリが重複することがあります。あるいは追加収録を行った際にも重複が発生することがあります。その場合は通し番号を付けたりしますが、その通し番号を自動でふったりふり直したりできるようにしてみました。

ツール」→「エイリアス一括変更」で以下の窓が開きます。

エイリアス一括変換窓の変更111204


既存の%a、%fに加え本バージョンからは%r、%m、%sが新たに使えるようになりました。%rで重複の通し番号、%mで音名、%sで入力済みエイリアスに書かれた接尾辞が入ります。

例1:エイリアス内容が「a い」のとき「%m%r強」で「a い2強」など
例2:エイリアス内容が「あ↓」のとき「%m%r%s」で「あ2↓」など

こちらでテストしたケースではうまく変換できましたが変換は万能ではないので、事前にoto.ini保存すること、エイリアスがおかしくなったら「%f」のみまたは「%m」のみで一度変換してエイリアス内容を初期化してやり直すようにすれば良いと思います。


<先行発声のタイミング試聴で、発声開始がなるべくクリック音の1拍または半拍に合うようにした>

(以下は割と細かい変更の話です)
これまでの先行発声の試聴(F8を押す)では左ブランクから音声を再生開始していました。これだと自動収録時のテンポと試聴時のテンポが一致している場合はこのやり方で良かったのですが、互いのテンポが異なる場合には再生開始位置がリズムに合わない所に来てしまいます。

そこで再生開始位置をクリック音の1拍分または半拍分に合わせるように修正しました。ただし、左ブランクと先行発声の間隔が狭い場合にはこの補正は適用させていません。その場合は左ブランクをいったん左に移動させて範囲を広げてから試聴すればOKです。

----
以上です。

Fransingは今回のsetParamのエイリアス一括変換を流用した実装を組み込んで上げるつもりです。本業次第で今週末以降になるかもしれません。

PageTop