LiVo!PROJECT

  LiVo(リーヴォ) はリアルタイムに歌唱合成を利用した演奏を可能にする、初めての真に実用的な歌詞操作インタフェースです。

  片手で鍵盤に割り当てられた母音を入力するだけで、あらかじめ入力しておいた歌詞を自由自在に操ることができます。

  Google Chrome上で動作するので、YAMAHA NSX-1チップを搭載した歌唱合成音源(現在eVY1、ポケット•ミクに対応)とMIDIキーボードをPCに繋ぐだけですぐに歌唱合成演奏が楽しめます。

このエントリーをはてなブックマークに追加

Created by Yamo.








                   What's This

 

  LiVoは、演奏者から入力された母音列にフィットするように、あらかじめ分析しておいた歌詞中の最適な位置を推定して出力します。
  母音列とは、例えば「かしょうごうせいえんそう」ならば「あおうおうえいえんおう」といったように文字列から子音部分を取り去ったもののことです。

  日本語では母音は「あいうえお」の5つ、「ん」を含めても6つしかないため、それを右の図のように鍵盤に割り当てた場合、片手の指と入力キーはほぼ1対1に対応します。
これによって、人が歌うことのできる範囲のいかなる楽曲でも、オリジナルのテンポで演奏できるだけの入力速度を実現します。

  もちろん歌詞とメロディを1対1に対応させる必要が無いので、メロディをアドリブでいくらでも変えることが可能です。
また、最適な歌詞中の位置をシステムが推測してくれるので、歌詞位置のジャンプや後戻り、ミスをしても自動で演奏者の意図についてきてくれます。

  例えば、1番のAメロ、1番のBメロまで演奏したところでライブの残り時間が少なくなってきたことに気付き、いきなり2番のサビに飛んで短く演奏を終えたり、途中のフレーズを何度でも繰り返したり、 アドリブで変えたメロディに文字数を合わせるために歌詞を一文字飛ばしたり、といったリアルタイム歌唱合成演奏ならではの表現が可能になります。

  練習も手軽です。母音入力キーは鍵盤に割り当てられているので歌詞も含めて五線譜に書いて練習できます。
母音の数しか音符を必要としないので非常に簡単な楽譜として記譜することができます。

UI






Demo Movies














                   How to Use

1: eVY1ポケット•ミクをPCに繋いで電源を入れてください。ポケット•ミクは、カシャっという音が鳴るまで音量ボタン上下とUキーを同時に押してeVY1モードにしてください。
2: MIDIキーボードをPCに接続します。
3: Chromeを起動します。Web MIDI APIの設定をこのリンク先に従って行ってください。
4: http://www.yamo-n.org/livo/demo/demo.htmlにアクセスして右の画面を立ち上げます。
5: MIDI INボタンをクリックしてMIDIキーボードを選択し、Set MIDI INボタンで確定します。
6: MIDI OUTボタンをクリックしてeVY1/ポケット•ミクを選択し、Set MIDI OUTボタンで確定します。
7: 歌詞を入力します。歌詞はSampleのようにすべてひらがなで、適当な文節ごとにスペースで区切って入力してください。
*漢字は入力できません。
*数字やアルファベットもひらがな読みで入力してください。
*また、AメロやBメロ、サビ、あるいはもっと小さな1つのまとまった文章といったかたまりごとに改行を入れてください。
*多く改行を入れるほど(空の行がたくさん入るほど)、大きな「まとまり」とシステムは認識します。
8: 入力し終わったら、Convertボタンを押してください。分析された歌詞が画面の右側に並びます。
このリスト上をクリックすることによっても歌詞位置の指定が可能です。これで準備は完了です。
9: 初期状態では右図のようにMIDIキーボードのC3~G3に母音が割り当てられています。
位置を変えたい場合はオクターブボタンを押すとオクターブ単位で変更できます。
10: 左手で母音列を、同時に右手でメロディを演奏します。右側のリスト画面に並ぶ歌詞それぞれの横の括弧内にはその歌詞の母音列が表示されています。
最初は楽譜に書いて練習すると上達が早まります。

UI






Sample Songs

 

いくつかのサンプル曲の楽譜と歌詞データを用意しました。文字コードはUTF-8です。
歌詞データはそのまま歌詞入力欄にコピー&ペーストするだけで使うことができます。
今後も開発者の気分次第で増やしていく予定です。





Publications

 

LiVo: Sing a Song with a Vowel Keyboard,
Journal of Information Processing, Vol.24 No.3, 2016
PDF

LiVo: Sing a Song with a Vowel Keyboard,
ACM NIME 2015
PDF

LiVo: 母音列への歌詞アライメントによる
リアルタイム歌唱合成演奏のための歌詞操作インタフェース,
音楽情報科学研究会, SIGMUS, 2014-08
PDF





Development

LiVo!PROJECTはオープンソースで開発されています。


Download on Github



Hack

 
 
  eVY1/ポケット•ミクは発音し直しの際の遅れが非常に大きく、速いフレーズを演奏したときにストレスフルに感じることがあります。
  LiVo公開版には現在、2台のeVY1/ポケット•ミクを同時に使って力技でこの問題を解決するバージョンを用意してあります。

  2台のeVY1/ポケット•ミクをPCに接続した後にhttp://www.yamo-n.org/livo/
multi.html
にアクセスしてください。MIDIキーボードのセットアップは通常版と一緒です。
  異なる点として、2つのMIDI OUTボタンからそれぞれ別々のeVY1/ポケット•ミクを設定してください。
  なおこのバージョンでは2音までの和音演奏を行うこともできるようになります。







Contact

 

Kazuhiko Yamamoto - Yamo
twitter: @yamo_o
yamotulp(at)gmail.com