In this work, I propose an interface for musical instruments for assigning arbitrary timbres to arbitrary objects
including personal belongings such as table and cup, or actions such as vocalization by audio signal processing,
to enable the users to play music as if they were playing the actual acoustic musical instrument which generates
the simulated timbres. This system requires no special device, only a standard microphone. The assigned timbres are produced
not by a triggered PCM(pulse-code modulation) waveform in response to the detected attacks in the microphone input source
but by the modeling process of the system that generates the timbres by modifying the microphone input source itself.
It thereby enables the users to play music with very sensitive expression, including very small sounds, fast passages,
and the effects of playing style. Additionally, in this system, we can assign separate individual timbres to each of a set
of objects at a time and play polyphonic music.
本研究では, 身の回りにあるもの, や声を発する, といった行為に対して任意の音色を割り当てて, あたかも割り当てられた音色を発する物体がそこにあるかのように音を鳴らして楽器のように演奏す ることを可能にするインターフェースを提案する. 本システムは特別なデバイスを必要とすることな くマイク一本のみで実現可能である. 身の回りのものに割り当てられた音色は, マイク音声から検出さ れたアタックによって PCM 波形がトリガー再生されたものではなく, マイクの入力音声そのものを 加工してその音色が発せられる仕組み自体がモデリングされて生成されるため, どこまでも小さい音 や速い連打, 奏法による変化など生楽器と同等の繊細な表現をすることを可能としている. また, 複数の割り当て対象物に同時に異なる音色をそれぞれ割り当てて複数音同時演奏をすることも可能である.
Possessing Drumsでは, 割り当て音色の音を合成する手法として, その音色が生成される仕組みそのものを割り当て対象の音の仕組みに付加する,
という アプローチをとる. 物理的な音が発せられるプロセスは駆動, と伝達という2つの部分に分けることができる.
Possessing Drumsではこのうち伝達の部分のみを他の音のものと入れ替えることで音生成システムの他の音への割り当てを行う.
Possessing Drums takes the approach of modifying the mechanism of a tone generation process of the target sound for assigning the desired timbre. The generation process of physical sounds can be decomposed into two parts: the drive and propagation. Possessing Drums assigns the sound generation system to other sounds by replacing only the propagation part of the sound generation process with that of other sounds.
また, 本システムでは, 単独の楽器だけではなく, 複数の 楽器を異なる音対象に同時に割り当てることを実現するため, 入力音をリアルタイムで音源分離し, 複数の割り当て対象をそれぞれ同時に認識可能としている.
In addition, in order to achieve simultaneous assignment of multiple timbres to different sound targets, the system performs real-time sound source separation of the input sound and enables simultaneous recognition of each of the multiple assignment targets.
・Kazuhiko Yamamoto. 2013. Possessing Drums: An Interface of Musical Instruments that Assigns Arbitrary Timbres to Personal Belongings. .
Journal of Information Processing, 2013, Vol.21 No.2, p274–282. [PDF]
・山本 和彦. 2012. 身の回りのものに任意の音色を割り当てて演奏可能な電子楽器インターフェース 〜 Possessing Drums 〜.
インタラクション, 2012, インタラクティブ論文賞受賞 (Interactive Paper Award). [PDF]
Kazuhiko Yamamoto – www.yamo-n.org
mail: yamo_o(at)acm.org
twitter: @yamo_o
