楽譜が演奏されて音楽が聴こえるのが順方向とすれば,逆方向に,音楽を聴いて楽譜を作成することを採譜と呼ぶ.これを機械に行わせる問題が「音楽自動採譜」である.
その用途は,音から楽譜を得るということばかりでない.その中間生成情報を編集することで,いろいろに音楽を扱う大きな可能性が生まれる.この関係を簡単化して図に示すと次のようになる.
(楽譜形式) | 演奏者の演奏, 自動演奏など |
(MIDI形式など) | 楽器発音, MIDIシーケンサ |
(音響信号) | |||
楽譜情報 各音符の音名と長さが表現された情報 |
→ |
演奏情報 各音符の時刻や強さなどをどのように演奏するか |
→ |
音楽信号 信号波形として聴き手に聴こえる演奏から音響信号 |
|||
← | ← | ||||||
↑ | ↓ | 採譜 | ↑ | ↓ | 楽音解析 | ↑ | ↓ |
作曲,編曲,楽曲解析,打ち込み | 記録,修正,伝送,カラオケ,着メロ | 聴く,録音する,CD,MD,テープ,etc. |
「楽音解析」は,演奏された音楽信号から各音符の情報を復元する技術である.人間なら,多重に重なった楽器音や声を聴いて,何の和音が鳴っているか,どんな旋律進行が同時に起こっているか,(多少訓練されていれば)できる. しかし,信号処理の観点では多重信号の解析は容易ではなく,いまだ完全に解決されてはいない問題である. これができれば,音楽を聴いてそのMIDIファイルを作り出せることになる.MIDIファイルは簡単にいじれるので,楽器の音色を変えたり,演奏を少し好みに合わせたりできることになる.また,カラオケの作成支援にも役立ちそうである.
楽音解析によって,MIDIのような音符情報にまで変換できていれば,これから楽譜の形式にするのが,狭い意味の「自動採譜」の部分である.(両者を併せて自動採譜と言うことも多い). 一見易しそうに思われるかも知れないが,これは人間のリズムの認知の問題に拘わる結構難しい問題である.(市販の音楽ソフトにはMIDIキーボードで弾いた音楽を楽譜化する「クォンタイズ」という機能がついていることが多いが,殆んど使い物にならないことを経験した人は多いだろう.) 人間の演奏の中で音符の長さは,規定通りの長さでなく,確率的にも芸術的にも変動するが,それを聴いて違和感無く楽譜の意図するままに聴き手に伝わるのは,人間の認知・認識能力に根ざしていると考えられる.各音符の音長を最も近い音符の長さに量子化しても,決して正しい楽譜は得られない.
以上の音楽の自動採譜は,音声認識と同様に,知的な信号処理として興味深い要素を豊富に含み,いかにも計数工学科らしい問題であり,我々の研究はその最先端を進んでいる.