音と色 〜 音感カメラ
マイルスデイビスのAutumn Leaves（枯葉）がよく似合う季節になってきました。
さて、枯葉はAマイナー（in Bb）の曲で、テーマの冒頭はABCF（ラシドファ）と始まります。その最初のファの響きは、次の写真のどちらが合っていると思いますか？
Original
注：Mt.FUJI Ohyama Yukioより
ようやく音感カメラができあがってきたので、少しずつ検証を始めたところなんです。
一つ大きな課題があるのは、固定ドか移動ドかということです。「共感覚」の一つと言われるようですが、色と音を相互に連想して知覚する人は、こちらの岩崎さんのように、固定ドで色を認識されるようです。例えばCは絶対”黒”という風に。一方、カラオケでキーを上げたり下げたりしても多くの人が問題なく感じるように、相対的な位置関係が重要だと考えると、移動ドで色を認識した方がいいわけです。
戯音鏡を作った時にも随分調べましたが、今日では随分平均律が非難されることがあるようです。例えばトランペットの場合、構造上D4（真ん中のレの音、ピアノではC4）が低くなるため、DメジャーやGメジャーのようなD4に重要性があるようなキーだとまず技術力が露骨に現れると思います。そういう意味で、CメジャーをDメジャーにしたことで雰囲気が変わる事は大いにあることです。
前置きが長くなりましたが、上の写真は固定ド、下の写真は移動ドで音感カメラを設定して、冒頭のFの瞬間にスクリーンショットを撮ったものでした。
音と色のマッピングはどうなっているかというと、次のようになっています。
注：http://www.fho-emden.de/~hoffmann/cielab03022003.pdfの一部の上に音を分けるサークルを載せました（すいません、著作権法違反です）
赤方向がCで、反時計回りにC#,Dと続き、紫方向のBへと一回りしています。これはニュートンが考えたカラーサークルを元にしたもので、実際のカラースペクトルだと赤から青で切れてしまうものに連続性を持たせるように紫を持ってくることで、上下のオクターブへとつながりやすくなっています。上のオクターブへ行けば明るくなり、下へいけば暗くなります。螺旋階段をイメージしてもらうと分かりやすいかもしれません。
もう一度最初の写真を見てもらうと、上のもの（固定ド）はEb（黄色方向, F in Bb）、下のもの（移動ド）はCがAになっていますので、EbはGの青になります。音感カメラでは上下+-半音分も拾っているので、それより少し広い色が出ています。
個人的にはやっぱり移動ドだと思うんですよね。特にこれに限ったものではなくて、ニュートンが１度を赤、長３度に緑、短三度に黄色を持ってきたイメージの方が、何かと感覚的に納得するんです。ちなみにFは６度。すごく冷たい、クールな音に聞こえますが、オクターブ上の８度（１度と同じでオクターブ上）、マイルスのアドリブの5:33から5:35の音はこんな感じです（言うまでもないと思いますが、Somethin' Else）。
一方で、音楽から離れて日常に溢れている単なる音というのを、日常の景色と合わせるなら、固定ドになるはずです。例えば鳥のさえずりがあったり、車が走り去るエンジン音があったり。そこには相対的に秩序付けられた音の並びは存在しませんから。
ちなみに音感カメラは抽象画とも相性が良さそうです。音に合わせていろんなパターンが出てくるんですよ。そうすると無機質だった絵に感情が宿るようで・・・。
それから音感カメラですが、戯音鏡と同じ音程検出の仕組みを使って、ビデオのフレームレートは安定して３０fps出せています。各フレームの画像の1ピクセル毎に検出された音程と照合して、音とオクターブが同一ならそのままの色、オクターブが違ったらグレーと混ぜ、音が違ったらグレーにしています。一見したところ同じような色なのに、ピクセル単位で見たらものすごい色んな色が混ざっているのに驚いています。
