音と色

音階練習を楽しくする（うまくなる）ということに的を絞って、音と色にアプローチしてみようと思います。

分光特性曲線としてのAuto Correlation（ピッチ）図

金管奏者のためのアプリとしてスタートして、iPhoneアプリになったAuto Correlation表示ですが、これはピッチと音量検出をする、いわば第一ステップで、ここの性能が何をやるにも極めて重要なため時間をかけただけでなく、どうもいろんな情報が含まれているように見えて仕方が無かったんです。

例えばマイルスが柔らかく吹くと、山がなだらかになる。Chris Bottiは基本的になだらかだし、聞いてて落ち着くような声色もなだらかです。一方ピーッとマイルスが鳴らすと、山が鋭くなる。この、広がりというのは周波数の広がりで、ある特定のピッチだけでなく、周辺のピッチも多く含んでいることを意味します。

頂点の位置と高さだけ求めてほかのすべてを捨て去るには、あまりに多くの情報を捨ててはいないかと、それを考えてきました。

ところで、色には分光特性曲線というのがあります。Googleで一発で引っかかりますが、こちらを参照してください。ある物に光が反射して、返ってきた光を私たちは色として認識します。ところが完全な赤を返す物が存在するかというと、そんなものはありません。常に全色反射しているのですが、強弱の問題なわけです。赤と緑の成分が共に強い反射を私たちは黄色として認識します。

この分光特性曲線が、Auto Correlationに似ています。たぶん、視覚と聴覚の医学的な類似性によると思います。きっと、結果としてはあるピッチとして認識されるとしても、ピッチを一点、絶対音感のようなもので捉えるよりも、分光特性のように、ぼやっとしたものとして捉えた方が良いのではないかと思う訳です。

そうすると、ある瞬間のAuto Correlation図をある色で表現できることになります。だとすると、どのような色の仕組みを使うか。

色相環と音階（スケール）

ニュートンがColor Circleをドミアンで表現しましたが、そのとき、１度、３度、５度の音をそれぞれ赤、黄、青で表現しています。色を書くとき、どのようなカラーパレットを使用するかというのは、どの音階を使うかというのと同じような役割ではないでしょうか。色はPrimary Colorsを３色または４色決めてからそれらを混ぜて色を作っていくといいます。音階で言う１度、３度、５度そして７度みたいです。

ドリアンはDから始まるので３度がマイナーです。たぶん、３度がメジャーなら色は緑だったのではないでしょうか。ニュートンが苦心して作り出した７度のバイオレットは、１度（赤）への架け橋として完璧です。

人間の網膜は、明暗と色彩（色相と彩度）を感じる２つの神経でできています。そのためか、色相環は３次元で捉えられています。上下方向（白黒）に明暗、水平方向に色彩です。ニュートンはオクターブしか表現しませんでしたが、つまりある特定の明度でしたが、ここにオクターブの違いも含んでもいいのではないでしょうか。

例えばバイオリンが高音へ突き刺さると、天へ舞い上がるような感覚がします。一方ダブルベースが吠えると地を這うように感じます。ということは、明度が大きくなるということはより高音になり、明度が小さくなることはより低音になるということです。

まずはメジャーとマイナーのスケールで始めますが、音階の中でPrimari Colorsはいくつあるのか、音の数はいくつあるのか、そういったことをあてはめれば、世界中どんなスケールもこの枠組みで表現することができます。その土地に見られる伝統的な色使いと関係があるのではないかとも思っています。

音階練習を絵で表現する

この二つを活用すると、ある時間の中で流れた音を絵として表現することができます。さて、どう表現しようか。

今のところつまらないものと面白いものの２種類が浮かんでいます。

ま、何が出るか正直分かりませんが、ひとつやってみますか。

今のところiPhone3G/iPhone3GS、iPodTouch（要マイク）で動作するようデザインしています。