高汎用性撮影処理としての輪郭明瞭化処理
経緯
アニメの撮影処理は、全体処理と個別処理に分けて考えることができる。全体処理とは、作品全体、作品の初めから最後まで全てのカットに対し、同じものが付加される処理だ。これにより、処理の作成と各カットへの適用の労力を抑えつつ、作品全体の映像を操作できる。全体処理として、例えば軽いディフュージョンなどが使われる。一方、個別処理はカット毎に異なったものが付加される処理だ。そのため、個別処理は全体処理に比べ多くの場合1作品あたりの処理制作数が多く、大きな労力がかかる。しかし、個別処理はカットの内容により合った処理を付加できる。個別処理として、例えば透過光処理や、夕焼けの表現のため素材本来の色を夕焼けの光が当たった色に変える処理などがある。透過光処理も夕焼けの処理も、カットの内容に合わせた処理であり、それを全体処理として作品全体に付加することはできない。アニメ作品を構成するカットの中には、透過光で光らせるべき物が無いカットや、夕方ではないカットも多くあるためだ。全体処理と個別処理の概念は、アニメの撮影処理の極端なモデルである。実際には撮影処理の中には、1つの処理が複数のカットに適用されるような、全体処理と個別処理の中間的な性質を持つものも多い。
全体処理には、複数の作品に同じ全体処理を適用できるような汎用性を持たせることができる。これは、全体処理が本質的に汎用性を持っており、その汎用性を拡張することで実現可能なものだ。全体処理はどのカットにも同じものを適用するため、元々ある程度の汎用性を持っている。この汎用性は、全体処理に個々のカットが持つ特殊性を反映しないことで備わる性質だ。カットは、映像中に表現されるキャラクターや物体や空間、構図、尺(時間的長さ)など、そのカットに特有な特殊性を持つ。このようなカットの特殊性に合わせて設計された撮影処理は、その特殊な性質を持たずに別の特殊な性質を持つカットには適用できない。あるカットの特殊性に合わせた撮処理を別のカットに適用したならば、演出上の不適合を生じるためだ。一方、個々のカットの特殊性を反映しない撮影処理を作ったならば、その処理はどのカットにも適用できる汎用性を持つことになる。撮処理に反映される特殊性はカット毎のものだけではない。カット毎の特殊性が反映されていなくても、優しげな日常的な作品に合わせた撮処理を激しい戦いの描かれる作品に適用したり、またその逆をすると、やはり演出上の不適合を生じるだろう。このように撮処理に反映される特殊性はカット毎のものだけでなく、作品ごとのものもある。カットごとだけでなく作品ごとの特殊性も反映されていない撮影処理は高い汎用性を持ち、同じ処理を多くのアニメ作品に適用でき、またそのような処理の発展は、多くのアニメ作品の質の向上に寄与するはずだ。そのような汎用的な全体処理を作ることができれば、今後のアニメの発展を少なからず促進できるだろう。
本稿では、アニメ作品一般に適用可能であり、適用された作品の価値増大量を最大化する全体処理を最適処理と呼ぶことにし、その形態について検討する。なお、本稿の検討結果を反映した作品に、筆者が参加している自主制作アニメサークルOPAP-JPで制作されたアニメ作品「こうしす!」の第3話がある(但し、本稿執筆時点では第3話パート2まで適用しているが、制作中であるため最終パートまで適用されるかは分からない)。
検討1
まず、最適処理についてのおおまかな記述を行う。全体処理は様々な形態をとることができる。例えばディフュージョンやフィルムグレインの再現、トーンカーブやレベル補正によるコントラスト変化などだ。このほか、画面全体を真っ黒にしたり、強いブラーをかけたりして元の映像の内容がまったく分からなくするような形態をとることもできる。全体処理のとり得る形態は膨大で、ほぼ無限とも言える。このように様々な形態をとり得る全体処理は、適用されたアニメ作品に対し、その形態に応じて様々な影響を与える。その影響は良いものばかりとは限らない。画面全体を真っ黒にする処理や強いブラーをかける処理は元の映像の内容が全く分からなくさせるという影響を与え、これは明らかに悪い影響だ。膨大な形態をとり得る全体処理によって生じるアニメ作品への影響も、やはり膨大である。その大半が悪い影響だろう。全体処理のとり得る膨大な形態の中で、アニメ作品に最も良い影響を与える唯一の形態が最適処理である。
では最適処理の形態を知るにはどうすれば良いのだろうか? 最適処理の形態を検討する上で2つの問題がある。まず、全体処理の形態も、それが作品に与える影響も膨大であり、それらに個別的に注目して作品にとっての望ましさを判断するのは現実的ではないという問題である。また、最適処理についての「アニメ作品に最も良い影響を与えられる唯一の形態」という記述は、多様な全体処理から最適処理を特定する基準としては不十分であるという問題もある。「最も良い影響」の意味が曖昧であり、具体的な形態を持つ定形処理の中でどれが「最も良い影響」を与えるかは判断しづらいためだ。これらの問題は、全体処理がアニメ作品に与えられる影響の全体像を概観することで大幅に解消される。アニメ作品は、線、塗り、作画、背景、映像、効果音、声演技、言語的情報としてのセリフなど、様々な着眼点から様々な要素に分解できる。それらの中には、音やセリフなどのように、全体処理が影響を与えられないものも多くある。アニメ作品の構成要素は、それぞれ固有の役割を持ってアニメ作品の中に存在している。その役割はカットによって様々で、各要素の一般的な役割を記述することは難しい。しかしそれでも、作画は物語世界の主要な表現対象の形状と動きを表現する役割があり、セリフはキャラクターの発した声を表現する役割があるというレベルでの記述は可能だ。定形処理はこのようなアニメの構成要素の一部に影響を与えることができ、その要素がアニメ作品の価値構成上で担っている役割の達成度にも影響できる。そして、その役割の達成度の増大は、アニメ作品への「最も良い影響」の具体的な言い換えとして妥当である。 まとめると、全体処理で影響可能なアニメ作品の要素のうち、全体処理で影響可能な要素と不可能な要素を知ることができれば、影響可能な要素の役割達成度合いを最大化する形態として最適処理の基準を作ることができ、その基準は「アニメ作品に最も良い影響を与えられる形態」という基準よりも明確である。
実験
全体処理で可能な影響の全体像を概観するには、アニメ作品に極端な撮影処理を付加し、それによって作品に生じる影響を観察するという実験が有効である。実験で付加する処理はどのようなものが良いだろうか? 映像は画像の経時的な変化であり、その変化の一瞬一瞬の単位画像(フレーム)の集積から構成されている。撮影処理とは、結局のところこれらの多数の画像への処理である。画像は形と色の要素に分けられ、最適処理はこのうち主に色に対する処理であると考えられる。撮影処理ではレンズの歪曲収差を再現したりパーティクルで雨や雪を降らせるなどして映像の中の形の要素に影響することもできるが、そのような処理の大部分はカットの特殊性に合わせた処理であり、全体処理で行うべきではないだろう。では実験で付加する、色に対する極端な操作としてどのようなものが良いだろうか? 色は色相・明度・彩度の3つの要素に分けられる。これらの各要素それぞれを反転する処理を3つと、明度を各要素に置き換えた上で明度以外の要素を無くした、各要素のグレイスケール(モノクロ化)画像とする処理を3つの計6つの処理を用意するのが良いだろう。この他の処理も含めて、適当と思われる処理を図1から図8に、また処理適用前の画像を図9に示す。
これらの処理を適用した動画を用意し、作品の受容に与える影響を観察した。ただし被験者は自分一人のみなので実験としての厳密さは限定的である。実権の結果、処理によって大きな違和感が生じているものの、映像で表現される物語の理解に大きな影響はないことが分かった。視聴中、大きな違和感があり、言わば「気持ち悪い映像」であったものの、映像中の物体が何であるかの判別や、その物体の形や動きの認識には大きな影響は無かった。そしてそれらの情報を総合して得られる物語の理解にも大きな影響はなかった。物語理解上一番の悪影響は明度反転による場の明るさや昼夜の判断を誤りやすい点だが、昼夜についてはキャラクターの行動やセリフから判断でき、決定的な悪影響ではなかった。この結果より、映像による物語表現において色の情報は重要性が低いと言うことができる。物の判別や物語の理解に必要な主要な情報は形の情報であり、色の情報は副次的な役割を果たすのだろう。色の操作により大きな違和感が生じているが、これが物語理解に影響することはない。なぜならば、色の操作による違和感はまず映像で表現されている物体を形の情報をもとに判別できていなければ生じないためだ。違和感が生じるためにはその物体の本来の色を想像しなければならず、それには物体が何であるかの判別が必要である。物体の判別が行われなければ、映像は何らかの具体的なものを表現したものではなく抽象画のように見られ、実験で生じたような違和感は生じないはずだ。もしそれによって何らかの違和感が生じたとしても、それは実験で生じた違和感とは別種のもののはずである。
この実験結果をもとに、受容者の映像からの物語理解の過程を次のように説明できる。物語は、どのような姿のキャラクターがどのような表情でどのような動作をしているか、また、そのキャラクターはどのような場所にいるかといった物語世界に関する具体情報の集合体である。物語理解のためには、まずこのような具体情報を得た後で、その情報を総合しなければならない。そして、具体情報を得るには、映像から得られた視覚情報を基に、そこで表現されている物体について受容者が解釈を行わなければならない。映像には何かが客観的に表現されているわけではなく、映像は客観的には単なる平面上の色のパターンの変化でしかないためだ。受容者が映像を解釈するとき、まず形と色の要素に分けられる。そして、形を主要な手がかりとして形の判断や物体の大まかな判別を行い、色を手がかりとして物体の細部の情報を得る。
検討2
前章の実験は、「全体処理で影響可能な要素と不可能な要素を知り、影響可能な要素が作品の中で担っている役割の達成度を最大化する形態」という最適処理の選定基準を具体化することを目的として行った。そして、実験の結果、映像全体の色の操作によっては物語表現に対して大きな影響を与えられないことが分かった。この実験結果と、全体処理は色の操作を行うものであることと、アニメの価値の大部分は物語表現によって生じることを前提とすると、全体処理によっては映像作品の価値に大きな影響を与えられないという結論が得られる。この結論にもとづいて最適処理の具体的形態を検討すべきだろうか? それは、容認できない。この結論を受け入れることは、多くのアニメ作品に適合する全体処理の開発の意義を大きく減じるものであるためだ。全体処理は、物語表現上の重要性の高い、物体の形の表現に寄与することで、作品の価値増大により寄与できるはずである。
ではそれはどのようにすれば可能なのだろうか? 映像中の物体の形の判断は主に輪郭をもとになされる。輪郭は、視覚中の類似性・連続性を持った面同士の接点にある仮想的な線として認識される。アニメの作画線の大部分は、この仮想的な線をデフォルメして表現したものといえる。また、輪郭線の認識には輪郭線を挟んで接している面の色の間の差異(コントラスト)が重要である。接している2つの面の色の差異により輪郭線が生まれるため、色の差異を増幅することで輪郭線を明瞭にし、物体の判別や形の認識を容易にでき、物語表現に寄与できる。これは、全体処理によるコントラスト増幅で可能である。このコントラスト増幅は画像処理のレベル補正やトーンカーブによって行うことも一応可能だが、その場合、次のような問題が生じる。画素値のとりえる上限値と下限値は決まっており、画素値の中間部を中心にしてコントラスト増幅を行うと映像中の画素値の分布が上限値と下限値付近に集まる。このため、中間部のコントラスト増幅により上限値付近と下限値付近のコントラストは逆に低下し、また色の見た目の彩度が低下するという問題が生じる。これらの問題は、各画素を個別に処理することで生じたものである。輪郭は接している2面の相対的な画素値の差により生じるため、輪郭明瞭化処理では、ある画素の処理結果を求める際に隣接する他面の画素値を影響させなければならない。しかし、このようなことはレベル補正やトーンカーブでは行えない。輪郭明瞭化処理では、隣接する2面の相対的な画素値差に注目し、それを増幅する処理が理想的である。そのような処理として、アンシャープマスクがある。アンシャープマスクは本来ぼやけた画像を本来の明瞭さに戻すために使われる処理である。アンシャープマスクは多くの場合輪郭部のぼやけているごく狭い範囲(数ピクセル)のコントラストを増幅するが、この処理を輪郭部の周辺のある程度広い範囲に対して、コントラストを幾分過剰に増幅する形で付加することで、本稿で目指しているような輪郭の明瞭化が可能である。ただし、アンシャープマスクをそのまま適用すると違和感が出る公算が高い。よって、実際に作品に適用する全体処理は、アンシャープマスクをそのまま適用するより、アンシャープマスクをもとにした新しい全体処理を制作したほうが良いだろう。
実装
前章までの検討結果を反映した輪郭明瞭化処理を作成し、自主制作アニメ「こうしす!」第3話(以下、今作)に適用した。作成した処理は、今作の処理中の、セルの塗り部分にのみ適用している。これは、今作の背景の線画と塗り、及びセルの線には既に別の処理を適用予定であるためである。全体処理を適用していない元画像を図10に、適用した画像を図11に、図11のセルの塗りの処理を3倍に強めた画像を図12に示す。
今作に適用した全体処理は意図的に弱いものにしている。これは、全体処理により生じた輪郭付近のグラデーションによる映像認識上の負荷増大を防ぐためのものである。もし受容者に輪郭付近のグラデーションについて、例えば影やハイライトのように「塗りの中で何らかのものが表現された1要素」として認識されると、受容者に意識される情報が増し、それにより映像認識上の負荷が増し、「ごちゃごちゃした餌」という印象を生む公算がある。また、グラデーションを画の1要素として認識されると、表情や輪郭などのより重要な情報への注目度が下がる公算もある。よって、今作では全体処理を弱くした。このことはまた、キャラクターの目などの映像の細部が見えにくくなるのを防ぐためでもある。例えば図12ではキャラクターの目の細部が見えにくくなっているのが分かる。
今作の全体処理についてサークル参加者に意見を聞いたところ、得に違和感はないとの評価を得た。また、今作公開後、受容者のコメントや感想を見ても、得に撮影処理に言及したものは見当たらなかった。このことから、今作の全体処理について、作品の価値増加への寄与度は不明であるものの、少なくとも言及されるほどの悪影響は無いものと評価できる。