[&] SIGGRAPH2016 - The Making of PEARL

#SIGGRAPH2016j The Making of PEARL
A Google Spotlight story

https://www.youtube.com/channel/UCJadKNYMahhqtdAhDZSy4cg

PEARL という360度VRフォーマットの短編
Google Spotstory では2年かけて7種類の短編を公開
みんなが持っているスマートフォンで、センサーついているし、液晶は素晴らしいし。
TV番組というよりも、映画のつもりで作っている。
ストーリーこそが大切で、一流のメンバーで、センサーの動きを活かした作品作り

Doug Sweetland
Patrick Osborne
Jan Pinkava
Karen Dufilho
Justin Lin
Jon Klassen
Glen Keane
Shannon Tindle
Mark Oftedal

著名映画監督 Justin Lin の HELP など。
カードボードで楽しむことができる。
360度とVRのストーリーテリング
視聴者とインタラクションをとる
Stories have structure
　Attention!
視聴者は何も無い時、映像を見回す。そして注目すべきものを見つけた、それを注視する。
動くもの、キャラクターや動く物体、飛ぶ物体など。
カメラのフォローする動きで、観るべき方向を導く場合も。

10の違った物語が進むストーリー。どこを観ても、話しが進んでいるという状態。
映画で使われるテクニックを各所で利用。
画面の全ての部分でのクオリティが求められる
大変だけれども2億個のデバイスで再生してもらえる。

SPECIAL DELIVERTY
youtube.com/gss
https://www.youtube.com/channel/UCJadKNYMahhqtdAhDZSy4cg

-----------------------------------------------------------
Patrick Osborne / Director
Youtube に PEARL という作品を5月に公開。
PaperMan でアカデミー短編書を受賞。
今日は自分のアニメーションの先生が観に来ていて、緊張しています。

4:30 のストーリボードを作成。
15人のキャラクターを作成。
アニメーターは、昼の映像のディテールと、夜の映像のディテールをコントロール。
フレームの中に何が映るのか、何がフレームの中に入るのかを考えながら作った。
車のスケッチも複数。
キャラクターも、ファッション、副、顔の表情、手、髪の雰囲気などもスケッチして定義。

音楽担当と、音楽の変化とともに、映像の変化、常居の変化も検討。
LIFE is a vacation
Audience understands life situation
などなど。
車の中での映像の動き、カメラの動き、何が映るのかを検討。

-----------------------------------------------------------
Cassidy Curtis / Technical Art Lead

Pearl はとてもユニークな作品。
インハウスのプロジェクトで、ツールを作ったりするとこども一緒に進めた。
コンセプトアートを幾つか用意し。
6週間かけて、レンダリングのプロトタイプを作成。
いくつかのスタイルを気鋭変えられるものを用意。

finding the sytle
車の中には、ストーリに関わるいろいろな物が積まれている。
ストーリーを考えて、車の中に積まれるべき物を考える。

ローポリゴンで、形も単純なものに。
キャラクターも、年代でファッションの違いを検討。

カラースクリオプとは、ストーリーの進行、雰囲気を伝えるのに対へ重要。

color palettes は、カラースクリプトから抽出して色を展開。
UV Texture Editor で、テクスチャーベイク用に利用できる色を限定。
64色のカラーテーブルを利用。

edge breakup
ペイントしたような、雰囲気の角を表現したシェーダーを用意
マルチバッファレンダリングのテクニックを活用。
テクスチャーをアニメーションごとに、紙っぽくチラチラを動くように。

shadow shape
綺麗でリアルな影を出すように、トゥーンシェーディングを駆使。
手書きのような影の表現に。
トンネルの中のライティングがキャラクタの影に反映

gradients glows and grain
レンズフレア、太陽光、フィルムグレインも表現

special effects
花火の表現をローポリンゴンでするのが大変だった。
雨の表現。ワイパーの表現もローポリゴンで。
コンセプトボードそのまま、アートブックのような表現ができたと思う。
パイプラインを上手く作ったのが成功の要因。

one story many mediums
一つのストーリーを、VRデバイス、スマートフォン、Youtube, Yutube360/VR で観ることができる。

コンテンツ作成の順番は....
モバイルフォンバージョンから始め、
カードボードの3Dバージョンに進化し、
VRデバイス用に調整、
その後、YouTube 360のデスクトップ用に調整
さらにその後、2DのYouTube動画としても提供し、観るきっかけを広げる。
それからそれぞれのデバイスで、相互に調整していく。
YouTube 2D版を見た人が、スマートフォン版や、VR版を観るきっかけになる。

映像編集担当は、2Dアニメーションの編集の流れと同じようにして360度版を編集。
スマートフォン360用を、YouTube 2D用に編集。プレビズを作るみたいなもの。
2D版はストーリボードに即したカットに。

VRでは38ショットのものを、2D Youtube では71ショットに。カメラアングルを増やしている。
実際にスマートフォンを観て、カットを決めながら編集。
これはジェームズキャメロンがアバターで使ったテクニックです（笑）

VRスマートフォンコンテンツから、VR専用デバイス用にするためには。
HMDを付けないと確認できないのが、一番大変。
カメラの位置を考え、近すぎないよう、低すぎないよう、スマホの時よりも没入管が強いので。

ラフバージョンから、完成版までなんども調整を繰り返せるワークフローが大事。

-----------------------------------------------------------
Scot Stafford
サウンドアーティスト

HELPではとこから怪物が来るのか、ノイズや音が大変重要な要素であった。
視聴者が周りを見渡す時に、音像によって、出来事を理解してもらえるように。
誰がどこで話しているのか、会話しているのかを、音像で理解してもらえるように。

The Song
音楽は大抵ポストプロダクションの要素だが、
音楽が最初にある場合は、音楽にあわせた動きのあるビデオストーリーボードを作成

Recording , Sound design and Mix
映画の音楽mixのようなスタイルで。
登場するキャラクターの口の場所から、セリフが聞こえるように3Dの音像、
車の中での反響の量、車の中で反射する音量を調整。
Ambisonics という6方向からの音のフィールドを考慮。
楽器の録音も360度マイクを設置されたドームの中で収録！
実際の車の中にステレオマイクを用いて、車の中で楽器を弾いて収録。
ステレオマイクをカメラの場所に置いて収録。
ドアを開けた状態で車の外で演奏したもの、
いろんな状況での演奏を収録。

DIegetic - onscreen sound souces
Non diegetic - musicl underscore

3Demitters
Abisonic acoustics and ambiences
Stereo Music