個案研究 -《找出奧茲家》

unit9 com
unit9 com

簡介

「Find Your Way to Oz」是迪士尼在網路上推出的全新 Google Chrome Experiment。你可以在堪薩斯州的馬戲團中展開互動之旅,在被巨大風暴捲走後,來到奧茲國。

我們的目標是結合電影的豐富內容與瀏覽器的技術功能,打造有趣、身歷其境的體驗,讓使用者能與電影產生強烈連結。

這項工作太過龐大,無法在這篇文章中完整呈現,因此我們深入探討並挑選出一些我們認為有趣的技術故事章節。過程中,我們也挑選了一些難度漸增的重點教學課程。

許多人努力不懈,才讓這項體驗成真,在此無法一一列出。請造訪網站,查看選單下方的製作團隊頁面,瞭解完整故事。

測試工具大解密

電腦版「Find Your Way to Oz」是一個豐富的沉浸式世界。我們使用 3D 和多層傳統電影效果,結合出近乎真實的場景。最突出的技術是 WebGL 搭配 Three.js、自訂著色器,以及使用 CSS3 功能的 DOM 動畫元素。此外,getUserMedia API (WebRTC) 可提供互動式體驗,讓使用者直接從網路攝影機和 WebAudio 新增圖片,享受 3D 音效。

不過,這類技術體驗的魅力在於如何整合。這也是主要挑戰之一:如何將視覺效果和互動元素融合在同一個場景中,打造一致的整體效果?這種視覺複雜性很難管理,因此很難判斷我們在任何時候處於開發的哪個階段。

為解決視覺效果和最佳化相互關聯的問題,我們大量使用控制面板,擷取當時正在審查的所有相關設定。使用者可以在瀏覽器中即時調整場景,包括亮度、景深、gamma 等等。任何人都可以嘗試調整體驗中的重要參數值,並參與探索最佳效果。

在分享祕密之前,我們想先提醒你,這可能會導致當機,就像你在汽車引擎內部亂動一樣。請確認您沒有任何重要事項,然後前往網站的主要網址,並在網址後方附加 ?debug=on。等待網站載入,進入後按下 Ctrl-I 鍵,右側就會顯示下拉式選單。如果取消勾選「Exit camera path」選項,則可使用 A、W、S、D 鍵和滑鼠在空間中自由移動。

攝影機路徑。

我們不會在這裡逐一介紹所有設定,但建議你多方嘗試:按鍵會根據不同場景顯示不同設定。在最後的暴風雨序列中,還有一個額外的按鍵:Ctrl-A,可用來切換動畫播放和飛行。在這個場景中,如果按下 Esc (退出滑鼠鎖定功能),然後再次按下 Ctrl-I,即可存取暴風場景專屬的設定。四處看看,拍下一些像下面這樣的美麗明信片風景。

暴風雨場景

為了實現這個目標,並確保它能靈活滿足我們的需求,我們使用了一個名為 dat.gui 的程式庫 (請參閱這裡,瞭解如何使用它)。這讓我們能快速變更網站訪客看到的設定。

有點像遮罩繪畫

在許多經典迪士尼電影和動畫中,場景是由不同圖層組合而成。其中包含真人實景、賽璐珞動畫,甚至實體場景,最上層則是玻璃彩繪,這種技術稱為遮罩繪景。

在許多方面,我們建立的體驗結構都很類似,即使有些「層」不只是靜態視覺效果。事實上,這類著色器會根據更複雜的運算,影響物體的外觀。不過,至少在宏觀層面上,我們處理的是檢視畫面,一個疊在另一個上面。頂端是 UI 層,下方是 3D 場景,由不同的場景元件組成。

頂層介面是使用 DOM 和 CSS 3 建立,因此可以透過多種方式編輯互動,不受 3D 體驗影響,兩者之間會根據所選事件清單進行通訊。這項通訊會使用 Backbone Router + onHashChange HTML5 事件,控制要以動畫顯示/隱藏的區域。(專案來源:/develop/coffee/router/Router.coffee)。

教學課程:精靈圖和 Retina 支援

我們在介面中採用一項有趣的最佳化技術,就是將多個介面疊加圖片合併成單一 PNG,以減少伺服器要求。在這個專案中,介面由 70 多張圖片組成 (不含 3D 紋理),全部預先載入,以減少網站延遲。您可以在這裡查看即時精靈圖:

http://findyourwaytooz.com/img/home/interface_1x.png (一般螢幕) http://findyourwaytooz.com/img/home/interface_2x.png (Retina 螢幕)

以下提供一些提示,說明我們如何運用精靈圖,以及如何將精靈圖用於 Retina 裝置,並盡可能讓介面清晰整潔。

建立精靈表

我們使用 TexturePacker 建立 SpriteSheet,這款工具能以任何所需格式輸出。在本例中,我們匯出為 EaselJS,這個格式非常乾淨,也可用於建立動畫精靈。

使用產生的精靈圖

建立精靈圖後,您應該會看到類似下方的 JSON 檔案:

{
   "images": ["interface_2x.png"],
   "frames": [
       [2, 1837, 88, 130],
       [2, 2, 1472, 112],
       [1008, 774, 70, 68],
       [562, 1960, 86, 86],
       [473, 1960, 86, 86]
   ],

   "animations": {
       "allow_web":[0],
       "bottomheader":[1],
       "button_close":[2],
       "button_facebook":[3],
       "button_google":[4]
   },
}

其中:

  • image 是指精靈圖的網址
  • frames 是每個 UI 元素的座標 [x, y, width, height]
  • 動畫名稱

請注意,我們使用高密度圖片建立精靈圖,然後建立一般版本,並將其大小調整為一半。

重點回顧

一切就緒後,只要使用 JavaScript 程式碼片段即可。

var SSAsset = function (asset, div) {
  var css, x, y, w, h;

  // Divide the coordinates by 2 as retina devices have 2x density
  x = Math.round(asset.x / 2);
  y = Math.round(asset.y / 2);
  w = Math.round(asset.width / 2);
  h = Math.round(asset.height / 2);

  // Create an Object to store CSS attributes
  css = {
    width                : w,
    height               : h,
    'background-image'   : "url(" + asset.image_1x_url + ")",
    'background-size'    : "" + asset.fullSize[0] + "px " + asset.fullSize[1] + "px",
    'background-position': "-" + x + "px -" + y + "px"
  };

  // If retina devices

  if (window.devicePixelRatio === 2) {

    /*
    set -webkit-image-set
    for 1x and 2x
    All the calculations of X, Y, WIDTH and HEIGHT is taken care by the browser
    */

    css['background-image'] = "-webkit-image-set(url(" + asset.image_1x_url + ") 1x,";
    css['background-image'] += "url(" + asset.image_2x_url + ") 2x)";

  }

  // Set the CSS to the DIV
  div.css(css);
};

使用方式如下:

logo = new SSAsset(
{
  fullSize     : [1024, 1024],               // image 1x dimensions Array [x,y]
  x            : 1790,                       // asset x coordinate on SpriteSheet         
  y            : 603,                        // asset y coordinate on SpriteSheet
  width        : 122,                        // asset width
  height       : 150,                        // asset height
  image_1x_url : 'img/spritesheet_1x.png',   // background image 1x URL
  image_2x_url : 'img/spritesheet_2x.png'    // background image 2x URL
},$('#logo'));

如要進一步瞭解可變像素密度,請參閱 Boris Smus 的這篇文章。

3D 內容管道

環境體驗是在 WebGL 圖層上設定。思考 3D 場景時,最棘手的問題之一是如何確保建立的內容,能從建模、動畫和效果方面發揮最大表現潛力。在許多方面,這個問題的核心是內容管道:為 3D 場景建立內容時,應遵循的約定流程。

我們想打造一個令人驚嘆的世界,因此需要一套可靠的流程,讓 3D 藝術家能創造出這個世界。我們必須盡可能讓他們在 3D 建模和動畫軟體中自由發揮,並透過程式碼在螢幕上呈現。

我們過去每次建立 3D 網站時,都會發現可用工具的限制,因此我們一直在努力解決這類問題。因此,我們開發了名為 3D Librarian 的工具,這是一項內部研究。而且幾乎可以應用在實際工作上。

這項工具歷史悠久,最初是為 Flash 設計,可讓您將大型 Maya 場景匯入為單一壓縮檔案,並針對解壓縮執行階段進行最佳化。之所以能達到最佳效果,是因為它能有效將場景封裝在基本上相同的資料結構中,而這個資料結構會在算繪和動畫期間進行操作。載入檔案時,需要剖析的內容很少。在 Flash 中解壓縮的速度非常快,因為檔案是 AMF 格式,Flash 可以原生解壓縮。在 WebGL 中使用相同格式,CPU 需要執行更多工作。事實上,我們必須重新建立資料解壓縮 JavaScript 程式碼層,基本上就是解壓縮這些檔案,並重新建立 WebGL 運作所需的資料結構。解壓縮整個 3D 場景會稍微耗用 CPU:在中高階機器上解壓縮 Find Your Way To Oz 的場景 1 需要約 2 秒。因此,這項作業會在「場景設定」時 (場景實際啟動前) 使用 Web Workers 技術完成,以免使用者體驗中斷。

這項實用工具可匯入大部分的 3D 場景:模型、紋理、骨骼動畫。您建立單一程式庫檔案,然後由 3D 引擎載入。您只要將場景所需的所有模型放入這個程式庫,就能在場景中生成這些模型。

不過,我們當時面臨的問題是,我們必須處理 WebGL:這個新興技術。這是一項相當艱鉅的任務:為瀏覽器型 3D 體驗設定標準。因此,我們建立了一個臨時的 Javascript 層,用於接收 3D Librarian 壓縮的 3D 場景檔案,並將其正確轉換為 WebGL 可理解的格式。

教學課程:風力發電

「Find Your Way To Oz」中反覆出現的主題是風。故事線的其中一條主軸是風聲漸強。

嘉年華的第一個場景相對平靜。隨著場景變換,使用者會感受到風力逐漸增強,最後在暴風雨場景達到高潮。

因此,提供身歷其境的風聲效果非常重要。

為了製作這個效果,我們在 3 個嘉年華場景中加入柔軟的物體,例如帳篷、照相亭表面的旗幟和氣球本身,這些物體應該會受到風的影響。

軟布。

現今的電腦遊戲通常以核心物理引擎為基礎建構。因此,當 3D 世界需要模擬軟體時,系統會執行完整的物理模擬,創造出逼真的軟體行為。

在 WebGL / JavaScript 中,我們 (目前) 還無法執行完整的物理模擬。因此,在《奧茲大帝》中,我們必須找到一種方法,在不實際模擬風的情況下,創造出風的效果。

我們在 3D 模型中,為每個物件嵌入「風敏感度」資訊。3D 模型的每個頂點都有「風屬性」,指定該頂點受風影響的程度。因此,這會指定 3D 物件的風力敏感度。接著,我們需要創造風。

我們生成含有柏林雜訊的圖片,這張圖片旨在涵蓋特定「風區」。因此,不妨想像一張雲朵圖片,就像雜訊一樣,覆蓋在 3D 場景的特定矩形區域上。這張圖片的每個像素 (灰階值) 都代表 3D 區域「周圍」某個時刻的風力強度。

為了產生風的效果,圖片會隨著時間以固定速度朝特定方向 (風向) 移動。為了確保「風吹區域」不會影響場景中的所有內容,我們將風的圖像包覆在邊緣,限制在效果區域內。

簡易 3D 風教學課程

現在,我們要在 Three.js 的簡單 3D 場景中建立風的效果。

我們將在簡單的「程序化草地」中建立風。

首先,我們來建立場景。我們要建立簡單、有紋理的平坦地形。接著,每根草都會以倒置的 3D 圓錐體表示。

草地地形
草地地形

以下說明如何使用 CoffeeScript 在 Three.js 中建立這個簡單場景。

首先,我們要設定 Three.js,並將其與相機、滑鼠控制器和一些光源等連接:

constructor: ->

   @clock =  new THREE.Clock()

   @container = document.createElement( 'div' );
   document.body.appendChild( @container );

   @renderer = new THREE.WebGLRenderer();
   @renderer.setSize( window.innerWidth, window.innerHeight );
   @renderer.setClearColorHex( 0x808080, 1 )
   @container.appendChild(@renderer.domElement);

   @camera = new THREE.PerspectiveCamera( 50, window.innerWidth / window.innerHeight, 1, 5000 );
   @camera.position.x = 5;
   @camera.position.y = 10;
   @camera.position.z = 40;

   @controls = new THREE.OrbitControls( @camera, @renderer.domElement );
   @controls.enabled = true

   @scene = new THREE.Scene();
   @scene.add( new THREE.AmbientLight 0xFFFFFF )

   directional = new THREE.DirectionalLight 0xFFFFFF
   directional.position.set( 10,10,10)
   @scene.add( directional )

   # Demo data
   @grassTex = THREE.ImageUtils.loadTexture("textures/grass.png");
   @initGrass()
   @initTerrain()

   # Stats
   @stats = new Stats();
   @stats.domElement.style.position = 'absolute';
   @stats.domElement.style.top = '0px';
   @container.appendChild( @stats.domElement );
   window.addEventListener( 'resize', @onWindowResize, false );
   @animate()

initGrass 和 initTerrain 函式呼叫會分別在場景中填入草地和地形:

initGrass:->
   mat = new THREE.MeshPhongMaterial( { map: @grassTex } )
   NUM = 15
   for i in [0..NUM] by 1
       for j in [0..NUM] by 1
           x = ((i/NUM) - 0.5) * 50 + THREE.Math.randFloat(-1,1)
           y = ((j/NUM) - 0.5) * 50 + THREE.Math.randFloat(-1,1)
           @scene.add( @instanceGrass( x, 2.5, y, 5.0, mat ) )

instanceGrass:(x,y,z,height,mat)->
   geometry = new THREE.CylinderGeometry( 0.9, 0.0, height, 3, 5 )
   mesh = new THREE.Mesh( geometry, mat )
   mesh.position.set( x, y, z )
   return mesh

我們在這裡建立 15x15 位元的草地網格。我們在每個草的位置加入一些隨機性,這樣草就不會像士兵一樣排成一列,看起來會很奇怪。

這個地形只是一個水平平面,位於草地底部 (y = 2.5)。

initTerrain:->
  @plane = new THREE.Mesh( new THREE.PlaneGeometry(60, 60, 2, 2), new THREE.MeshPhongMaterial({ map: @grassTex }))
  @plane.rotation.x = -Math.PI/2
  @scene.add( @plane )

到目前為止,我們只建立了一個 Three.js 場景,並加入一些草地 (由程序生成的反向圓錐體組成) 和簡單的地形。

目前為止,一切都很簡單。

現在可以開始加入風聲了。首先,我們想將風力敏感度資訊嵌入草地 3D 模型。

我們會將這項資訊嵌入為自訂屬性,用於草地 3D 模型的每個頂點。我們將使用以下規則:草模型的底部 (圓錐頂端) 附著在地面上,因此敏感度為零。草模型的頂部 (圓錐體的底部) 離地面最遠,因此對風的敏感度最高。

以下說明如何重新編寫 instanceGrass 函式,將風力敏感度新增為草地 3D 模型的自訂屬性。

instanceGrass:(x,y,z,height)->

  geometry = new THREE.CylinderGeometry( 0.9, 0.0, height, 3, 5 )

  for i in [0..geometry.vertices.length-1] by 1
      v = geometry.vertices[i]
      r = (v.y / height) + 0.5
      @windMaterial.attributes.windFactor.value[i] = r * r * r

  # Create mesh
  mesh = new THREE.Mesh( geometry, @windMaterial )
  mesh.position.set( x, y, z )
  return mesh

我們現在使用自訂材質 windMaterial,而非先前使用的 MeshPhongMaterial。WindMaterial 會包裝 WindMeshShader,我們稍後會看到。

因此,instanceGrass 中的程式碼會循環草地模型的所有頂點,並為每個頂點新增名為 windFactor 的自訂頂點屬性。這個 windFactor 設為 0,代表草模型的底部 (應與地形接觸),而草模型的頂部則設為 1。

我們還需要加入實際的風,如先前所述,我們會使用 Perlin 雜訊。我們將透過程序生成柏林雜訊紋理。

為了清楚起見,我們會將這個紋理指派給地形本身,取代先前的綠色紋理。這樣一來,就能更輕鬆地掌握風力狀況。

因此,這個 Perlin 雜訊紋理會在空間上覆蓋地形的延伸部分,而紋理的每個像素都會指定該像素所在地形區域的風強度。地形矩形將成為我們的「風區」。

Perlin 雜訊是透過名為 NoiseShader 的著色器程序產生。這個著色器使用 3D 單純形雜訊演算法,來源為:https://github.com/ashima/webgl-noise。WebGL 版本是從 MrDoob 的其中一個 Three.js 範例逐字複製而來,網址為:http://mrdoob.github.com/three.js/examples/webgl_terrain_dynamic.html。

NoiseShader 採用時間、縮放和偏移參數集做為統一變數,並輸出 Perlin 雜訊的 2D 分布。

class NoiseShader

  uniforms:     
    "fTime"  : { type: "f", value: 1 }
    "vScale"  : { type: "v2", value: new THREE.Vector2(1,1) }
    "vOffset"  : { type: "v2", value: new THREE.Vector2(1,1) }

...

我們將使用這個著色器,將 Perlin 雜訊算繪至紋理。這項操作會在 initNoiseShader 函式中完成。

initNoiseShader:->
  @noiseMap  = new THREE.WebGLRenderTarget( 256, 256, { minFilter: THREE.LinearMipmapLinearFilter, magFilter: THREE.LinearFilter, format: THREE.RGBFormat } );
  @noiseShader = new NoiseShader()
  @noiseShader.uniforms.vScale.value.set(0.3,0.3)
  @noiseScene = new THREE.Scene()
  @noiseCameraOrtho = new THREE.OrthographicCamera( window.innerWidth / - 2, window.innerWidth / 2,  window.innerHeight / 2, window.innerHeight / - 2, -10000, 10000 );
  @noiseCameraOrtho.position.z = 100
  @noiseScene.add( @noiseCameraOrtho )

  @noiseMaterial = new THREE.ShaderMaterial
      fragmentShader: @noiseShader.fragmentShader
      vertexShader: @noiseShader.vertexShader
      uniforms: @noiseShader.uniforms
      lights:false

  @noiseQuadTarget = new THREE.Mesh( new THREE.PlaneGeometry(window.innerWidth,window.innerHeight,100,100), @noiseMaterial )
  @noiseQuadTarget.position.z = -500
  @noiseScene.add( @noiseQuadTarget )

上述程式碼會將 noiseMap 設為 Three.js 算繪目標、套用 NoiseShader,然後使用正投影相機算繪,避免透視失真。

如前所述,我們現在也會將這個紋理做為地形的主要算繪紋理。這並非風效本身運作的必要條件。但這項資訊仍有助於我們更清楚瞭解風力發電的情況。

以下是重新設計的 initTerrain 函式,使用 noiseMap 做為紋理:

initTerrain:->
  @plane = new THREE.Mesh( new THREE.PlaneGeometry(60, 60, 2, 2), new THREE.MeshPhongMaterial( { map: @noiseMap, lights: false } ) )
  @plane.rotation.x = -Math.PI/2
  @scene.add( @plane )

風紋理設定完成後,接著來看看 WindMeshShader,這個著色器會根據風力使草模型變形。

為了建立這個著色器,我們從標準 Three.js MeshPhongMaterial 著色器著手,並加以修改。這是一種快速簡便的方法,可讓您開始使用有效的著色器,而不必從頭開始。

我們不會在這裡複製整個著色器程式碼 (歡迎在原始碼檔案中查看),因為大部分程式碼都是 MeshPhongMaterial 著色器的副本。不過,我們來看看頂點著色器中與風相關的修改部分。

vec4 wpos = modelMatrix * vec4( position, 1.0 );
vec4 wpos = modelMatrix * vec4( position, 1.0 );

wpos.z = -wpos.z;
vec2 totPos = wpos.xz - windMin;
vec2 windUV = totPos / windSize;
vWindForce = texture2D(tWindForce,windUV).x;

float windMod = ((1.0 - vWindForce)* windFactor ) * windScale;
vec4 pos = vec4(position , 1.0);
pos.x += windMod * windDirection.x;
pos.y += windMod * windDirection.y;
pos.z += windMod * windDirection.z;

mvPosition = modelViewMatrix *  pos;

因此,這個著色器會先根據頂點的 2D、xz (水平) 位置,計算 windUV 紋理查詢座標。這個 UV 座標用於從 Perlin 雜訊風力紋理中查詢風力 vWindForce。

這個 vWindForce 值會與頂點專屬的 windFactor (上述自訂屬性) 結合,計算頂點需要多少變形。我們也提供全域 windScale 參數,用於控制風的整體強度,以及 windDirection 向量,用於指定風變形的方向。

這樣一來,草就會根據風力變形。不過,我們還沒完成。目前這個變形是靜態的,無法呈現風吹的效果。

如前所述,我們需要隨著時間推移,在風力區域滑動雜訊紋理,讓玻璃產生波動。

做法是隨著時間推移,移動傳遞至 NoiseShader 的 vOffset 統一變數。這是 vec2 參數,可讓我們指定雜訊偏移,沿著特定方向 (風向)。

我們會在每個影格呼叫的 render 函式中執行這項操作:

render: =>
  delta = @clock.getDelta()

  if @windDirection
      @noiseShader.uniforms[ "fTime" ].value += delta * @noiseSpeed
      @noiseShader.uniforms[ "vOffset" ].value.x -= (delta * @noiseOffsetSpeed) * @windDirection.x
      @noiseShader.uniforms[ "vOffset" ].value.y += (delta * @noiseOffsetSpeed) * @windDirection.z
...

這樣就可以了!我們剛剛建立了一個場景,其中有受風影響的「程序化草地」。

加入塵埃

現在來為場景增添一點趣味。我們來加入一些飛揚的塵埃,讓場景更有趣。

新增灰塵
加入灰塵

畢竟灰塵應該會受到風的影響,因此在風的場景中,灰塵四處飛揚是完全合理的。

灰塵是在 initDust 函式中設定為粒子系統。

initDust:->
  for i in [0...5] by 1
      shader = new WindParticleShader()
      params = {}
      params.fragmentShader = shader.fragmentShader
      params.vertexShader   = shader.vertexShader
      params.uniforms       = shader.uniforms
      params.attributes     = { speed: { type: 'f', value: [] } }

      mat  = new THREE.ShaderMaterial(params)
      mat.map = shader.uniforms["map"].value = THREE.ImageUtils.loadCompressedTexture("textures/dust#{i}.dds")
      mat.size = shader.uniforms["size"].value = Math.random()
      mat.scale = shader.uniforms["scale"].value = 300.0
      mat.transparent = true
      mat.sizeAttenuation = true
      mat.blending = THREE.AdditiveBlending
      shader.uniforms["tWindForce"].value      = @noiseMap
      shader.uniforms[ "windMin" ].value       = new THREE.Vector2(-30,-30 )
      shader.uniforms[ "windSize" ].value      = new THREE.Vector2( 60, 60 )
      shader.uniforms[ "windDirection" ].value = @windDirection            

      geom = new THREE.Geometry()
      geom.vertices = []
      num = 130
      for k in [0...num] by 1

          setting = {}

          vert = new THREE.Vector3
          vert.x = setting.startX = THREE.Math.randFloat(@dustSystemMinX,@dustSystemMaxX)
          vert.y = setting.startY = THREE.Math.randFloat(@dustSystemMinY,@dustSystemMaxY)
          vert.z = setting.startZ = THREE.Math.randFloat(@dustSystemMinZ,@dustSystemMaxZ)

          setting.speed =  params.attributes.speed.value[k] = 1 + Math.random() * 10
          
          setting.sinX = Math.random()
          setting.sinXR = if Math.random() < 0.5 then 1 else -1
          setting.sinY = Math.random()
          setting.sinYR = if Math.random() < 0.5 then 1 else -1
          setting.sinZ = Math.random()
          setting.sinZR = if Math.random() < 0.5 then 1 else -1

          setting.rangeX = Math.random() * 5
          setting.rangeY = Math.random() * 5
          setting.rangeZ = Math.random() * 5

          setting.vert = vert
          geom.vertices.push vert
          @dustSettings.push setting

      particlesystem = new THREE.ParticleSystem( geom , mat )
      @dustSystems.push particlesystem
      @scene.add particlesystem

這裡會建立 130 個灰塵粒子。請注意,每個物件都配備了特殊的 WindParticleShader。

現在,我們將使用 CoffeeScript,在每個影格中稍微移動粒子,不受風力影響。程式碼如下。

moveDust:(delta)->

  for setting in @dustSettings

    vert = setting.vert
    setting.sinX = setting.sinX + (( 0.002 * setting.speed) * setting.sinXR)
    setting.sinY = setting.sinY + (( 0.002 * setting.speed) * setting.sinYR)
    setting.sinZ = setting.sinZ + (( 0.002 * setting.speed) * setting.sinZR) 

    vert.x = setting.startX + ( Math.sin(setting.sinX) * setting.rangeX )
    vert.y = setting.startY + ( Math.sin(setting.sinY) * setting.rangeY )
    vert.z = setting.startZ + ( Math.sin(setting.sinZ) * setting.rangeZ )

此外,我們也會根據風力偏移每個粒子的位置。這項操作會在 WindParticleShader 中完成。特別是在頂點著色器中。

這個著色器的程式碼是 Three.js ParticleMaterial 的修改版本,核心部分如下所示:

vec4 mvPosition;
vec4 wpos = modelMatrix * vec4( position, 1.0 );
wpos.z = -wpos.z;
vec2 totPos = wpos.xz - windMin;
vec2 windUV = totPos / windSize;
float vWindForce = texture2D(tWindForce,windUV).x;
float windMod = (1.0 - vWindForce) * windScale;
vec4 pos = vec4(position , 1.0);
pos.x += windMod * windDirection.x;
pos.y += windMod * windDirection.y;
pos.z += windMod * windDirection.z;

mvPosition = modelViewMatrix *  pos;

fSpeed = speed;
float fSize = size * (1.0 + sin(time * speed));

#ifdef USE_SIZEATTENUATION
    gl_PointSize = fSize * ( scale / length( mvPosition.xyz ) );
#else,
    gl_PointSize = fSize;
#endif

gl_Position = projectionMatrix * mvPosition;

這個頂點著色器與我們用於風力草變形的著色器沒有太大差異。它會將 Perlin 雜訊紋理做為輸入內容,並根據灰塵世界位置,在雜訊紋理中查詢 vWindForce 值。然後使用這個值修改灰塵粒子的位置。

Riders On The Storm

WebGL 場景中最具冒險精神的可能是最後一個場景,只要點選說明框進入暴風隊眼,就能到達網站旅程的終點,並觀看即將發布電影的獨家影片。

熱氣球場景

在打造這個場景時,我們知道需要一個核心功能,才能帶來震撼人心的體驗。旋轉的龍捲風會是中心,其他內容層則會塑造這項功能,營造戲劇效果。為此,我們在這個奇特的著色器周圍,打造了相當於電影製片廠的場景。

我們採用混合方法,建立逼真的合成圖。有些是視覺效果,例如用光線形狀營造鏡頭光暈效果,或是在你看到的場景上,以圖層形式呈現雨滴動畫。在其他情況下,我們繪製了看起來會移動的平面,例如根據粒子系統程式碼移動的低空雲層。龍捲風周圍的碎片則是 3D 場景中的圖層,經過排序後會在龍捲風前後移動。

我們之所以必須以這種方式建構場景,主要是為了確保有足夠的 GPU 處理龍捲風著色器,同時平衡其他套用的效果。一開始我們遇到嚴重的 GPU 平衡問題,但後來這個場景經過最佳化,變得比主要場景更輕量。

教學課程:暴風著色器

為了製作最終的暴風雨序列,我們結合了許多不同的技術,但這項作品的核心是自訂 GLSL 著色器,看起來就像龍捲風。我們嘗試過許多不同的技術,從頂點著色器到建立有趣的幾何漩渦,再到粒子動畫,甚至是扭曲幾何形狀的 3D 動畫。沒有任何效果能重現龍捲風的感覺,或需要太多處理。

我們最終在另一個完全不同的專案中找到答案。馬克斯普朗克研究所 (brainflight.org) 曾推出一項平行專案,透過科學遊戲繪製老鼠的大腦圖譜,並產生有趣的視覺效果。我們使用自訂體積著色器,成功製作出老鼠神經元內部的影片。

使用自訂體積著色器呈現老鼠神經元內部
使用自訂體積著色器呈現老鼠神經元內部

我們發現腦細胞內部看起來有點像龍捲風的漏斗。由於我們使用的是體積技術,因此我們知道可以從空間中的所有方向查看這個著色器。我們可以設定著色器的算繪,與暴風場景結合,特別是夾在雲層和戲劇性背景之間。

著色器技術涉及一項技巧,基本上是使用單一 GLSL 著色器,透過稱為光線行進算繪 (使用距離欄位) 的簡化算繪演算法,算繪整個物件。這項技術會建立像素著色器,估算螢幕上每個點與表面的最近距離。

如要進一步瞭解演算法,請參閱 iq 的總覽:Rendering Worlds With Two Triangles - Iñigo Quilez。此外,您也可以在 glsl.heroku.com 探索著色器庫,其中有許多這項技術的範例可供實驗。

著色器的核心從 main 函式開始,會設定相機轉換,並進入迴圈,重複評估與表面的距離。呼叫 RaytraceFoggy( direction_vector, max_iterations, color, color_multiplier ) 時,會執行核心光線行進計算。

for(int i=0;i < number_of_steps;i++) // run the ray marching loop
{
  old_d=d;
  float shape_value=Shape(q); // find out the approximate distance to or density of the tornado cone
  float density=-shape_value;
  d=max(shape_value*step_scaling,0.0);// The max function clamps values smaller than 0 to 0

  float step_dist=d+extra_step; // The point is advanced by larger steps outside the tornado,
  //  allowing us to skip empty space quicker.

  if (density>0.0) {  // When density is positive, we are inside the cloud
    float brightness=exp(-0.6*density);  // Brightness decays exponentially inside the cloud

    // This function combines density layers to create a translucent fog
    FogStep(step_dist*0.2,clamp(density, 0.0,1.0)*vec3(1,1,1), vec3(1)*brightness, colour, multiplier); 
  }
  if(dist>max_dist || multiplier.x < 0.01) { return;  } // if we've gone too far stop, we are done
  dist+=step_dist; // add a new step in distance
  q=org+dist*dir; // trace its direction according to the ray casted
}

這個概念是,當我們進入龍捲風的形狀時,我們會定期為像素的最終顏色值加上顏色,並為光線的不透明度加上顏色。這樣一來,龍捲風的紋理就會呈現多層次的柔和效果。

暴風隊的下一個核心部分是實際形狀本身,由多個函式組成。一開始是圓錐體,由雜訊組成,形成有機粗糙邊緣,隨後沿著主軸扭曲,並及時旋轉。

mat2 Spin(float angle){
  return mat2(cos(angle),-sin(angle),sin(angle),cos(angle)); // a rotation matrix
}

// This takes noise function and makes ridges at the points where that function crosses zero
float ridged(float f){ 
  return 1.0-2.0*abs(f);
}

// the isosurface shape function, the surface is at o(q)=0 
float Shape(vec3 q) 
{
    float t=time;

    if(q.z < 0.0) return length(q);

    vec3 spin_pos=vec3(Spin(t-sqrt(q.z))*q.xy,q.z-t*5.0); // spin the coordinates in time

    float zcurve=pow(q.z,1.5)*0.03; // a density function dependent on z-depth

    // the basic cloud of a cone is perturbed with a distortion that is dependent on its spin 
    float v=length(q.xy)-1.5-zcurve-clamp(zcurve*0.2,0.1,1.0)*snoise(spin_pos*vec3(0.1,0.1,0.1))*5.0; 

    // create ridges on the tornado
    v=v-ridged(snoise(vec3(Spin(t*1.5+0.1*q.z)*q.xy,q.z-t*4.0)*0.3))*1.2; 

    return v;
}

建立這類著色器的工作相當棘手。除了建立作業抽象化涉及的問題外,您還需要追蹤並解決嚴重的最佳化和跨平台相容性問題,才能在實際工作環境中使用。

問題的第一部分:針對場景最佳化這個著色器。為瞭解決這個問題,我們需要採取「安全」的做法,以免著色器過於繁重。為此,我們以不同於場景其餘部分的取樣解析度,合成龍捲風著色器。這段程式碼來自 stormTest.coffee 檔案 (沒錯,這是一項測試!)。

首先,我們會建立與場景寬度和高度相符的 renderTarget,這樣龍捲風著色器的解析度就不會受場景影響。接著,我們會根據取得的影格率,動態決定暴風著色器的解析度降取樣。

...
Line 1383
@tornadoRT = new THREE.WebGLRenderTarget( @SCENE_WIDTH, @SCENE_HEIGHT, paramsN )

... 
Line 1403 
# Change settings based on FPS
if @fpsCount > 0
    if @fpsCur < 20
        @tornadoSamples = Math.min( @tornadoSamples + 1, @MAX_SAMPLES )
    if @fpsCur > 25
        @tornadoSamples = Math.max( @tornadoSamples - 1, @MIN_SAMPLES )
    @tornadoW = @SCENE_WIDTH  / @tornadoSamples // decide tornado resWt
    @tornadoH = @SCENE_HEIGHT / @tornadoSamples // decide tornado resHt

最後,我們使用簡化的 sal2x 演算法,將龍捲風算繪到螢幕上 (避免出現塊狀外觀),請參閱 stormTest.coffee 的第 1107 行。這表示最糟的情況是龍捲風變得更模糊,但至少能正常運作,不會剝奪使用者的控制權。

下一個最佳化步驟需要深入探討演算法。著色器中的主要運算因素,是對每個像素執行的疊代,用來嘗試估算表面函式的距離:光線行進迴圈的疊代次數。使用較大的步距,我們可以在雲狀表面外,以較少的疊代次數估算龍捲風表面。進入內部後,我們會縮小步距,提高精確度,並混合值來建立霧狀效果。此外,建立邊界圓柱體來取得投射光線的深度估計值,也能大幅提升速度。

接下來的問題是,如何確保這個著色器能在不同的顯示卡上執行。我們每次都會進行一些測試,並開始培養直覺,瞭解可能遇到的相容性問題類型。我們無法比直覺做得更好的原因,是我們不一定能取得良好的錯誤偵錯資訊。典型的情況是只有 GPU 錯誤,沒有其他資訊,甚至系統當機!

跨影片板相容性問題也有類似的解決方案:請務必輸入精確定義的靜態常數資料類型,例如:0.0 代表浮點數,0 代表整數。編寫較長的函式時請小心;最好將內容拆分為多個較簡單的函式和臨時變數,因為編譯器似乎無法正確處理某些情況。請確認紋理大小皆為 2 的次方,且不會過大。在迴圈中查詢紋理資料時,請務必「謹慎」操作。

我們在相容性方面遇到的最大問題,是暴風雨的光線效果。我們使用預製的紋理包覆龍捲風,以便為風束上色。這個效果非常棒,可以輕鬆將龍捲風融入場景顏色,但要讓它在其他平台上運作,需要花費很長的時間。

tornado

行動版網站

由於技術和處理需求過於繁重,行動裝置體驗無法直接沿用電腦版。我們必須打造新產品,專門鎖定行動使用者。

我們認為,如果能將電腦版的嘉年華照相亭,改造成使用使用者行動裝置相機的行動版網頁應用程式,應該會很酷。這是我們前所未見的。

為了增添趣味,我們在 CSS3 中編寫了 3D 轉換。我們將這項功能與陀螺儀和加速計連結,為體驗增添許多深度。網站會根據你拿手機、移動手機和看手機的方式做出回應。

撰寫本文時,我們認為有必要提供一些提示,協助您順利執行行動開發程序。開始囉!快來看看能從中學到什麼吧!

行動裝置提示與祕訣

預先載入器是必要元素,不應避免使用。我們知道,有時會發生後者的情況。這主要是因為隨著專案成長,您需要持續維護預先載入的項目清單。更糟的是,如果您同時提取多個不同的資源,就不太清楚該如何計算載入進度。這時,自訂且非常通用的抽象類別「Task」就能派上用場。其主要概念是允許無限巢狀結構,其中工作可以有自己的子工作,而子工作也可以有自己的子工作,以此類推。此外,每項工作都會根據其子工作的進度 (而非父工作的進度) 計算其進度。我們讓所有 MainPreloadTask、AssetPreloadTask 和 TemplatePreFetchTask 都衍生自 Task,建立的結構如下:

友善載入器

多虧了這種方法和 Task 類別,我們能輕鬆掌握整體進度 (MainPreloadTask)、素材資源進度 (AssetPreloadTask) 或範本載入進度 (TemplatePreFetchTask)。甚至特定檔案的進度。如要瞭解如何完成這項操作,請查看 /m/javascripts/raw/util/Task.js 的 Task 類別,以及 /m/javascripts/preloading/task 的實際工作實作。舉例來說,以下是我們設定 /m/javascripts/preloading/task/MainPreloadTask.js 類別 (最終預先載入包裝函式) 的方式:

Package('preloading.task', [
  Import('util.Task'),
...

  Class('public MainPreloadTask extends Task', {

    _public: {
      
  MainPreloadTask : function() {
        
    var subtasks = [
      new AssetPreloadTask([
        {name: 'cutout/cutout-overlay-1', ext: 'png', type: ImagePreloader.TYPE_BACKGROUND, responsive: true},
        {name: 'journey/scene1', ext: 'jpg', type: ImagePreloader.TYPE_IMG, responsive: false}, ...
...
      ]),

      new TemplatePreFetchTask([
        'page.HomePage',
        'page.CutoutPage',
        'page.JourneyToOzPage1', ...
...
      ])
    ];
    
    this._super(subtasks);

      }
    }
  })
]);

在 /m/javascripts/preloading/task/subtask/AssetPreloadTask.js 類別中,除了留意它與 MainPreloadTask 的通訊方式 (透過共用的 Task 實作) 之外,也請注意我們如何載入平台相關素材資源。基本上,我們有四種映像檔。行動標準 (.ext,其中 ext 是副檔名,通常是 .png 或 .jpg)、行動 Retina (-2x.ext)、平板電腦標準 (-tab.ext) 和平板電腦 Retina (-tab-2x.ext)。我們不使用 MainPreloadTask 偵測及硬式編碼四個素材資源陣列,而是直接指定要預先載入的素材資源名稱和副檔名,以及素材資源是否依附於平台 (responsive = true / false)。接著,AssetPreloadTask 會為我們產生檔案名稱:

resolveAssetUrl : function(assetName, extension, responsive) {
  return AssetPreloadTask.ASSETS_ROOT + assetName + (responsive === true ? ((Detection.getInstance().tablet ? '-tab' : '') + (Detection.getInstance().retina ? '-2x' : '')) : '') + '.' +  extension;
}

在類別鏈中,實際執行素材資源預先載入的程式碼如下所示 (/m/javascripts/raw/util/ImagePreloader.js):

loadUrl : function(url, type, completeHandler) {
  if(type === ImagePreloader.TYPE_BACKGROUND) {
    var $bg = $('<div>').hide().css('background-image', 'url(' + url + ')');
    this.$preloadContainer.append($bg);
  } else {
    var $img= $('<img />').attr('src', url).hide();
    this.$preloadContainer.append($img);
  }

  var image = new Image();
  this.cache[this.generateKey(url)] = image;
  image.onload = completeHandler;
  image.src = url;
}

generateKey : function(url) {
  return encodeURIComponent(url);
}

教學課程:HTML5 Photo Booth (iOS6/Android)

開發《OZ mobile》時,我們發現自己花了很多時間玩照相亭,而不是工作 :D,因為這實在太有趣了。因此我們製作了試用版,供您體驗。

行動照相亭
行動照相亭

您可以在這裡查看即時示範 (在 iPhone 或 Android 手機上執行):

http://u9html5rocks.appspot.com/demos/mobile_photo_booth

如要設定,您需要免費的 Google App Engine 應用程式執行個體,以便執行後端。前端程式碼並不複雜,但有幾個可能的問題。現在就來看看:

  1. 允許的圖片檔案類型 我們希望使用者只能上傳圖片 (因為這是照相亭,不是錄影亭)。理論上,您只要在 HTML 中指定篩選器即可,如下所示: input id="fileInput" class="fileInput" type="file" name="file" accept="image/*"不過,這似乎只適用於 iOS,因此我們需要在選取檔案後,針對 RegExp 新增額外檢查:
   this.$fileInput.fileupload({
          
   dataType: 'json',
   autoUpload : true,
   
   add : function(e, data) {
     if(!data.files[0].name.match(/(\.|\/)(gif|jpe?g|png)$/i)) {
      return self.onFileTypeNotSupported();
     }
   }
   });
  1. 取消上傳或檔案選取 我們在開發過程中注意到的另一個不一致之處,是不同裝置通知取消檔案選取的方式。iOS 手機和平板電腦不會執行任何動作,也不會通知。因此,我們不需要為這種情況採取任何特殊動作,但 Android 手機會觸發 add() 函式,即使未選取任何檔案也一樣。因應方式如下:
    add : function(e, data) {

    if(data.files.length === 0 || (data.files[0].size === 0 && data.files[0].name === "" && data.files[0].fileName === "")) {
            
    return self.onNoFileSelected();

    } else if(data.files.length > 1) {

    return self.onMultipleFilesSelected();            
    }
    }

其他部分在各平台上的運作都相當順暢。祝你玩得愉快!;-)

結論

由於《Find Your Way To Oz》規模龐大,且涉及多種不同技術,因此本文只能介紹我們採用的幾種方法。

如果您想探索整個專案,歡迎前往這個連結,查看「Find Your Way To Oz」的完整原始碼。

抵免額

按這裡查看完整鳴謝清單

參考資料