簡介
近年來,網頁應用程式的速度大幅提升。現在許多應用程式的執行速度都很快,因此我聽過一些開發人員大聲問道:「網路速度夠快嗎?」。對某些應用程式來說,這可能已經足夠,但對於開發高效能應用程式的開發人員來說,我們知道這還不夠快。儘管 JavaScript 虛擬機器技術有驚人的進展,但近期研究顯示,Google 應用程式有 50% 到 70% 的時間花在 V8 內。應用程式的時間有限,減少一個系統的週期,代表另一個系統可以執行更多作業。請注意,以 60 FPS 執行的應用程式,每個影格只有 16 毫秒的時間,否則就會發生卡頓。請繼續閱讀,瞭解如何最佳化 JavaScript 和剖析 JavaScript 應用程式,並從 V8 團隊的效能偵探故事中,追蹤「Find Your Way to Oz」中不明顯的效能問題。
2013 年 Google I/O 大會
我在 2013 年 Google I/O 大會上發表了這份資料。請觀看下方影片:
為什麼效能很重要?
CPU 週期是零和賽局。如果系統某部分使用的資源較少,其他部分就能使用更多資源,或整體運作更順暢。加快執行速度和執行更多工作,往往是相互衝突的目標。使用者希望有新功能,同時也希望應用程式執行更順暢。JavaScript 虛擬機器的速度越來越快,但這不代表可以忽略目前能修正的效能問題,許多開發人員在處理網頁應用程式的效能問題時,都已經知道這一點。在即時、高影格率的應用程式中,避免卡頓是首要之務。Insomniac Games 製作了一份研究,顯示穩定、持續的影格率對遊戲的成功至關重要:「穩定的影格率仍是專業、製作精良的產品的標誌。」網頁程式開發人員請注意。
解決效能問題
解決效能問題就像偵辦案件。您需要仔細檢查證據、確認可疑原因,並嘗試不同的解決方案。在整個過程中,您必須記錄測量結果,確保問題確實已解決。這種方法與刑事偵探破案的方式幾乎沒有差別。偵探會檢視證據、審問嫌疑人並進行實驗,希望能找到確鑿的證據。
V8 CSI:澳洲
打造「Find Your Way to Oz」的優秀巫師們遇到無法自行解決的效能問題,因此向 V8 團隊求助。Oz 偶爾會凍結,導致卡頓。Oz 開發人員已使用 Chrome 開發人員工具中的時間軸面板進行初步調查。查看記憶體用量時,他們發現了可怕的鋸齒圖。垃圾收集器每秒會收集 10 MB 的垃圾,而垃圾收集暫停時間與卡頓時間相對應。類似於 Chrome 開發人員工具中時間軸的以下螢幕截圖:
V8 偵探 Jakob 和 Yang 接手了這個案件。Jakob 和 V8 團隊的 Yang,以及 Oz 團隊之間,進行了漫長的來回討論。我已將這段對話精簡為重要事件,有助於追蹤這個問題。
證據
第一步是收集並研究初步證據。
我們正在查看哪種類型的應用程式?
Oz 示範是互動式 3D 應用程式。因此,這項服務對垃圾收集造成的暫停非常敏感。請注意,以 60 FPS 執行的互動式應用程式有 16 毫秒的時間執行所有 JavaScript 工作,且必須保留部分時間讓 Chrome 處理圖形呼叫並繪製畫面。
Oz 會對雙精度值執行大量算術運算,並頻繁呼叫 WebAudio 和 WebGL。
我們遇到哪種效能問題?
我們看到暫停,也就是影格遺失,也就是卡頓。這些暫停與垃圾收集執行作業相關。
開發人員是否遵循最佳做法?
是的,Oz 開發人員精通 JavaScript VM 效能和最佳化技術。值得注意的是,Oz 開發人員使用 CoffeeScript 做為來源語言,並透過 CoffeeScript 編譯器產生 JavaScript 程式碼。這導致部分調查工作變得更加棘手,因為 Oz 開發人員編寫的程式碼與 V8 使用的程式碼之間存在落差。Chrome 開發人員工具現在支援來源對應,可簡化這項作業。
為什麼要執行垃圾收集器?
JavaScript 的記憶體是由 VM 自動為開發人員管理。V8 使用常見的垃圾收集系統,將記憶體分為兩個 (或更多) 世代。年輕代會保留最近分配的物件。如果物件存留時間夠長,就會移至年老代。
新生代的收集頻率遠高於舊生代。這是刻意設計,因為新生代收集的成本低得多。通常可以合理假設,頻繁的 GC 暫停是由新生代收集所造成。
在 V8 中,新生代記憶體空間會分成兩個大小相同的連續記憶體區塊。在任何指定時間,系統只會使用這兩個記憶體區塊中的其中一個,稱為「目標空間」。只要 to 空間還有剩餘記憶體,分配新物件的成本就很低。to 空間中的游標會向前移動新物件所需的位元組數。直到 to 空間用盡為止。此時程式會停止,並開始收集。
此時,來源空間和目標空間會互換。系統會從頭到尾掃描原本是 to 空間、現在是 from 空間的區域,並將所有仍有效的物件複製到 to 空間,或升級至舊世代堆積。如需詳細資訊,建議您參閱 Cheney 演算法。
您應該直覺地瞭解,每次隱含或明確分配物件 (透過呼叫 new、[] 或 {}) 時,應用程式都會越來越接近垃圾收集和可怕的應用程式暫停。
這個應用程式是否預期會產生 10 MB/秒的垃圾資料?
簡而言之,不會。開發人員不會預期每秒產生 10 MB 的垃圾資料。
嫌疑犯
調查的下一個階段是找出潛在嫌疑人,然後縮小範圍。
嫌疑犯 1
在影格期間呼叫 new。請注意,每分配一個物件,就會更接近 GC 暫停。尤其是以高影格率執行的應用程式,應盡可能避免在每個影格中分配記憶體。通常需要經過深思熟慮,並採用應用程式專屬的物件回收系統。V8 偵探向 Oz 團隊確認,他們並未呼叫 new。事實上,Oz 團隊早已知道這項要求,並表示「這會很尷尬」。這項工作可以從清單中劃掉了。
嫌疑犯 2
在建構函式外修改物件的「形狀」。只要在建構函式外為物件新增屬性,就會發生這種情況。這會為物件建立新的隱藏類別。最佳化程式碼看到這個新的隱藏類別時,會觸發去最佳化,未最佳化的程式碼會執行,直到程式碼被歸類為熱門並再次最佳化。這種反最佳化、重新最佳化的流失會導致卡頓,但與過度產生垃圾資料並無嚴格關聯。仔細稽核程式碼後,我們確認物件形狀是靜態的,因此排除嫌疑犯 #2。
嫌疑犯 3
未最佳化程式碼中的算術。在未最佳化的程式碼中,所有運算都會導致實際物件分配。舉例來說,以下程式碼片段:
var a = p * d;
var b = c + 3;
var c = 3.3 * dt;
point.x = a * b * c;
結果會建立 5 個 HeapNumber 物件。前三個是變數 a、b 和 c。第 4 個是匿名值 (a * b),第 5 個是 #4 * c;第 5 個最終會指派給 point.x。
Oz 每幀會執行數千次這類作業。如果這些運算發生在未經最佳化的函式中,就可能產生垃圾資料。因為未最佳化的運算會為暫時結果分配記憶體。
嫌疑犯 4
將雙精度數字儲存至屬性。必須建立 HeapNumber 物件來儲存數字,並修改屬性,指向這個新物件。將屬性變更為指向 HeapNumber 不會產生垃圾。不過,系統可能會將許多雙精度數字儲存為物件屬性。程式碼中充滿類似以下的陳述式:
sprite.position.x += 0.5 * (dt);
在最佳化程式碼中,每次為 x 指派新計算的值 (看似無害的陳述式),系統就會隱含分配新的 HeapNumber 物件,更接近垃圾收集暫停。
請注意,使用類型陣列 (或僅包含雙精度浮點數的一般陣列),可以完全避免這個特定問題,因為雙精度浮點數的儲存空間只會分配一次,重複變更值不需要分配新的儲存空間。
嫌犯 4 號有可能。
鑑識
此時,偵探有兩個可能的嫌疑犯:將堆積數字儲存為物件屬性,以及在未最佳化的函式中進行算術運算。是時候前往實驗室,確定哪位嫌疑犯有罪了。注意:在本節中,我會使用實際 Oz 原始碼中發現的問題重現。這個重現版本比原始程式碼小好幾個數量級,因此更容易推論。
實驗 1
檢查可疑項目 #3 (未最佳化函式中的算術運算)。V8 JavaScript 引擎內建記錄系統,可深入瞭解實際運作情況。
在 Chrome 完全未執行的情況下,使用以下旗標啟動 Chrome:
--no-sandbox --js-flags="--prof --noprof-lazy --log-timer-events"
然後完全退出 Chrome,就會在目前目錄中產生 v8.log 記錄檔。
如要解讀 v8.log 的內容,您必須下載 Chrome 使用的相同 v8 版本 (請查看 about:version),並建構該版本。
成功建構 v8 後,您可以使用 tick 處理器處理記錄:
$ tools/linux-tick-processor /path/to/v8.log
(視平台而定,將 linux 替換為 mac 或 windows)。(這項工具必須從 v8 的頂層來源目錄執行)。
tick 處理器會顯示文字表格,列出 tick 最多的 JavaScript 函式:
[JavaScript]:
ticks total nonlib name
167 61.2% 61.2% LazyCompile: *opt demo.js:12
40 14.7% 14.7% LazyCompile: unopt demo.js:20
15 5.5% 5.5% Stub: KeyedLoadElementStub
13 4.8% 4.8% Stub: BinaryOpStub_MUL_Alloc_Number+Smi
6 2.2% 2.2% Stub: BinaryOpStub_ADD_OverwriteRight_Number+Number
4 1.5% 1.5% Stub: KeyedStoreElementStub
4 1.5% 1.5% KeyedLoadIC: {12}
2 0.7% 0.7% KeyedStoreIC: {13}
1 0.4% 0.4% LazyCompile: ~main demo.js:30
您可以看到 demo.js 有三個函式:opt、unopt 和 main。最佳化函式的名稱旁會顯示星號 (*)。請注意,opt 函式已最佳化,unopt 函式則未最佳化。
V8 偵探工具包中的另一個重要工具是 plot-timer-event。執行方式如下:
$ tools/plot-timer-event /path/to/v8.log
執行後,當前目錄會出現名為 timer-events.png 的 png 檔案。開啟後,畫面應如下所示:
除了底部的圖表外,資料會以資料列顯示。X 軸代表時間 (毫秒),左側包含各列的標籤:
在 V8 執行 JavaScript 程式碼的每個設定檔刻度,V8.Execute 列都會繪製黑色垂直線。在 V8 執行新一代收集作業的每個設定檔刻度上,V8.GCScavenger 都會繪製一條藍色垂直線。其餘 V8 狀態也一樣。
其中最重要的資料列之一是「執行的程式碼類型」。執行最佳化程式碼時,這個圖示會呈現綠色;執行未最佳化程式碼時,則會呈現紅色和藍色。以下螢幕截圖顯示從最佳化程式碼轉換為未最佳化程式碼,然後再轉換回最佳化程式碼的過程:
理想情況下,這條線會是綠色實線,但不會立即顯示。這表示計畫已進入最佳化的穩定狀態。未最佳化的程式碼執行速度一律比最佳化程式碼慢。
如果您已完成這項操作,請注意,您可以重構應用程式,以便在 v8 偵錯殼層 (d8) 中執行,這樣就能大幅加快工作速度。使用 d8 時,您可以透過 tick-processor 和 plot-timer-event 工具縮短疊代時間。使用 d8 的另一個副作用是,更容易找出實際問題,減少資料中出現的雜訊量。
查看 Oz 原始碼的計時器事件圖,可以發現程式碼從最佳化轉換為未最佳化,且在執行未最佳化程式碼時,觸發了許多新一代收集作業,類似於以下螢幕截圖 (請注意,中間的時間已移除):
仔細觀察就會發現,黑色線條 (代表 V8 執行 JavaScript 程式碼的時間) 消失的時間點,與新生代收集 (藍色線條) 的設定檔 tick 時間完全相同。這清楚顯示,在收集垃圾時,指令碼會暫停。
查看 Oz 原始碼的 tick 處理器輸出內容,發現頂層函式 (updateSprites) 未經過最佳化。換句話說,程式花費最多時間的函式也未經過最佳化。這強烈顯示嫌犯 #3 是罪魁禍首。updateSprites 的來源包含類似下方的迴圈:
function updateSprites(dt) {
for (var sprite in sprites) {
sprite.position.x += 0.5 * dt;
// 20 more lines of arithmetic computation.
}
}
他們對 V8 非常熟悉,因此立即發現 V8 有時不會最佳化 for-i-in 迴圈結構。換句話說,如果函式包含 for-i-in 迴圈建構,可能就無法最佳化。這是目前特例,未來可能會有變化,也就是說,V8 引擎有朝一日可能會最佳化這個迴圈結構。我們不是 V8 偵探,也不熟悉 V8,該如何判斷 updateSprites 未最佳化的原因?
實驗 2
使用這個旗標執行 Chrome:
--js-flags="--trace-deopt --trace-opt-verbose"
會顯示最佳化和反最佳化資料的詳細記錄。在資料中搜尋 updateSprites,會找到:
[disabled optimization for updateSprites, reason: ForInStatement is not fast case]
正如偵探們的假設,問題出在 for-i-in 迴圈結構。
結案
找出 updateSprites 未最佳化的原因後,修正方式很簡單,只要將運算移至專屬函式即可,也就是:
function updateSprite(sprite, dt) {
sprite.position.x += 0.5 * dt;
// 20 more lines of arithmetic computation.
}
function updateSprites(dt) {
for (var sprite in sprites) {
updateSprite(sprite, dt);
}
}
updateSprite 會經過最佳化,HeapNumber 物件數量會大幅減少,GC 暫停頻率也會降低。您只要使用新程式碼進行相同實驗,就能輕鬆確認這一點。細心的讀者會注意到,雙精度浮點數仍會儲存為屬性。如果剖析結果顯示值得這麼做,將位置變更為雙精度浮點數陣列或類型化資料陣列,可進一步減少建立的物件數量。
結語
Oz 開發人員並未就此止步。他們運用 V8 偵探分享的工具和技術,找出其他幾個陷入反最佳化地獄的函式,並將運算程式碼重構為經過最佳化的葉函式,進一步提升效能。
快去解決效能問題吧!