适用于 worker 的同步 FileSystem API

简介

HTML5 FileSystem API 和 Web Worker 本身就非常强大。FileSystem API 终于为 Web 应用带来了分层存储和文件 I/O，而 Worker 则为 JavaScript 带来了真正的异步“多线程”。不过，将这些 API 结合使用时，您可以构建一些真正有趣的应用。

本教程提供了在 Web Worker 中利用 HTML5 FileSystem 的指南和代码示例。本文假定您具备这两种 API 的应用知识。如果您尚未准备好深入了解，或者有兴趣详细了解这些 API，请阅读两篇讨论基础知识的精彩教程：探索 FileSystem API 和 Web Worker 基础知识。

同步 API 与异步 API

异步 JavaScript API 可能很难使用。它们体型庞大。它们很复杂。 但最令人沮丧的是，它们很容易出错。 您最不想处理的事情就是在已经异步的世界 (Worker) 中叠加复杂的异步 API (FileSystem)！好消息是，FileSystem API 定义了同步版本，以减轻 Web Worker 中的痛苦。

在大多数情况下，同步 API 与其异步 API 完全相同。 您会熟悉这些方法、属性、特性和功能。主要偏差如下：

  • 同步 API 只能在 Web Worker 上下文中使用，而异步 API 可以在 Worker 内部和外部使用。
  • 回调已过时。API 方法现在会返回值。
  • window 对象上的全局方法（requestFileSystem() 和 resolveLocalFileSystemURL()）变为 requestFileSystemSync() 和 resolveLocalFileSystemSyncURL()。

除了这些例外情况，API 都是相同的。好了，我们可以开始了！

请求文件系统

Web 应用通过从 Web Worker 中请求 LocalFileSystemSync 对象来获取对同步文件系统的访问权限。requestFileSystemSync() 会向 Worker 的全局范围公开：

var fs = requestFileSystemSync(TEMPORARY, 1024*1024 /*1MB*/);

请注意，由于我们使用的是同步 API，因此现在有了新的返回值，并且没有成功和错误回调。

与常规 FileSystem API 一样，目前方法带有前缀：

self.requestFileSystemSync = self.webkitRequestFileSystemSync ||
                                 self.requestFileSystemSync;

处理配额

目前，无法在 Worker 上下文中请求 PERSISTENT 配额。我建议在 Workers 之外处理配额问题。 流程可能如下所示：

  1. worker.js：将所有 FileSystem API 代码封装在 try/catch 中，以便捕获所有 QUOTA_EXCEED_ERR 错误。
  2. worker.js：如果您捕获到 QUOTA_EXCEED_ERR，请将 postMessage('get me more quota') 发送回主应用。
  3. 主应用：收到 #2 时，执行 window.webkitStorageInfo.requestQuota() 舞蹈。
  4. 主应用：在用户授予更多配额后，将 postMessage('resume writes') 发送回工作器，以告知其有额外的存储空间。

这个解决方法相当复杂，但应该可行。如需详细了解如何将 PERSISTENT 存储空间与 FileSystem API 搭配使用，请参阅请求配额。

使用文件和目录

getFile() 和 getDirectory() 的同步版本分别返回 FileEntrySync 和 DirectoryEntrySync。

例如，以下代码会在根目录中创建一个名为“log.txt”的空文件。

var fileEntry = fs.root.getFile('log.txt', {create: true});

以下命令会在根文件夹中创建一个新目录。

var dirEntry = fs.root.getDirectory('mydir', {create: true});

处理错误

如果您从未调试过 Web Worker 代码，我真羡慕您！找出问题所在可能非常痛苦

在同步世界中，由于缺少错误回调，处理问题变得比应有的情况更加棘手。如果再加上调试 Web Worker 代码的普遍复杂性，您很快就会感到沮丧。为了让工作更轻松，您可以将所有相关 Worker 代码封装在 try/catch 中。然后，如果发生任何错误，请使用 postMessage() 将错误转发到主应用：

function onError(e) {
    postMessage('ERROR: ' + e.toString());
}

try {
    // Error thrown if "log.txt" already exists.
    var fileEntry = fs.root.getFile('log.txt', {create: true, exclusive: true});
} catch (e) {
    onError(e);
}

传递文件、Blob 和 ArrayBuffer

Web Worker 首次出现时，只允许在 postMessage() 中发送字符串数据。后来，浏览器开始接受可序列化的数据，这意味着可以传递 JSON 对象。不过，最近一些浏览器（如 Chrome）开始接受通过 postMessage() 使用结构化克隆算法传递更复杂的数据类型。

这到底意味着什么？这意味着在主应用和工作器线程之间传递二进制数据要容易得多。支持对 Worker 进行结构化克隆的浏览器允许您将类型化数组、ArrayBuffer、File 或 Blob 传递到 Worker 中。虽然数据仍然是副本，但能够传递 File 意味着与之前的方法相比，性能有所提升，之前的方法涉及在将文件传递到 postMessage() 之前对其进行 base64 编码。

以下示例将用户选择的文件列表传递给专用 Worker。 Worker 只需传递文件列表（简单地显示返回的数据实际上是一个 FileList），主应用会将每个文件作为 ArrayBuffer 读取。

该示例还使用了Web Worker 基础知识中介绍的内嵌 Web Worker 技术的改进版本。

<!DOCTYPE html>
<html>
<head>
    <meta charset="utf-8">
    <meta http-equiv="X-UA-Compatible" content="chrome=1">
    <title>Passing a FileList to a Worker</title>
    <script type="javascript/worker" id="fileListWorker">
    self.onmessage = function(e) {
    // TODO: do something interesting with the files.
    postMessage(e.data); // Pass through.
    };
    </script>
</head>
<body>
</body>

<input type="file" multiple>

<script>
document.querySelector('input[type="file"]').addEventListener('change', function(e) {
    var files = this.files;
    loadInlineWorker('#fileListWorker', function(worker) {

    // Setup handler to process messages from the worker.
    worker.onmessage = function(e) {

        // Read each file aysnc. as an array buffer.
        for (var i = 0, file; file = files[i]; ++i) {
        var reader = new FileReader();
        reader.onload = function(e) {
            console.log(this.result); // this.result is the read file as an ArrayBuffer.
        };
        reader.onerror = function(e) {
            console.log(e);
        };
        reader.readAsArrayBuffer(file);
        }

    };

    worker.postMessage(files);
    });
}, false);


function loadInlineWorker(selector, callback) {
    window.URL = window.URL || window.webkitURL || null;

    var script = document.querySelector(selector);
    if (script.type === 'javascript/worker') {
    var blob = new Blob([script.textContent]);
    callback(new Worker(window.URL.createObjectURL(blob));
    }
}
</script>
</html>

在 Worker 中读取文件

在 Worker 中使用异步 FileReader API 读取文件是完全可以接受的。不过，还有更好的方法。在工作器中，有一个同步 API (FileReaderSync) 可简化文件读取：

主应用：

<!DOCTYPE html>
<html>
<head>
    <title>Using FileReaderSync Example</title>
    <style>
    #error { color: red; }
    </style>
</head>
<body>
<input type="file" multiple />
<output id="error"></output>
<script>
    var worker = new Worker('worker.js');

    worker.onmessage = function(e) {
    console.log(e.data); // e.data should be an array of ArrayBuffers.
    };

    worker.onerror = function(e) {
    document.querySelector('#error').textContent = [
        'ERROR: Line ', e.lineno, ' in ', e.filename, ': ', e.message].join('');
    };

    document.querySelector('input[type="file"]').addEventListener('change', function(e) {
    worker.postMessage(this.files);
    }, false);
</script>
</body>
</html>

worker.js

self.addEventListener('message', function(e) {
    var files = e.data;
    var buffers = [];

    // Read each file synchronously as an ArrayBuffer and
    // stash it in a global array to return to the main app.
    [].forEach.call(files, function(file) {
    var reader = new FileReaderSync();
    buffers.push(reader.readAsArrayBuffer(file));
    });

    postMessage(buffers);
}, false);

正如预期的那样，回调会随着同步 FileReader 而消失。这可以减少读取文件时的回调嵌套量。而是由 readAs* 方法返回读取的文件。

示例：提取所有条目

在某些情况下，同步 API 对于某些任务来说要简洁得多。回调越少越好，这肯定会让代码更易读。同步 API 的真正缺点源于 Worker 的限制。

出于安全原因，调用应用和 Web Worker 线程之间的数据绝不会共享。调用 postMessage() 时，数据始终会复制到 Worker 以及从 Worker 复制。 因此，并非所有数据类型都可以传递。

很抱歉，FileEntrySync和DirectoryEntrySync目前不属于可接受的类型。那么，如何将条目返回到通话应用？ 规避此限制的一种方法是返回 filesystem: 网址列表，而不是条目列表。filesystem: 网址只是字符串，因此非常容易传递。此外，您还可以使用 resolveLocalFileSystemURL() 将它们解析为主应用中的条目。这样，您就可以返回到 FileEntrySync/DirectoryEntrySync 对象。

主应用：

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8" />
<meta http-equiv="X-UA-Compatible" content="chrome=1">
<title>Listing filesystem entries using the synchronous API</title>
</head>
<body>
<script>
    window.resolveLocalFileSystemURL = window.resolveLocalFileSystemURL ||
                                        window.webkitResolveLocalFileSystemURL;

    var worker = new Worker('worker.js');
    worker.onmessage = function(e) {
    var urls = e.data.entries;
    urls.forEach(function(url, i) {
        window.resolveLocalFileSystemURL(url, function(fileEntry) {
        console.log(fileEntry.name); // Print out file's name.
        });
    });
    };

    worker.postMessage({'cmd': 'list'});
</script>
</body>
</html>

worker.js

self.requestFileSystemSync = self.webkitRequestFileSystemSync ||
                                self.requestFileSystemSync;

var paths = []; // Global to hold the list of entry filesystem URLs.

function getAllEntries(dirReader) {
    var entries = dirReader.readEntries();

    for (var i = 0, entry; entry = entries[i]; ++i) {
    paths.push(entry.toURL()); // Stash this entry's filesystem: URL.

    // If this is a directory, we have more traversing to do.
    if (entry.isDirectory) {
        getAllEntries(entry.createReader());
    }
    }
}

function onError(e) {
    postMessage('ERROR: ' + e.toString()); // Forward the error to main app.
}

self.onmessage = function(e) {
    var data = e.data;

    // Ignore everything else except our 'list' command.
    if (!data.cmd || data.cmd != 'list') {
    return;
    }

    try {
    var fs = requestFileSystemSync(TEMPORARY, 1024*1024 /*1MB*/);

    getAllEntries(fs.root.createReader());

    self.postMessage({entries: paths});
    } catch (e) {
    onError(e);
    }
};

示例：使用 XHR2 下载文件

Worker 的一个常见用例是使用 XHR2 下载大量文件，并将这些文件写入 HTML5 文件系统。这项任务非常适合由工作器线程来完成！

以下示例仅提取并写入一个文件，但您可以想象将其扩展为下载一组文件。

主应用：

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8" />
<meta http-equiv="X-UA-Compatible" content="chrome=1">
<title>Download files using a XHR2, a Worker, and saving to filesystem</title>
</head>
<body>
<script>
    var worker = new Worker('downloader.js');
    worker.onmessage = function(e) {
    console.log(e.data);
    };
    worker.postMessage({fileName: 'GoogleLogo',
                        url: 'googlelogo.png', type: 'image/png'});
</script>
</body>
</html>

downloader.js:

self.requestFileSystemSync = self.webkitRequestFileSystemSync ||
                                self.requestFileSystemSync;

function makeRequest(url) {
    try {
    var xhr = new XMLHttpRequest();
    xhr.open('GET', url, false); // Note: synchronous
    xhr.responseType = 'arraybuffer';
    xhr.send();
    return xhr.response;
    } catch(e) {
    return "XHR Error " + e.toString();
    }
}

function onError(e) {
    postMessage('ERROR: ' + e.toString());
}

onmessage = function(e) {
    var data = e.data;

    // Make sure we have the right parameters.
    if (!data.fileName || !data.url || !data.type) {
    return;
    }
    
    try {
    var fs = requestFileSystemSync(TEMPORARY, 1024 * 1024 /*1MB*/);

    postMessage('Got file system.');

    var fileEntry = fs.root.getFile(data.fileName, {create: true});

    postMessage('Got file entry.');

    var arrayBuffer = makeRequest(data.url);
    var blob = new Blob([new Uint8Array(arrayBuffer)], {type: data.type});

    try {
        postMessage('Begin writing');
        fileEntry.createWriter().write(blob);
        postMessage('Writing complete');
        postMessage(fileEntry.toURL());
    } catch (e) {
        onError(e);
    }

    } catch (e) {
    onError(e);
    }
};

总结

Web Worker 是 HTML5 中一项未得到充分利用和重视的功能。我接触过的大多数开发者都不需要额外的计算优势，但它们不仅可以用于纯计算。 如果您心存疑虑（就像我之前一样），希望本文能帮助您改变想法。 将磁盘操作（文件系统 API 调用）或 HTTP 请求等任务分流到 Worker 是自然而然的选择，也有助于将代码模块化。Workers 中的 HTML5 File API 为 Web 应用开辟了一个全新的精彩世界，许多人尚未探索。