架构

Firefox AI 平台使用 ONNX 运行时来运行模型，并利用 Transformers.js 库简化推理工作。

Platform Architecture

Firefox AI 平台架构

(1)(2) 当内容进程调用推理 API 时，Firefox 会调用远程设置服务以获取所需的 ONNX WASM 运行时，并获取将要执行的推理任务的默认选项。

(3) 然后，Firefox 创建一个推理进程，这是一种特定类型的內容进程。该进程加载 Transformers.js 和 ONNX WASM 运行时。然后它触发推理调用。

(4) Transformers.js 库将根据要执行的推理任务和传递的不同选项来请求模型文件。这些调用会转发到 Firefox，Firefox 会查看 IndexDB 中有哪些可用文件。如果所需文件存在，它会将它们返回给推理进程。

(5) 如果不存在，它将通过访问模型中心触发下载过程。然后将其存储在 IndexDB 中