MDST引擎：使用WebGPU/WASM在浏览器中运行GGUF模型

MDST 引擎：使用 WebGPU/WASM 在浏览器中运行 GGUF 模型

MDST 引擎是一种新兴的运行时，使开发人员和企业能够使用 WebGPU 和 WebAssembly (WASM) 直接在浏览器内执行 GGUF 格式的大型语言模型，从而无需专用服务器或云 GPU。这种向完全客户端 AI 推理的转变正在重写 Web 应用程序中如何提供智能功能的规则，使任何拥有现代浏览器的人都可以访问私有、低延迟的 AI。

MDST 引擎到底是什么以及它为何重要？

MDST Engine 是一个浏览器原生 AI 推理框架，旨在直接在 Web 上下文中加载和运行量化 GGUF 模型（与 llama.cpp 等项目流行的格式相同）。 MDST 不是通过云端点路由每个 AI 请求，而是使用浏览器的 WebGPU API 在用户自己的硬件上执行模型推理，以实现 GPU 加速计算，并使用 WebAssembly 来实现接近本机的 CPU 回退性能。

出于多种原因，这非常重要。首先，它消除了服务器端推理固有的往返延迟。其次，它将敏感的用户数据完全保留在设备上，这对于企业和消费者应用程序来说都是一个重要的隐私优势。第三，它极大地降低了企业的基础设施成本，否则企业将按 API 调用付费或维护自己的 GPU 集群。

“在浏览器中运行人工智能推理不再是一种概念验证的好奇心——它是一种生产可行的架构，可以用集中的云成本换取去中心化的用户硬件，从根本上改变谁承担人工智能驱动的应用程序的计算负担。”

WebGPU 和 WASM 如何使浏览器内人工智能成为可能？

要了解 MDST 引擎的技术基础，需要简要了解它所利用的两个核心浏览器原语。 WebGPU 是 WebGL 的后继者，提供直接从 JavaScript 和 WGSL 着色器代码进行低级 GPU 访问。与其前身不同，WebGPU 支持计算着色器，这是主导 LLM 推理的矩阵乘法运算的主力。这意味着 MDST 可以以高度并行的方式将张量操作分派给 GPU，从而实现以前在浏览器沙箱中不可能实现的吞吐量。

WebAssembly 充当引擎核心运行时逻辑的后备和编译目标。对于缺乏 WebGPU 支持的设备（较旧的浏览器、某些移动环境或无头测试环境），WASM 提供了一个高性能、可移植的执行层，可以以远远超过标准 JavaScript 的速度运行已编译的 C++ 或 Rust 代码。 WebGPU 和 WASM 一起形成了分层执行策略：可用时先使用 GPU，不可用时使用 CPU 通过 WASM。

什么是 GGUF 模型以及为什么该格式是该方法的核心？

GGUF（GPT 生成的统一格式）是一种二进制文件格式，它将模型权重、分词器数据和元数据打包到单个便携式工件中。 GGUF 最初设计用于支持 llama.cpp 中的高效加载，后来成为量化开放权重模型的事实上的标准，因为它支持从 2 位到 8 位的多个量化级别，允许开发人员在模型大小、内存占用和输出质量之间进行权衡。

对于基于浏览器的推理，量化不是可选的，而是必不可少的。全精度 7B 参数模型大约需要 14 GB 内存。在第 4 季度量化时，同一模型缩小到大约 4 GB，在第 2 季度它可以降至 2 GB 以下。 MDST Engine 对 GGUF 的支持意味着开发人员可以直接使用已量化模型的庞大生态系统，而无需任何额外的转换步骤，从而大大降低了集成障碍。

在浏览器中运行 GGUF 模型的企业的实际用例是什么？

浏览器内 GGUF 推理的实际应用几乎涵盖每个垂直行业。采用这种方法的企业可以释放以前的功能

Related Posts

• 从搜索中删除露骨图片的更简单方法
• 显示 HN：VOOG – 使用 Python 和 tkinter GUI 的 Moog 风格复调合成器
• DJB的密码学奇旅：从代码英雄到标准批评者
• 长鑫存储一直以大约当前市场价格一半的价格提供 DDR4 芯片