AI 训练门槛的重大突破
在 AI 模型开发领域,训练大型语言模型通常仰赖高成本硬体与云端资源,这使得技术长期集中于少数大型机构手中。
(来源:tether)
Tether 此次推出的 QVAC Fabric,针对 BitNet(1-bit 大型语言模型)打造全新 LoRA 微调框架,成功降低对运算资源与记忆体的需求,让一般使用者也能参与 AI 模型训练。
跨平台运行:从电脑到手机全面支援
QVAC Fabric 的核心优势之一,在于其广泛的硬体相容性。该框架可在多种设备上执行,包括:
-
笔记型电脑
-
消费级 GPU(Intel、AMD、Apple Silicon)
-
智慧型手机(含多种行动 GPU)
代表 AI 模型不再局限于资料中心或专业设备,而能在日常装置上完成训练与推论。
手机也能训练大型模型
此次技术的一大亮点,是成功在行动装置上完成模型微调。
例如:
-
在 Samsung S25(Adreno GPU)上,125M 参数模型可于约 10 分钟完成微调
-
同一装置上,1B 模型可在约 1 小时 18 分钟完成
-
在 iPhone 16 上,1B 模型则约需 1 小时 45 分钟
团队甚至成功在手机上运行高达 13B 参数的模型,显示行动设备的 AI 潜力已大幅提升。
效能与记忆体优化的关键提升
相较传统模型,BitNet 架构在效能与资源使用上展现明显优势:
效能方面
-
行动 GPU 推论速度比 CPU 快 2 至 11 倍
-
可处理过去需依赖资料中心的工作负载
记忆体使用
-
相较 16-bit 模型,最高可减少约 77.8% VRAM 使用
-
提供更大运行空间,支援更大型模型与个人化应用
这些改进使得 AI 应用更容易在边缘设备上落地。
摆脱 NVIDIA 与云端依赖
传统 AI 训练高度依赖 NVIDIA 硬体与云端服务,而 QVAC Fabric 则打破这一限制,其技术首次让 1-bit LLM 能在非 NVIDIA 硬体上进行 LoRA 微调,包括:AMD、Intel、Apple Silicon,以及行动 GPU(如 Adreno、Mali)。这不仅降低成本,也让 AI 开发更加分散化。
推动去中心化与隐私保护
QVAC Fabric 的另一项关键价值,在于其对资料隐私与分散式学习的支持:
-
模型训练可在本地设备完成,避免敏感资料上传
-
有助于实现联邦学习(Federated Learning)
-
减少对中心化基础设施的依赖
这为未来 AI 生态带来更安全且可扩展的发展方向。
Tether 对 AI 未来的看法
Paolo Ardoino 表示,AI 将在未来社会中扮演关键角色,而其发展不应被少数资源掌握者垄断。他强调,若 AI 训练过度依赖中心化架构,不仅会限制创新,也可能影响整体生态稳定。因此,让 AI 能在个人设备上运行,是推动技术普及的重要一步。
总结
Tether 推出的 QVAC Fabric 不仅是一项技术创新,更代表 AI 发展模式的潜在转变,透过降低硬体门槛与强化跨平台能力,大型语言模型正逐步走出资料中心,进入每个人的日常设备之中。未来,随著这类技术持续成熟,AI 有望从集中化资源走向更加开放、分散且普及的新阶段。
