Tether 发布面向智能手机和消费级 GPU 的人工智能训练框架

Tether 刚刚公布了一套新的AI训练框架,允许在智能手机和非Nvidia GPU等消费设备上微调大型语言模型。该系统属于QVAC平台,利用微软的BitNet架构结合LoRA技术,显著降低内存需求和计算成本。

据Tether介绍,该框架支持多平台,兼容AMD、Intel、Apple Silicon芯片以及高通的移动GPU。工程师可以在不到两小时内在智能手机上微调高达1亿参数的模型,甚至在移动设备上扩展到13亿参数。

BitNet技术帮助将VRAM减少多达77.8%,相较于16位模型,同时加快移动GPU上的推理速度。Tether还强调其在联邦学习等应用中的潜力,减少对云端的依赖。

此举反映出加密货币公司向AI和计算基础设施扩展的趋势,以及行业内AI代理的发展。

查看原文
免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明
评论
0/400
暂无评论