​第四范式推出大模型推理端侧解决方案

中国财富网讯 近日，第四范式（北京）技术有限公司正式推出大模型推理端侧解决方案ModelHub AIoT，为用户在端侧部署AI模型提供了高效、便捷的全新选择。该方案支持用户在端侧轻松部署诸如DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸馏模型，并可灵活切换多个模型，兼顾了模型压缩与推理性能，有效解决了部署与优化的复杂性问题。

第四范式总裁裴沵思表示：“ModelHub AIoT不仅能够满足用户对隐私和实时性的需求，还降低了AI大模型推理成本，让AI技术的应用更加广泛和高效。”他介绍称，目前ModelHub AIoT具有三方面优势：

一是无需联网，端侧低延时运行。ModelHub AIoT依托优秀的端侧推理框架，在端侧算力的支持下展现出卓越的性能与适配性。模型在本地即时处理请求，能够为用户提供流畅的交互体验。即使在网络不稳定或离线环境下，端侧模型依然能够正常运行，确保服务的连续性，为用户带来稳定可靠的使用感受。

二是数据隐私与安全性提升。端侧部署模型是ModelHub AIoT的一大亮点。数据无需上传至云端，所有计算和处理都在本地设备上完成，从而避免了数据在云端传输和存储过程中可能面临的潜在泄露风险，显著降低了数据被黑客攻击或滥用的可能性，为用户的数据隐私和安全提供了有力保障。

三是成本效率与资源优化。端侧部署有效降低了对云端资源的依赖。通过本地处理，减少了云端计算和存储的需求，进而降低了服务器成本和API调用成本。同时，无需频繁上传大量数据，节省了网络带宽资源，实现了成本与资源的优化配置，为企业和用户带来了更高的性价比。（张宇航）