登录/注册 社区 商城 维基 简体中文 | English
新闻中心
News
公司动态
行业新闻
您的当前位置: 首页 > 新闻中心 > 公司动态

九鼎创展成功移植DeepSeek模型,赋能边缘AI新场景!

TIME:2025-02-21 10:27:05

九鼎动态

2023 SUMMARY

 

01

      近日,九鼎创展技术团队在边缘计算领域取得重大突破,成功将DeepSeek-R1-Disti11-Qwen系列模型移植到瑞芯微(Rockchip)RK3576和RK3588开发板上,并实现了高效的推理性能。这一成果标志着九鼎创展在边缘AI领域的进一步深耕,为智能硬件开发者提供了更强大的AI算力支持。

DeepSeek模型:轻量化与高性能的完美结合

      DeepSeek-R1-Disti11-Qwen系列模型是专为边缘计算场景设计的轻量化AI模型,包含1.5B和7B两种规模,分别适用于不同算力和内存的硬件平台。九鼎创展技术团队通过优化模型结构与RKNN推理引擎的深度融合,成功在RK3576和RK3588开发板上实现了高效的模型部署。

模型性能亮点

DeepSeek-R1-Disti11-Qwen-1.5B

模型文件大小:2GB

内存要求:4GB

RK3588推理速度:12.92 Tokens/s

RK3576推理速度:8.36 Tokens/s

DeepSeek-R1-Disti11-Qwen-7B

模型文件大小:8GB

内存要求:16GB

RK3588推理速度:3.13 Tokens/s

RK3576推理速度:NC(未提供)

        从性能数据可以看出,1.5B模型在RK3588上表现出色,推理速度高达12.92 Tokens/s,即使在资源受限的RK3576开发板上也能达到8.36 Tokens/s,充分满足了边缘设备对实时性和高效性的需求。而7B模型则更适合对精度要求较高的场景,尽管推理速度稍低,但在RK3588上仍能稳定运行。

RK3576与RK3588:边缘AI的强力引擎

      作为瑞芯微旗下两款高性能处理器,RK3576和RK3588凭借其强大的AI算力和能效比,成为边缘计算领域的明星芯片。九鼎创展技术团队充分利用这两款芯片的硬件优势,通过RKNN工具链对DeepSeek模型进行了深度优化,实现了模型的高效推理。

RK3588:凭借其强大的NPU和CPU性能,在1.5B模型上实现了12.92 Tokens/s的推理速度,展现了其在边缘AI场景中的卓越能力。

RK3576:虽然算力稍逊于RK3588,但在1.5B模型上仍能实现8.36 Tokens/s的推理速度,足以满足大多数边缘设备的AI需求。

应用场景:赋能千行百业

       九鼎创展此次成功移植DeepSeek模型,为边缘AI应用开辟了更多可能性。以下是一些典型的应用场景:

智能安防:在边缘设备上实时运行DeepSeek模型,实现人脸识别、行为分析等功能,提升安防系统的响应速度与准确性。

工业质检:利用7B模型的高精度特性,在生产线边缘设备上进行缺陷检测,大幅提升质检效率。

智能语音助手:在嵌入式设备上运行1.5B模型,实现低延迟的语音识别与自然语言处理,为用户提供流畅的交互体验。

自动驾驶:在车载边缘计算设备上部署DeepSeek模型,实现实时环境感知与决策,提升行车安全性。

 

 九鼎创展将继续深耕边缘AI领域,推动更多AI模型在边缘设备上的落地应用。未来,我们将进一步优化模型性能,拓展更多应用场景,为智能硬件开发者提供更全面的技术支持。

 

关注九鼎创展公众号,了解更多边缘AI技术动态!

 

九鼎创展
—— 让AI触手可及,赋能智能未来!

扫码关注我们

联系我们
电话:18076422813
邮箱:zhichanqing@9tripod..com
官网:http://9tripod.com/

 

 

 

 

如果您有任何疑问请拨打
服务热线:400-003-3436
或咨询我们的在线客服

九鼎创展微信

版权所有:深圳市九鼎创展科技有限公司 粤ICP备11028681号-1   Copyright © 2016 All Rights Reserved.