九鼎动态
2023 SUMMARY
01
近日,九鼎创展技术团队在边缘计算领域取得重大突破,成功将DeepSeek-R1-Disti11-Qwen系列模型移植到瑞芯微(Rockchip)RK3576和RK3588开发板上,并实现了高效的推理性能。这一成果标志着九鼎创展在边缘AI领域的进一步深耕,为智能硬件开发者提供了更强大的AI算力支持。
DeepSeek模型:轻量化与高性能的完美结合
DeepSeek-R1-Disti11-Qwen系列模型是专为边缘计算场景设计的轻量化AI模型,包含1.5B和7B两种规模,分别适用于不同算力和内存的硬件平台。九鼎创展技术团队通过优化模型结构与RKNN推理引擎的深度融合,成功在RK3576和RK3588开发板上实现了高效的模型部署。
模型性能亮点
DeepSeek-R1-Disti11-Qwen-1.5B
模型文件大小:2GB
内存要求:4GB
RK3588推理速度:12.92 Tokens/s
RK3576推理速度:8.36 Tokens/s
DeepSeek-R1-Disti11-Qwen-7B
模型文件大小:8GB
内存要求:16GB
RK3588推理速度:3.13 Tokens/s
RK3576推理速度:NC(未提供)
从性能数据可以看出,1.5B模型在RK3588上表现出色,推理速度高达12.92 Tokens/s,即使在资源受限的RK3576开发板上也能达到8.36 Tokens/s,充分满足了边缘设备对实时性和高效性的需求。而7B模型则更适合对精度要求较高的场景,尽管推理速度稍低,但在RK3588上仍能稳定运行。
RK3576与RK3588:边缘AI的强力引擎
作为瑞芯微旗下两款高性能处理器,RK3576和RK3588凭借其强大的AI算力和能效比,成为边缘计算领域的明星芯片。九鼎创展技术团队充分利用这两款芯片的硬件优势,通过RKNN工具链对DeepSeek模型进行了深度优化,实现了模型的高效推理。
RK3588:凭借其强大的NPU和CPU性能,在1.5B模型上实现了12.92 Tokens/s的推理速度,展现了其在边缘AI场景中的卓越能力。
RK3576:虽然算力稍逊于RK3588,但在1.5B模型上仍能实现8.36 Tokens/s的推理速度,足以满足大多数边缘设备的AI需求。
应用场景:赋能千行百业
九鼎创展此次成功移植DeepSeek模型,为边缘AI应用开辟了更多可能性。以下是一些典型的应用场景:
智能安防:在边缘设备上实时运行DeepSeek模型,实现人脸识别、行为分析等功能,提升安防系统的响应速度与准确性。
工业质检:利用7B模型的高精度特性,在生产线边缘设备上进行缺陷检测,大幅提升质检效率。
智能语音助手:在嵌入式设备上运行1.5B模型,实现低延迟的语音识别与自然语言处理,为用户提供流畅的交互体验。
自动驾驶:在车载边缘计算设备上部署DeepSeek模型,实现实时环境感知与决策,提升行车安全性。
九鼎创展将继续深耕边缘AI领域,推动更多AI模型在边缘设备上的落地应用。未来,我们将进一步优化模型性能,拓展更多应用场景,为智能硬件开发者提供更全面的技术支持。
关注九鼎创展公众号,了解更多边缘AI技术动态!
九鼎创展
—— 让AI触手可及,赋能智能未来!
扫码关注我们
联系我们
电话:18076422813
邮箱:zhichanqing@9tripod..com
官网:http://9tripod.com/
版权所有:深圳市九鼎创展科技有限公司 粤ICP备11028681号-1 Copyright © 2016 All Rights Reserved.