📄️ 生成式AI环境搭建
RKLLM 是 Rockchip 面向大语言模型(LLM)推出的一整套软件栈,目标是把 HuggingFace、PyTorch、ONNX 等格式的 千亿级参数大模型 快速、低比特、低延迟地部署到 RK3576 / RK3588 等 NPU 上。
📄️ DeepSeek-R1
0.模型获取
📄️ Qwen-VL
1.编译可执行程序
5 minutes to learn the most important Docusaurus concepts.
RKLLM 是 Rockchip 面向大语言模型(LLM)推出的一整套软件栈,目标是把 HuggingFace、PyTorch、ONNX 等格式的 千亿级参数大模型 快速、低比特、低延迟地部署到 RK3576 / RK3588 等 NPU 上。
0.模型获取
1.编译可执行程序