AI在线附模型调用方式如下：
权重转换
GPU：
git clone https://github.com/deepseek-ai/DeepSeek-V3.git cd DeepSeek-V3/inference/ python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-hf-path /path/to/deepseek-v3-bf16
NPU：
git clone https://modelers.cn/MindIE/deepseekv3.git cd NPU_inference/ python fp8_cast_bf16.py --input-fp8-hf-path /path/to/DeepSeek-V3 --output-bf16-hf-path /path/to/deepseek-v3-bf16
加载镜像
在昇腾社区 / 开发资源下载适配 DeepSeek-V3 的镜像包：
mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64
完成之后，请使用 docker images 命令确认查找具体镜像名称与标签。
docker load -i mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64(下载的镜像名称与标签)
容器启动
提供的 MindIE 镜像预置了 DeepSeek-V3 模型推理脚本，从您信任的来源自行获取权重后，放置在从上述下载的模型代码的主目录下，修改模型文件夹属组为 1001，执行权限为 750，启动容器。
chown -R 1001:1001 /path-to-weights/deepseekv3 chowd -R 750 /path-to-weights/deepseekv3
服务化测试
配置服务化环境变量，expandable_segments-使能内存池扩展段功能，即虚拟内存特性。
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
修改服务化参数
cd /usr/local/Ascend/mindie/latest/mindie-service/ vim conf/config.json
拉起服务化
#设置显存比 export NPU_MEMORY_FRACTION=0.95 #拉起服务化 cd /usr/local/Ascend/mindie/latest/mindie-service/ ./bin/mindieservice_daemon
出现“Daemon start success!”，则认为服务成功启动。
