找回密码
 立即注册
  • QQ空间
  • 回复
  • 收藏
返回列表 发新帖

Macmini 本地部署Deepseek 70b模型

Thomascron 2025-4-15 17:36:57 显示全部楼层 阅读模式 打印 上一主题 下一主题
跑70b模型每秒大概5tokens/s, 速度有些慢
换了32b模型推理速度能翻一番，10tokens/s左右，但至少比5080强，不会爆显存
M4pro 64G的满血配置，具体见截图左下角生成信息

Macmini 本地部署Deepseek 70b模型-1.jpg

Macmini 本地部署Deepseek 70b模型-2.jpg

Macmini 本地部署Deepseek 70b模型-3.jpg
回复

使用道具 举报

大神点评（9）

Thomascron 楼主 2025-4-15 17:37:47 显示全部楼层
两个模型都是4-bit量化的哈，要不这点内存还是远不够用
回复 支持 反对

使用道具 举报

Chardtooma 2025-4-15 17:38:02 显示全部楼层
厉害，gpu在工作吗，还是纯内存cpu在跑
回复 支持 反对

使用道具 举报

brain 2025-4-15 17:38:33 显示全部楼层
用lm配置了没反应  你这有教程吗
回复 支持 反对

使用道具 举报

下应用 2025-4-15 17:38:57 显示全部楼层
打游戏方便吗
回复 支持 反对

使用道具 举报

Williamalek 2025-4-15 17:39:23 显示全部楼层
16G的丐版可以跑吗？刚入手了个 请教大神怎么跑
回复 支持 反对

使用道具 举报

ududt 2025-4-15 17:40:11 显示全部楼层
5tps还行，勉强能用
回复 支持 反对

使用道具 举报

duddYSubo 2025-4-15 17:40:29 显示全部楼层
我部署8b的，跑十分钟机器外壳温热，你的机器温度如何？
回复 支持 反对

使用道具 举报

man910 2025-4-15 17:40:49 显示全部楼层
咱俩一样的配置，一样的速度。我感觉还可以，起码能跑70b了。但是画图速度还是差了很多。期待ultra512内存上市能便宜些，这样就可以抛弃pc架构了
回复 支持 反对

使用道具 举报

返回列表 发表新帖

说点什么

B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册
HOT • 推荐
Thomascron注册会员
广告招商 TEL : 13564712211
微信扫一扫