我想装机了玩大模型聊天,不知道这个方案是否可行

四级用户 kjaboshopainmw 1月前 387

昨天晚上试了一下本地部署大模型聊天ai,发现我的垃圾手机跳一跳能够到4b参数的千问,八代i5笔记本跳一跳能够到14b参数的千问,当然都是重度量化过的

大显存显卡太贵(更大规模的模型估计要24G显存),不是我这种平民业余玩家能买得起的

所以我突发奇想,能不能买那种框框多的垃圾企业级CPU,32个框框估计勉强软解34b或者70b的模型

然后内存想加就加,也比显存便宜



上一篇:最近二游圈好热闹
下一篇:柜子里翻出8块显卡居然坏6块,列一下是怎么坏的,给大家作参考
最新回复 (2)
  • 管理员 Oldman 1月前
    0 2
    买买买,32核走起
  • 四级用户 ma_er233 1月前
    0 3

    买买买,双 128 核 Epyc 走起

    • 老男人游戏网配套论坛
      4
        立即登录 立即注册
发新帖
本论坛禁止发布SWITCH和PS4相关资源,若有其他侵权内容,请致邮3360342659#qq.com(#替换成@)删除。