由于我们公司的行业数据比较敏感，不能用公开的接口或者服务，领导突发奇想想本地化部署ds辅助工作。\n踩了无数坑，终于算是有了一版本能用的方案，搞了个低量化满血r1，和一个32b版本当主力，下班路上发个帖纪念一下。\n最终采用了docker-ollama+本地openwebui魔改的组合部署方案，也试了很多其他的路子，但由于我们的gpu服务器系统有点老，又不能直接刷系统，最终磕磕绊绊，打了无数个补丁填了无数坑，4天成功落地这个方案。\n这套魔改后的方案优点还是挺多的，支持多卡，多模型；支持系统内存填补显存，可以跑起来更大参数的模型（最终强行跑了个满血r1，很卡，实际上不打算开放给全公司用，打算自己偶尔偷偷用）；可以多用户配置；用户权限设置；可以配置对话高级参数（比如温度，频率惩罚等）；可以多模型同时对话等等。\n由于我们只能离线运行，所以还有一些模板自带的强大的功能没法用，比如联网搜索，通用工具，线上模型api调用等等。\n最后，奉劝企业想自己部署的各位老板和牛马们，如果不是使用量非常大，或者行业跟我们一样数据敏感必须离线，或者预算非常多，自己部署基本上体验不会太好，能用在线版本就用，目前开放的各种ds服务还挺多的，比自己踩坑又省钱又省事。\nps：如果有本地企业部署需求又不会弄的，我可以请假驻场支持部署（仅限北京），收个双倍加班费不过分吧\n#deepseek #deepseek部署 #企业部署 #企业部署deepseek
