栏目分类
发布日期：2025-02-10 05:36 点击次数：67
这篇著作，我们来玩点花的！
放在几年前思玩NAS，一块J1900 J4125就能知足百分之八九十的需求了。
但放在今天各家国产厂商不停在nas上卷成就，n5105这类平台放在刻下商场上说真话王人照旧算是有点过期了，我们玩家关于NAS的需求亦然越来越高。从一出手的存储、相助、下载、汉典探听这类比拟基础的功能，到刻下王人在玩的影视奇迹、docker容器、诬捏机各样各样的软件奇迹王人思塞进一台小小的NAS里。
不错说巴不得用着低功耗U，干着志强的活是吧
那我们这篇著作，来整点能统共榨干NAS性能的活！在NAS中部署大讲话模子，得回一个随处随时的个东谈主问答助手
为什么选拔NAS部署大讲话模子那其实许多小伙伴比拟猜疑，为什么要选拔NAS来部署呢？用我方的PC部署弗成么？
使用NAS部署主要如故因为这类确立是7x24不阻隔地运行，思要用的期间径直投入webui界面就行。然则PC部署的话，若是你能接受你的电脑不关机运行其实亦然莫得问题的。
另外部署在NAS中，运算啥的王人是在腹地进行，不错灵验保护个东谈主隐秘安全。
同期也莫得在线AI那样严格的审查机制。就拿问答大模子刚出来那会儿，着名的“奶奶误差”，刻下使用在线AI基本上问不出来秘钥了。
然则若是使用较早小数的问答模子，如故能问出来秘钥的。
以致在一些版块的模子中，不需要借助奶奶的神力，径直问就能生成一串秘钥。
虽然你思问点面子的片子也不是弗成昂。不外在线的大模子这类“不太正当”的东西基本上就别思了。思要体验一下“无缺”大讲话模子的小伙伴，不妨不错随着我们在腹地部署一下。
思要在腹地部署大讲话模子，当先等于需要一台性能强悍的NAS确立，这里我们演示的确立是来自极空间的家用旗舰NAS Z423，搭载了迁移端锐龙5825U处理器，出厂自带32G内存，这个成就在刻下制品NAS中算得上终点强悍了！
部署历程这一次部署我们接受docker容器部署Ollama，底下来看到详备的成就历程
大开Docker，镜像，仓库，自界说拉取，输入这一溜代码ghcr.io/open-webui/open-webui:ollama。这个镜像比拟大，拉取的时辰比拟长，我个东谈主薄情在晚上睡眠的期间拉，这么一觉睡起来就拉取好了。我这里拉完花了五六个小时（晕
拉取完镜像，双击镜像出手部署容器，在基本确立处留心取消勾选性能限度，调用核显不错勾选（本色测试勾选跟不勾选调用核显，对CPU的占用划分不大
接下来确立文献夹映射，文献夹旅途处按照图中映射两个文献夹即可
终末确立一下端标语，腹地端口填一个莫得被占用的，容器端口默许就好了。
径直点应用 完成容器的部署，在容器野蛮处恭候泄露普通就阐明镜像普通运行了。
底下大开浏览器，输入极空间的IP + :端标语，就能投入webui界面。首次使用需要确立下科罚员账号以及密码。那由于我们这个是统共腹地运行的，是以这里的注册也不需要邮箱考据，整一个我方比拟好记的密码就好。
那需要留心的是，在这个界面运转动时创建的是科罚员账号。
若是若是创建其他用户账号，需要投入到确立内创建或者大开这个允许创建用户的开关。
进来后不错看到所有的界面等于中语的，若是你的界面不是中语的，在确立处将讲话改变成中语即可。
虽然刻下这个界面进行发问，是不会有任何回应的，因为我们仅仅部署好了docker镜像，还莫得部署问答模子。接下来我们来看模子的部署。
模子的选拔
在刻下的中语大模子中，名次序一的开源大模子应该等于通义千问Qwen2.5了，该模子包含了0.5B~72B的不同规格。
这里解说下这个B是什么原理，在部署历程中，这个B代表的等于使用确立的内存。比如0.5B，代表至少需要0.5GB的内存智力运行，32B则代表最少需要32B的内存。若是内存太小，在部署模子的期间，则会出现报错。
这里我们演示就使用qwen2.5 7B，相对来说回应速率也快，同期对性能条目也不算高。
我们这使用SSH部署模子的要津，在Docker容器野蛮界面，点击SSH，我们这部署Qwen2.5 7B，就径直输入Ollama run qwen2.5 7B，恭候拉取部署完成。
若是你思部署其它的模子，也不错投入ollama，找一些我方思要部署的模子，比如我们搜索meta的llama3，选拔模子的参数，将侧边的高歌行，输入到容器的SSH中就会自动拉取部署了
恭候SSH中泄露success就暗意部署完成，刻下不错径直在末端中径直发问，虽然也能投入webui界面进行发问。
投入webui界面，在左上方选拔模子，思用哪个就径直选拔谁就行。我们这里演示千问，模子的选拔处就选拔qwen就好。
发问的问题方面，我们以我方的本色使用情况演示下，比如查一些CPU的参数，就能欺诈问答大模子快速获取谜底。
那像我们还作念视频，有期间需要磋商一个剧本，然则没啥好的灵感，这期间也能欺诈问答大模子得回一些不同的灵感。
此外皮应用粗鲁的代码解说方面，我们也测试了下，除了能给出代码，还能及时展现编译出来的界面，不错说功能上终点浩荡了。
其他方面就靠世界的思象力了
在运行的期间，我们大开进度监控看下，这个CPU占用如故比拟高的。
在webui界面，还提供有下载选项，在侧边也不错选拔将其下载下来，花样不错选拔JSON、TXT、PDF。
那有的小伙伴会有疑问，思要在外网下使用大模子是不是还要搞穿透反代之类的，这里十分推选极空间自带的这个汉典探听功能，只需要在汉典探听内输入内网确立的IP以及端口，在外网下就能径直探听，不需要反代，终点的便捷。那这里我们输入webui的ip+端标语，这么在外网环境下也能探听家中NAS运行大模子了。
那么好了，以上等于本篇著作的通盘内容啦~诸君小伙伴也不错自行部署起来望望哦。
让我们下篇著作
重逢~