不用独立显卡,能在本地运行多种开源大模型的Ai工具GPT4All

什么是GPT4All?

GPT4All是一个能开源的、无需 GPU 或互联网、就能免费使用、具有隐私保障的聊天机器人。它可以可在消费级 CPU 和任何 GPU 上本地运行的大型语言模型,比如说最新的Mistral 7b 基础模型。请注意,您的 CPU 需要支持AVX 或 AVX2 指令

项目github地址】【官方网站

安装:

1、去官网下载对应系统GPT4All安装程序,我们以Windows系统为例【官网下载Windows客户端

2、【官方网站】下载想用的大模型数据,建议mistral-7b的大模型。如果下载不了,我们也已经把Windows安装程序和mistral-7b-openorca.Q4_0和gpt4all-falcon-q4_0.gguf 两个大模型一上传到网盘。【百度网盘下载

3、下载完成后运行安装程序进行安装即可,很简单就细说了。

使用:

1、安装完成后,运行GPT4All,点击右上角设置(齿轮)- Application设置下模型下载存放的目录即可。

进入设置
现在模型下载存放目录

2、关闭GPT4All后重新进入,就可以看到已经下载好的模型,选择想要使用的模型,在下面的聊天框里就可以和AI愉快的玩耍了。

经过简单使用,总结下优缺点:

缺点:

1、以最新Mistral 7b 基础模型模型为例,经过简单的使用,其英文方面能力远大于中文能力。

2、相对于OpenAI GPT4等商业大模型还有较大差距,并不能完全替代ChatGPT,但已经是能用状态。

3、就算不用独立显卡,对CPU还是有一定要求的,就算是支持AVX 或 AVX2 指令的cpu,如果性能比较低,那速度也会变的非常感人。

优点:

1、在可用状态下完全免费

2、支持多种开源大模型

3、可以本地运行,在隐私方面将得到更好的保障

4、使用门槛较低,大部分主流配置的电脑和系统都可以运行。

5、各种开源大模型虽说目前还远远不能和GPT4等顶尖的AI对比,但它对打破少数机构对新科技的垄断,提高竞争,对普通大众和技术发展来说都是很有帮助的。

发表评论 取消回复

退出移动版