硬件要求:
- 普通7B版模型:需⪄8G显存
- 7B的全量版本:需要大于等于16G左右的显存
- 2B轻量版:可用CPU,适合低配电脑安装
安装使用教程:
1、下载ollama 客户端【点击下载对应系统版本的客户端】
2、下载安装完成后运行CMD命令下载安装对于模型使用
普通7B版 安装指令:
ollama run gemma:7b
7B的全量版本:
ollama run gemma:7b-instruct-fp16
2B轻量版:
ollama run gemma:2b
3、耐心等待模型下载完成即可在cmd里直接使用,关闭后下次可重新打开cmd命令,运行上面命令使用,已下载的模型不会重复下载。
优点:
- 目前最强的开源AI模型
- 完全本地运行,断网运行,可极大保护隐私
- 不受网络模型审查影响。