谷歌开源的AI大模型Gemma,本地部署教程。性能超Llama-2

113b d3abe33631c4993a1ac428e908f40ff1


硬件要求:

  • 普通7B版模型:需⪄8G显存
  • 7B的全量版本:需要大于等于16G左右的显存
  • 2B轻量版:可用CPU,适合低配电脑安装

安装使用教程:

1、下载ollama 客户端【点击下载对应系统版本的客户

2r.jpg 谷歌开源的AI大模型Gemma,本地部署教程。性能超Llama-2

2、下载安装完成后运行CMD命令下载安装对于模型使用

普通7B版 安装指令:

ollama run gemma:7b

7B的全量版本:

ollama run gemma:7b-instruct-fp16

2B轻量版:

ollama run gemma:2b

3、耐心等待模型下载完成即可在cmd里直接使用,关闭后下次可重新打开cmd命令,运行上面命令使用,已下载的模型不会重复下载。

优点:

  • 目前最强的开源AI模型
  • 完全本地运行,断网运行,可极大保护隐私
  • 不受网络模型审查影响。

发表评论