windows安装ChatGLM3

news/2024/7/20 19:26:41 标签: windows, ChatGLM3, 大模型

ChatGLM3_0">1.下载ChatGLM3代码

https://github.com/THUDM/ChatGLM3
在这里插入图片描述

ChatGLM3_4">2.下载ChatGLM3模型

web端下载可以进入主页点击下载https://huggingface.co/THUDM/chatglm3-6b/tree/main模型文件太大,vpn下载太慢了,本文使用git命令下载
需要先安装git再安装git lfs才能下载大文件
注意:safetensors格式和bin格式选一个就行,safetensors格式更安全,bin格式更通用
在这里插入图片描述

2.1安装git

下载地址
下载后双击一路next安装完成
在这里插入图片描述
在这里插入图片描述

2.2安装git lfs

下载地址
下载后一路next安装
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.3下载模型

cmd进入下载位置,输入以下命令:

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

实际过程中git clone发现没有下载下来.bin文件,参考文章通过clone的方式,下载huggingface中的大模型(git lfs install),进入chatglm3-6b目录,执行git lfs pull,开始正确下载.bin文件
在这里插入图片描述

ChatGLM3_29">3.配置ChatGLM3代码

模型文件下载后可以将模型文件放到代码主目录新建models目录下,使用IDE打开代码文件,将所有的MODEL_PATH修改为正确的路径
在这里插入图片描述

ChatGLM3_32">4.安装ChatGLM3依赖环境并启动

4.1 pycharm启动项目

pycharm直接打开项目ChatGLM3-main,新建interpreter,注意python版本3.10,低版本很多语句会报错!!!

在这里插入图片描述

直接pip安装依赖,另外看pycharm提示缺啥安啥

pip install protobuf transformers>=4.30.2 cpm_kernels torch>=2.0 gradio mdtex2html sentencepiece accelerate  -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r  requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

所有依赖安装完成后,在terminal进入basic_demo运行cli_demo.py

在这里插入图片描述
其他几个basic文件里的都可以运行,web开头的运行是有界面的
本机实际运行web_demo_gradio,会提示quene.Empty,网上查询是说显卡爆了
运行web_demo_streamlit,不能直接使用python运行,会报错history未初始化,最后使用 streamlit run web_demo_streamlit.py 命令成功启动,streamlit使用会弹出邮件输入,输入邮件后正确运行
在这里插入图片描述
在这里插入图片描述

4.2没有pycharm的,首先安装conda,参考文章Conda 安装使用图文详解

下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.09-0-Windows-x86_64.exe
根据图形界面一路 Next
安装后配置环境变量,参考anaconda3配置环境变量
安装完成后在cmd输入conda有正确输出则安装成功
在cmd窗口进入
ChatGLM3项目,使用conda安装依赖

  • 根据conda创建python虚拟环境
conda create -n chatglm3 python=3.10
  • 激活chatglm3
conda activate chatglm3
  • 安装requirements.txt依赖
pip install protobuf transformers>=4.30.2 cpm_kernels torch>=2.0 gradio mdtex2html sentencepiece accelerate  -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r  requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple

运行命令过程中如果有个别库没安装好,使用pip单独重新装一下

cmd进入项目basic_demo运行cli_demo.py

python cli_demo.py

http://www.niftyadmin.cn/n/5360002.html

相关文章

双非本科准备秋招(13.1)—— 力扣 栈、队列与堆

1、103. 二叉树的锯齿形层序遍历 昨天做的二叉树的层序遍历,把代码直接拿过来。 这个题要求的是一个Z型遍历,如下图。 用一个变量f记录正反顺序,然后使用LinkedList记录答案,下图可以看到LinkedList继承了Deque,所以…

二、Gradle 与 Idea 整合

这里写自定义目录标题 1、Groovy简介2、Groovy 安装3、创建 Groovy 项目4、Groovy 基本语法5、在 idea 中创建普通 java 工程 1、Groovy简介 详细了解请参考:http://www.groovy-lang.org/documentation.html 2、Groovy 安装 下载后解压到本地 验证: …

浅谈开源软件的影响力

目录 1. 技术发展推动者: 2. 社区生态构建者: 3. 经济模式创新者: 4. 全球合作促进者: 5. 安全性贡献者: 6. 教育与人才培养: 7. 总结来说 1. 技术发展推动者: 开源软件作为技术发展的重…

2024美国大学生数学建模美赛选题建议+初步分析

总的来说&#xff0c;去年算是美赛环境题元年&#xff0c;去年的开放度是较高的&#xff0c;今年每种赛题类型相对而言平均了起来 提示&#xff1a;DS C君认为的难度&#xff1a;E<BCF<AD&#xff0c;开放度&#xff1a;DBCE<A<F。 以下为A-F题选题建议及初步分析…

千卡训练有效时间占比超过95%,蚂蚁集团AI Infra技术开源

近日&#xff0c;蚂蚁集团AI创新研发部门NextEvo全面开源AI Infra技术&#xff0c;可帮助大模型千卡训练有效时间占比超过95%&#xff0c;能实现训练时“自动驾驶”&#xff0c;这推动了AI研发效率。 &#xff08;图&#xff1a;蚂蚁集团的自动化分布式深度学习系统DLRover现已…

手把手教你如何打造一个高变现朋友圈

我们都知道&#xff0c;朋友圈运营得好&#xff0c;不仅可以带来关注度和曝光度&#xff0c;还能实现变现。 今天分享一些实用的技巧&#xff0c;教你如何在朋友圈中实现高效变现的方法。 1、内容规划 在打造高变现朋友圈的过程中&#xff0c;选题至关重要。选择热门、有趣、引…

文心一言 VS 讯飞星火 VS chatgpt (192)-- 算法导论14.2 2题

二、用go语言&#xff0c;能否在不影响红黑树任何操作的渐近性能的前提下&#xff0c;将结点的黑高作为树中结点的一个属性来维护&#xff1f;说明如何做&#xff0c;如果不能&#xff0c;请说明理由。如何维护结点的深度&#xff1f; 文心一言&#xff1a; 在Go语言中&#…

从0到1入门C++编程——06 类和对象之多态、文件操作

文章目录 多态1.多态基本概念2.多态案例——计算器3.纯虚函数和抽象类4.多态案例——制作饮品5.虚析构和纯虚析构6.多态案例——电脑组装 文件操作1.文本文件--写文件2.文本文件--读文件3.二进制文件--写文件4.二进制文件--读文件 多态 1.多态基本概念 多态是C面向对象的三大…