手把手折腾ChatGLM本地部署
昨天刷论坛看到ChatGLM开源了双语模型，心痒痒想试试。想着公司3060显卡闲着也是闲着，不如装个本地版玩玩儿。结果从下载到跑起来折腾到半夜，裤衩都被坑湿了，必须记个血泪史。
找安装包就栽跟头
官网下载页花里胡哨的，鼠标滑了五分钟才在角落找到「模型下载」。点开直接傻眼——五个压缩包加起来80G！骂骂咧咧清空了D盘垃圾文件，蹲着等了半小时才下完。解压时系统还弹窗说磁盘空间不足，气得我拍桌子把咖啡震洒了。
小编温馨提醒：本站只提供游戏介绍，下载游戏推荐89游戏，89游戏提供真人恋爱/绅士游戏/3A单机游戏大全，点我立即前往》》》绅士游戏下载专区
安装全靠瞎蒙
照着GitHub教程敲命令，第一步就报错：
- ModuleNotFoundError：缺了transformers库
- pip install三次都卡在Building wheel
- 开着梯子照样timeout报红字
翻三年前的CSDN帖子，有人留言说用清华镜像源。抱着死马当活马医的心态在终端敲：
pip install -i 镜像源地址 transformers==4.27.1
结果进度条居然蹭蹭跑！感动得差点给无名网友烧香。
启动时显卡造反
满心欢喜输完启动命令，黑框框突然弹出CUDA out of memory。3060的6G显存被吃得干干净净，后台还开着微信和Chrome。骂骂咧咧关掉十个网页，把模型精度从float32改成int8，显存占用直接砍半。这回总算见到绿色提示符：Running on 地址:7860
输入问题等得犯困
网页里敲了句「周杰伦什么时候发新专辑」，进度条磨蹭两分钟才憋出：
- 「作词：方文山」
- 「编曲：林迈可」
- 「具体发行时间…（卡住）」
刷新页面直接白屏，后台显示显存爆炸。试着把上下文长度从2048砍到512，这回打字倒是快了，结果回答变成：「周杰伦是知名足球运动员」。得，这智商税交得真值。
翻出压箱宝
凌晨三点瘫在椅子上刷手机，突然看见吃灰群里有张截图——去年搞Stable Diffusion时存的显存优化参数。火速翻硬盘找到low_vram_*丢进配置文件夹，重启后加载速度暴涨三倍。虽然回答还是驴唇不对马嘴，至少能连续聊五轮不崩溃了。
今早到公司发现主机在冒烟，风扇积了层灰绒。保洁阿姨探头说：「小伙子半夜开拖拉机？」得，明天该写《如何给显卡清灰》了。
