arm
MCU
html
NAND
unix
趣味python
微控制器
通识
流程图
string
高精地图
firefox
分布式框架
选择器优先级
ldarg
学生网页作业
斐波那契数列
工业智能网关
空间权重矩阵
valid
长度外推
2024/9/6 7:47:42
qwen在vLLM下的长度外推简易方法
目的
在当前的版本vLLM中实现qwen的长度外推。
解决方法
在qwen的config.json中，增加如下内容： {"rope_scaling": { "type": "dynamic", "factor": 4.0}
}dynamic:动态NTK factor:缩放因子，外推长…