qwen在vLLM下的长度外推简易方法

news/2024/7/20 19:21:14 标签: qwen, 长度外推, 大模型

目的

在当前的版本vLLM中实现qwen的长度外推。

解决方法

在qwen的config.json中，增加如下内容：


{
  "rope_scaling": { 
    "type": "dynamic", 
    "factor": 4.0
  }
}

dynamic:动态NTK
factor:缩放因子，外推长度=原始长度*缩放因子

http://www.niftyadmin.cn/n/5333432.html

响应式Web开发项目教程（HTML5+CSS3+Bootstrap）第2版例4-3 textarea

代码 <!doctype html> <html> <head> <meta charset"utf-8"> <title>textarea</title> </head><body> <h2>多行文本框:</h2>  …

【NI国产替代】USB‑7846 Kintex-7 160T FPGA，500 kS/s多功能可重配置I/O设备

Kintex-7 160T FPGA，500 kS/s多功能可重配置I/O设备 USB‑7846具有用户可编程FPGA，可用于高性能板载处理和对I/O信号进行直接控制，以确保系统定时和同步的完全灵活性。您可以使用LabVIEW FPGA模块自定义这些设备，开发需要精确定时…

QT - qwtplot3d-3D图标

QT - qwtplot3d-3D图标一、演示效果二、关键程序三、下载链接一、演示效果二、关键程序 #include "qwt3d_axis.h"using namespace Qwt3D;Axis::Axis() {init(); };Axis::~Axis() { }Axis::Axis(Triple beg, Triple end) {init();setPosition(beg,end); }void Axi…

ubuntu服务日志分析——journalctl

简介对于使用 systemd 服务的 Linux 发行版来说，journalctl 命令提供了详细且经过筛选的日志视图，是获取 Linux 重启历史记录的得力工具 systemd帮助我们记录了系统在运行过程中的所有日志信息，无论是重启前还是重启后，都会有保…

eBPF运行时安全

引言 eBPF作为当前linux系统上最为炙手可热的技术，通常被用于网络流量过滤和分析、系统调用跟踪、性能优化、安全监控，当下比较知名的项目有Cilium、Falco等。 Cilium 是一个开源的容器网络和安全性项目，致力于提供高效的容器通信和强大的安…

爬虫系列实战：使用json解析天气数据

大家好，爬虫是一项非常抢手的技能，收集、分析和清洗数据是数据科学项目中最重要的部分，本文介绍使用json解析气象局天气数据。在官网上获取天气数据信息，可以定义当前查询的位置，提取时间、温度、湿度、气压、风速等…

Docker（一）简介和基本概念

作者主页： 正函数的个人主页文章收录专栏： Docker 欢迎大家点赞 👍 收藏 ⭐ 加关注哦！ 一、简介本章将带领你进入 Docker 的世界。什么是 Docker？ 用它会带来什么样的好处？ 好吧，让我们带…

QT基础篇（8）QT5模型视图结构

1.概述 QT5的模型视图结构主要包括模型（Model）、视图（View）和委托（Delegate）三个部分。模型（Model）：模型是数据的抽象表示，负责存储和管理数据。它可以是自…

qwen在vLLM下的长度外推简易方法

目的

解决方法

相关文章