会员专属资源,本页面右侧点击加入会员后,在可在本页面右侧中部点击免费下载!在个人中心签到,可白嫖会员!

无需环境配置,阿里通义千问-7B-Chat本地一键体验

介绍(Introduction)

通义千问-7B(Qwen-7B) 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。

学术Fun将上述工具制作成一键启动包,点击即可使用,避免大家配置Python环境出现各种问题,下载地址: https://xueshu.fun/2809/

整合包使用教程

  • 在本页面右侧下载压缩包

    下载地址: https://xueshu.fun/2809/

  • 解压后,如下图所示,双击bat文件运行

  • 浏览器访问http://127.0.0.1:7860/,即可在浏览器进行对话啦

量化(Quantization)

此次整合的一键安装包默认采用BF16精度,占用显存16G左右。

Precision MMLU Memory
BF16 56.7 16.2G
Int8 52.8 10.1G
NF4 48.9 7.4G

如希望使用更低精度的量化模型,如4比特和8比特的模型,可参考以下代码修改文件夹里’app.py’文件。

import os
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

from transformers import BitsAndBytesConfig
import torch
model_id = 'qwen/Qwen-7B-Chat'

quantization_config = BitsAndBytesConfig(
            load_in_4bit=True,
            bnb_4bit_quant_type='nf4',
            bnb_4bit_compute_dtype=torch.bfloat16)

pipe = pipeline(
            task=Tasks.chat, model=model_id, device_map='auto', quantization_config=quantization_config)

history = None

text = '浙江的省会在哪里?'
results = pipe(text, history=history)
response, history = results['response'], results['history']
print(f'Response: {response}')
text = '它有什么好玩的地方呢?'
results = pipe(text, history=history)
response, history = results['response'], results['history']
print(f'Response: {response}')

上述方法可以让我们将模型量化成NF4和Int8精度的模型进行读取,帮助我们节省显存开销。我们也提供了相关性能数据。我们发现尽管模型在效果上存在损失,但模型的显存开销大幅降低。

本站是综合资源网站,除了课程之外,还有常用软件,模板素材等内容。 开通会员账号之后,网站中的所有内容均可免费下载。

本站从2019年开始运行,截至目前已经有3年多时间,诚信经营,会员过万。 本站在国内外均有服务器,所有数据均有3级容灾备份,安全问题不用担心。

由于商品的特殊性,本站不支持退款,所以在开通会员之前,请确认你的需求。 如果不放心,可以先单独购买课程,或者开通体验会员体验,满意再升级其他会员套餐。

本站所有课程,均存储在阿里云盘和百度网盘中,可以在线观看,也可以下载后本地观看。

每一个课程页面,都有演示地址选项,点击链接可以跳转到课程发布网站查看详细课程列表。绝大部分课程都有试看内容,可以先点击试看,再决定是否购买。