会员专属资源,本页面右侧点击加入会员后,在可在本页面右侧中部点击免费下载!

2G显存可用,阿里Qwen-1.8B整合包

  • 2023-12-24更新,增加CPU运行支持
    • 自动选择CPU还是GPU运行
    • CPU运行基础内存占用1.3GB,在i5-12600K CPU上4线程可以达到14-15token/s

通义千问-1.8B(Qwen-1.8B)是阿里云研发的通义千问大模型系列的18亿参数规模的模型。Qwen-1.8B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。

通义千问-1.8B(Qwen-1.8B)主要有以下特点:

  1. 低成本部署:提供int8和int4量化版本,推理最低仅需不到2GB显存,生成2048 tokens仅需3GB显存占用。微调最低仅需6GB。
  2. 大规模高质量训练语料:使用超过2.2万亿tokens的数据进行预训练,包含高质量中、英、多语言、代码、数学等数据,涵盖通用及专业领域的训练语料。通过大量对比实验对预训练语料分布进行了优化。
  3. 优秀的性能:Qwen-1.8B支持8192上下文长度,在多个中英文下游评测任务上(涵盖常识推理、代码、数学、翻译等),效果显著超越现有的相近规模开源模型,具体评测结果请详见下文。
  4. 覆盖更全面的词表:相比目前以中英词表为主的开源模型,Qwen-1.8B使用了约15万大小的词表。该词表对多语言更加友好,方便用户在不扩展词表的情况下对部分语种进行能力增强和扩展。

学术Fun将上述工具制作成一键启动包,点击即可使用,避免大家配置Python环境出现各种问题,下载地址: https://xueshu.fun/3410/在此页面右侧区域点击下载!

注意电脑配置如下

  • windows 10/11
  • 2G显存以上英伟达显卡

下载使用教程

  • 下载压缩包
    下载地址: https://xueshu.fun/3410/在此页面右侧区域点击下载!

  • 解压,最好不要有中文路径,解压后,如下图所示,双击启动.exe文件运行

  • 浏览器访问http://127.0.0.1:7860/,即可在浏览器使用

Qwen-1.8B除了显存需求低之外,还支持“系统指令跟随” 功能。通过调整系统指令,可以实现角色扮演,语言风格迁移,任务设定,和行为设定等能力,如下图所示可以让它扮演一个Python专家。

本站是综合资源网站,除了课程之外,还有常用软件,模板素材等内容。 开通会员账号之后,网站中的所有内容均可免费下载。

本站从2019年开始运行,截至目前已经有3年多时间,诚信经营,会员过万。 本站在国内外均有服务器,所有数据均有3级容灾备份,安全问题不用担心。

由于商品的特殊性,本站不支持退款,所以在开通会员之前,请确认你的需求。 如果不放心,可以先单独购买课程,或者开通体验会员体验,满意再升级其他会员套餐。

本站所有课程,均存储在阿里云盘和百度网盘中,可以在线观看,也可以下载后本地观看。

每一个课程页面,都有演示地址选项,点击链接可以跳转到课程发布网站查看详细课程列表。绝大部分课程都有试看内容,可以先点击试看,再决定是否购买。