提示:此资源为会员专享。成为会员后,您可以在本页面右侧点击“免费下载”获取资源。

酷睿轻薄本CPU运行大型语言模型整合包

在传统观念中,运行如ChatGPT这类大型语言模型似乎总是需要依赖配备大显存的显卡。然而,最新的技术分享会向我们展示了一个新的可能性。英特尔针对其12代及13代酷睿处理器平台,开发了BigDL-LLM库。该库旨在优化并支持各类大型语言模型,使之能够在资源有限的设备上流畅运行,甚至在仅配备16GB内存的轻薄本上,也能够处理高达16B参数量的模型。目前,BigDL-LLM库已支持多个模型,包括LLaMA/LLaMA2、ChatGLM/ChatGLM2等。

为了简化使用流程,学术Fun将相关工具打包成一键启动包,免去用户配置Python环境的繁琐步骤。下载地址如下:https://xueshu.fun/3457/,请在页面右侧区域点击下载。

安装与使用指南

  • 下载安装包
    下载链接:https://xueshu.fun/3457/,页面右侧点击下载。

  • 解压后,您将看到如下图所示的文件结构,其中.exe文件是安装包,.bin文件是模型数据。

    文件结构图
    文件结构图
  • 双击.exe文件开始安装。

    安装步骤1
    安装步骤1
    安装步骤2
    安装步骤2
  • 完成安装后,桌面上将出现[AIGC大语言模型]和[AI Backend]两个快捷方式。

    [AI Backend] 是服务环境控制程序,负责启动和停止服务。

    [AIGC大语言模型] 是客户端程序,在服务启动后,用户可通过它进行交互。

    快捷方式
    快捷方式
  • 模型导入,默认安装程序不包含模型文件,请按照以下步骤导入模型:

    模型导入说明
    模型导入说明

    操作流程:

    1. 本地下载模型文件。
    2. 启动AI Backend。
    3. 在系统托盘区域右键点击AI Backend图标,选择“打开模型文件夹”。
    4. 将下载的模型文件复制到打开的目录中(默认路径:[安装目录]\LLM_Demo\checkpoint)。
    5. 再次右键点击系统托盘区的AI Backend图标,选择“启动服务”。

模型使用示例

  1. 中文模型应用,使用chatglm2-6b模型。

    中文模型应用示例
    中文模型应用示例
  2. 英文模型应用,使用llama2-13b模型。

    英文模型应用示例
    英文模型应用示例
  3. 代码生成,使用StarCoder模型。

    代码生成示例
    代码生成示例

在实际测试中,向模型提出了一些关于人情世故的问题,模型回答得既准确又迅速。一个问题的响应时间仅为658.87毫秒。

响应时间示例
响应时间示例

本站是综合资源网站,除了课程之外,还有常用软件,模板素材等内容。 开通会员账号之后,网站中的所有内容均可免费下载。

本站从2019年开始运行,截至目前已经有3年多时间,诚信经营,会员过万。 本站在国内外均有服务器,所有数据均有3级容灾备份,安全问题不用担心。

由于商品的特殊性,本站不支持退款,所以在开通会员之前,请确认你的需求。 如果不放心,可以先单独购买课程,或者开通体验会员体验,满意再升级其他会员套餐。

本站所有课程,均存储在阿里云盘和百度网盘中,可以在线观看,也可以下载后本地观看。

每一个课程页面,都有演示地址选项,点击链接可以跳转到课程发布网站查看详细课程列表。绝大部分课程都有试看内容,可以先点击试看,再决定是否购买。