• <li id="m4mkm"></li>
  • <bdo id="m4mkm"></bdo>
  • 0
    • 聊天消息
    • 系统消息
    • 评论与回复
    登录后你可以
    • 下载海量资料
    • 学习在线课程
    • 观看技术视频
    • 写文章/发帖/加入社区
    创作中心

    完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

    3天内不再提示

    【比特熊充电栈】实战演练构建LLM对话引擎

    微软科技 ? 2023-09-19 13:40 ? 次阅读

    大模型时代,安全问题不容小觑。但如果把大模型比作孙悟空,那 NVIDIA NeMo Guardrails 就是“安全护栏”,可以轻松的为基于 LLM 的对话系统添加可编程护栏,来避免大语言模型输出违法违规内容,并通过自定义方式响应用户特定请求,按照预定义的对话路径进行操作,以及使用特定的语言风格进行回答。

    如何在 Azure 中搭建 NeMo Guardrails 环境,将 NeMo Guardrails 与 Azure OpenAI 结合使用,构建更加安全可靠的 LLM 对话引擎?本期【比特熊充电栈】NVIDIA 企业级开发者社区经理李奕澎,将为大家解读 NeMo Guardrails 中的 Colang 语言,以及进行将 NeMo Guardrails 与 Azure OpenAI 结合使用的代码实战,见证安全 LLM 对话引擎的构建。

    8c70f784-56ae-11ee-939d-92fbcf53809c.png

    李奕澎

    NVIDIA 企业级开发者社区经理

    NLP,Conversational-AI,LLM

    Colang 语言

    定义 LLM 对话引擎

    NeMo Guardrails 中的 Colang 语言,是一种用于对话式人工智能的建模语言,能够定义护栏。它的目标是为用户提供一个可读可扩展的,使用自然语言定义或控制对话机器人的行为的语言。

    Colang 语言已经作为 NeMo Guardrails 的内核来使用。Colang 语言像电影的编剧,用户和机器人是演员,通过 Colang 语言,可以定义用户的信息、机器人信息和 Flow,把机器话语和用户话语进行对话逻辑上的连接。

    Colang 语言中常用的关键词包括 bot, break, continue, create, define 等,能够帮助开发快速上手使用,降低对话式 AI 领域的学习门槛。

    8c8fd7c6-56ae-11ee-939d-92fbcf53809c.png

    NeMo Guardrails 与 Azure OpenAl 的结合使用

    搭建 LLM 对话引擎

    在上一期【比特熊充电栈】中,已经详细解读了在 Azure 中搭建 NeMo Guardrails 环境的步骤,包括申请 Azure 账号,开通 Azure Machine Learning 服务,安装 OpenAI、NeMo Guardrails,开通 Azure OpenAI 服务等。搭建完成后,才能将 NeMo Guardrails 与 Azure OpenAl 结合使用。

    NeMo Guardrails 与 AzureOpenAl 结合使用,构建更加安全可靠的LLM对话引擎,还需要通过以下步骤进行操作:

    ?导入 NeMo Guardrails 大模型护栏及 RailsConfig 护栏配置文件工具类;

    ?从 langchain 中导入 Azure Chat OpenAI 工具类;

    ?传入 Azure OpenAI 的 API-KEY、endpoint、deployment_name、对应的版本信息等关键参数,就可以实例化一个大模型;

    ?调用 NeMo Guardrails 大模型中的 from_content 变量,读取 Colang_Config2 文件和 Yaml_Config 配置文件,就可以实例一个安全的聊天机器人 App;

    ?调用 App 中的 generate_async 函数,输入用户的问题语句,机器人就会给出对应的回答。

    8cce70ee-56ae-11ee-939d-92fbcf53809c.png

    NeMo Guardrails

    自定义 LLM 对话引擎应用

    NeMo Guardrails 除了支持 Azure OpenAI 外,还支持很多对话引擎大模型,包括 AI21labs、Cohere、Hugging Face、GPT4All 等。调用对话引擎大模型,首先要自定义一个大语言模型的 class:从 langchain 中导入 BaseLanguageModel,从 NeMo Guardrails 中导入 register_llm_provider,自定义大语言模型的 class 并注册。

    以 Hugging Face 为例,调用对话引擎大模型的步骤如下:

    ?创建并初始化一个构造函数,调用父类的构造函数来初始化这个类的实例;

    ?然后指定大模型的 ID,调用 HuggingFacePipeline class 中的 from_model_id 函数,输入对应大模型 id,定义 device、task 和模型参数;

    ?然后定义返回、自定义函数,以字符串的形式返回大语言模型的类型,在 langchain 中分别同步调用和异步调用自定义 LLM。

    8d01f4d2-56ae-11ee-939d-92fbcf53809c.png

    声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
    • 微软
      +关注

      关注

      4

      文章

      5784

      浏览量

      102640
    • NVIDIA
      +关注

      关注

      14

      文章

      4253

      浏览量

      100413
    • OpenAI
      +关注

      关注

      8

      文章

      345

      浏览量

      5201
    • 大模型
      +关注

      关注

      2

      文章

      481

      浏览量

      200
    • LLM
      LLM
      +关注

      关注

      0

      文章

      83

      浏览量

      74
    收藏 人收藏

      评论

      相关推荐

      《ZigBee入门与实战演练

      实战演练》比较好奥,大家可以看看啊
      发表于 03-27 20:48

      蓝牙杀手锏-超强蓝牙4.0实战学习演练(全套)

      实战学习
      发表于 02-26 16:23

      资料共享:嵌入式网络那些事LwIP协议深度剖析与实战演练

      发表于 06-12 13:43

      嵌入式网络那些事LwIP协议深度剖析与实战演练

      发表于 04-02 10:44

      《蓝牙4.0实战演练》 第二版--网蜂

      演练,有实战,不错的学习手册
      发表于 10-26 18:03 ?210次下载

      FPGA II实战演练V1.0

      实战演练V1.0,感兴趣的小伙伴们可以瞧一瞧。
      发表于 11-05 14:48 ?12次下载

      基于Python 算法实战系列“”的干货解析

      (stack)又称之为堆栈是一个特殊的有序表,其插入和删除操作都在顶进行操作,并且按照先进后出,后进先出的规则进行运作。本文使用Python和来进行实例实战来加深对的理解。
      的头像 发表于 02-05 14:55 ?3044次阅读
      基于Python 算法<b>实战</b>系列“<b>栈</b>”的干货解析

      百度大脑发智能对话引擎推出客服、消费电子及出行三大方案

      对话引擎及产品发布会在京举行,推出全新的智能对话引擎和三大场景解决方案。据了解,这次百度大脑发布的对话系统定制平台UNIT3.0拥有9大特性,还在搭建技能、构建知识和整合技能与知识三方面实现升级。
      的头像 发表于 05-17 16:35 ?3527次阅读

      HarmonyOS测试技术与实战-HarmonyOS自研图形总结

      实战-HarmonyOS自研图形总结
      的头像 发表于 10-23 15:47 ?1177次阅读
      HarmonyOS测试技术与<b>实战</b>-HarmonyOS自研图形<b>栈</b>总结

      比特充电】Azure OpenAI 特辑,满电待充

      比特充电】AOAI 系列,助力开发者,满电出发! 【比特充电】是【比特直播间】以技术为导向的“真”直播栏目。邀请微软内部工程师、
      的头像 发表于 04-03 01:05 ?220次阅读

      6 月 27 日研讨会 | 使用 NeMo 结合 AI21 studio 搭建中文场景对话引擎

      LLM 的 中文场景对话引擎 ★ 内容 NVIDIA NeMo TM 是一款供开发者构建和训练先进的对话式 AI 模型的开源
      的头像 发表于 06-19 19:15 ?105次阅读
      6 月 27 日研讨会 | 使用 NeMo 结合 AI21 studio 搭建中文场景<b>对话</b><b>引擎</b>

      周二研讨会预告 | 使用 NeMo 结合 AI21 studio 搭建中文场景对话引擎

      LLM 的中文场景对话引擎 ★ 内容 NVIDIA NeMo TM 是一款供开发者构建和训练先进的对话式 AI 模型的开源框架
      的头像 发表于 06-26 19:35 ?77次阅读
      周二研讨会预告 | 使用 NeMo 结合 AI21 studio 搭建中文场景<b>对话</b><b>引擎</b>

      比特充电】Azure OpenAI 守护大模型数据与安全!

      构建更多创新应用,释放数据价值,加速降本增效。 但在大模型实际应用的过程中,还面临着海量的知识库数据难梳理、难理解,大语言模型 LLM 应用安全性等挑战。 智能技术如何助力企业化解大模型应用中的种种挑战和难题? 本期 【
      的头像 发表于 09-12 00:10 ?145次阅读

      比特充电】开启 GitHub Copilot 开发之旅

      实战? 本期 【比特充电】 特邀 GitHub 原厂工程师和微软资深专家,共同开设 GitHub Copilot 工作坊 ,介绍如何在现有 A
      的头像 发表于 09-22 00:20 ?60次阅读
      私人尢物精品无码不卡
    • <li id="m4mkm"></li>
    • <bdo id="m4mkm"></bdo>