更新日志 > 打靶归来!盛派 AI 提示词靶场初体验

 

本期文稿来自

盛派开发者社区主创成员姚圣伟

非常感谢他不辞辛苦

写了这么好一篇技术文章

当然这也是他第二篇投稿啦

上篇👉️:开箱即用的盛派 AI 应用

 

同时也欢迎大家积极荐稿

 
 
本篇正文如下
 

一、引言

随着类 ChatGPT 的大型语言模型进一步发展,我们可以看到的是:ta 逐渐渗透到人们的日常生活和工作中,彻底改变了人类生活和工作的各个方面,似乎已成定局。其发展速度可能比互联网还要快。这对于整个人类生产生活方式来讲,将是非常深刻的一次变革。

在现阶段,我们和 ChatGPT、文心一言、通义千问等大语言模型进行交互时,主要的还是利用提示词,掌握好提示词的用法,是我们有效利用 AI 工具提升我们工作学习效率的第一步。

 

1、什么是 Prompt 提示词

Prompt(提示词)是用于与人工智能(AI)对话系统进行交互时提供的指导性文本

Prompt 就像是一把引导对话的魔杖,它可以帮助我们更好地与 AI 进行交流。通过编写清晰、明确的提示词,我们能够准确表达自己的意图和问题,从而得到系统更精确的回答。Prompt 的好坏直接影响到对话的效果和用户体验,因此深入理解 Prompt 的重要性对于与AI进行有效的交流至关重要。

 

2、 现阶段我们使用提示词的痛点问题

正如苏老师在周三(2024年8月21日)的分享中所介绍的那个场景一样:

“如果大家用过一段时间大模型和提示词后,我们会发现,我们和大模型对话时,使用的提示词,一定不是’最好的’,一定不是我们最想要大模型给我们最满意答复的提示词。”

“为什么?”

“是因为我们还想得到更好的答案,我们心中想要的那个答案。”

直播回放👉️:盛派网络小助手微信视频号
B 站:盛派网络
 

换句话说,现阶段我们使用提示词的痛点问题大多在于,因为问题描述不够清晰导致生成的答复往往无法完全满足我们预期。可能我们在对话的前几次所的用提示词,所得到的大模型答复,要比这次最新的要更好。但是受限于对话次数,和相关平台能力的约束,我们无法再用之前条件,或者相同语境的上下文继续和大模型对话。

 

所以我们为了解决这个问题,为了我们能向我们所期望的目标不断进发,不断的完善和优化提示词,以便于我们命中🎯我们的目标,从而衍生出“提示词靶场”这个诉求。

 

而我们的最终目标是得到我们心目中的理想答案。正如软件工程要不断迭代,通过不断的“小步快跑”,从而不断完善我们的提示词工程,最终命中靶心!

 

二、盛派 AI 提示词靶场

1、什么是盛派AI提示词靶场

顾名思义,PromptRange(提示词靶场)是一个为 Prompt(提示词)优化而生的训练场,这是一个生态,你可以在 PromptRange 生态中获得一系列工具,帮助你快速落地提示词工程(Prompt Engineering)。

例如:

  1. 储存、比较、分析、优化提示词的各项性能,包括模型的适配性、效率、准确性……

  2. 获取或公开优秀的提示词

  3. 为应用场景生成匹配提示词的开发代码

  4. 交易提示词

  5. 待您发现….

盛派提示词靶场也是盛派 AI(Senaprc.AI)全家桶的一部分,盛派 AI 也是开箱即用的 AI 应用(具体的可以参考前篇文章“开箱即用的盛派 AI 应用”),ta 也是基于盛派 AI 标准,用 NCF 模块生成器独立构建的项目,我们可以轻松的集成到 NCF 里面,从而增强我们自有项目的 AI 特性。

备注:NeuCharFramework(NCF) 是一整套可用于构建基础项目的框架,包含了基础的缓存、数据库、模型、验证及配套管理后台,高度模块化,严格遵循 DDD 设计模式,具有高度的可扩展性。

NCF 项目地址(https://github.com/NeuCharFramework/NCF

本篇分享我们也将使用 NCF 项目来进行 Demo 介绍。

 

 

2、提示词靶场项目介绍

 

源代码地址🔗 https://github.com/Senparc/Senparc.AI.PromptRange

基于 Senparc.AI 的 SenparcPromptRange,提示词靶场的底层标准库。

目前可使用 Senparc.Xncf.PromptRange 开发基于 PromptRange 核心的应用,兼容 Web、桌面、手机等系统,请使用 .NET 6.0 或以上框架。

NeuCharFramework(NCF) 框架已经默认集成 Senparc.Xncf.PromptRange,

可无需修改任何代码,直接使用。

故我们只需要获取到 NCF 项目的代码即可体验盛派AI 提示词靶场啦~

那么接下来我们将结合NCF项目来带着大家一起感受一下提示词靶场!

注意:这里我们依然使用盛派开发者社区的纽插平台给我们免费提供的 AI大模型 Api key,如需获取,请联系小嗨,并参考之前的文章“开箱即用的盛派AI应用”进行食用。

 

三、盛派 AI 提示词靶场初体验

1、获取并运行盛派 NCF 项目

NCF 项目地址🔗https://github.com/NeuCharFramework/NCF

 

 

然后我们可以使用git工具对仓库进行获取

git clone 
https://github.com/NeuCharFramework/NCF.git

或者直接下载打包好的 zip 文件。

 

当我们克隆或者解压缩好项目后,我们能看到项目的文件夹结构如下图所示:

 

我们找到 src 文件夹 📂src,然后双击进入。

 

 

我们继续进入 back-end 文件夹📂 back-end,然后双击进入。

这就是我们 NCF 项目的后端文件夹,我们找到NCF.sln 解决方案,并双击打开。

 

我们看到盛派 AI 核心模块以及盛派 AI 提示词已经默认集成在 NCF 中。

所以我们无需任何操作,直接运行项目即可!

按下键盘 F5 或者在窗口的上方我们找到绿色的运行按钮点击即可启动!

 
 

当我们看到 NCF 的启动页面时,恭喜您!这就证明我们项目成功启动了!

我们继续点击“立即安装”,然后我们点击确定

 

会弹出 NeuCharFramework 初始化安装成功!的提示。

请注意保存好您的信息,此处的账号和密码肯定和您显示的不一样,以您电脑浏览器中显示的信息为准!

 

2、登录盛派 NCF 项目并安装 AI 核心及提示词靶场模块

我们继续点击“点击这里登录管理员后台”

 

将我们得到的管理员账号和密码分别复制粘贴到我们的登录页面中,然后点击登录。即可进入到 NCF 管理员后台界面

 

接下来展开扩展模块,点击模块管理,或者点击主页的模块统计数字区域,即可进入模块管理页面。我们需要对“提示词靶场”和“ AI 核心模块”进行安装!

 

1、安装提示词靶场模块,并点击开启按钮

 

请一定点击 “开启” 按钮

请一定点击 “开启” 按钮

请一定点击 “开启” 按钮

这是点击开启前的样子

 

这是点击开启后的样子

 

2、安装AI核心模块

 

请一定点击 “开启” 按钮

请一定点击 “开启” 按钮

请一定点击 “开启” 按钮

这是点击开启前的样子

 

这是点击开启后的样子

3、配置 AI 核心模块中的 AI 模型

我们从左侧的菜单中展开 AI 核心模块,并点击首页,即可打开模型管理列表页面,点击添加

 

我们看到可以选择的平台有很多,这里我们介绍继续使用 NeuCharAI(免费)获取办法请查看上篇分享“开箱即用的盛派 AI 应用”并联系小嗨申请并获取ApiKey。

 

模型类型也有很多,这里我们选择 Chat 聊天

 

请根据您的需要,配置模型名称

例如我们这里使用  gpt-4o

请您参考下图进行填写,ApiKey 和 Endpoint 请参考前一篇文章

一般是

"ApiKey": " da75c5******************891dc208", //在 https://www.neuchar.com/Developer/AiApp 申请

 

"Endpoint": "https://www.neuchar.com/", //查看 ApiKey 时可看到 DeveloperId

 

点击确定即可保存,我们会看到当前可以使用的模型列表(这里我们为了方便只演示盛派 NeuCharAI 的配置方式,后续文章我们会逐个进行演示配置,请大家敬请关注)

 

配置完成后,我们就可以使用提示词靶场进行打靶啦!

4、使用盛派 AI 提示词靶场

我们展开左侧提示词靶场列表,点击 PromptRange 进入提示词靶场打靶界面

 

 

然后我们点击新建靶场

 

输入靶场名称,并点击确定

 

这里我们可以参照苏老师的直播视频进行体验,或者我们简单的一起体验一下

我们点击选择模型,并选中刚刚我们创建的 NeuCharAI(请注意这里的名称是咱们之前创建模型时自定义的别名)

 

选中模型后,我们即可输入 Prompt 和该模型进行聊天。

例如,我们输入“你好呀!请问你是谁?” 并点击右下方的 打靶(或者叫连发) 按钮

 

非常快的,我们在右侧的位置会看到输出,非常快!

那么我们继续提问,体验提示词工程的魅力

例如,我们继续追问:“请问你是哪个大模型,具体模型名称和版本可以叙述一下么,你是 GPT-4 吗?”

并点击打靶,这里我们可以选择:重新瞄准,并点击确定

 

我们看的大模型输出内容是:“你好!我是基于 OpenAI的GPT-4 模型的一个语言助手。GPT-4 是 OpenAI 开发的一个先进的自然语言处理模型。如果你有任何问题或需要帮助,请随时告诉我!”

 

接下来我们简单使用一下提示词靶场的评分功能~

这里需要我们给出一下要求,以及评分规则

例如,在提示词中继续补充为:

“你好呀!请问你是谁?

请问你是哪个大模型,具体模型名称和版本可以叙述一下么,你是GPT-4吗?

请只回答是或者不是!”

 

然后点击 设置AI评分标准按钮

通过添加按钮,给出几个预期结果,然后点击关闭

 

继续点击打靶,进行打靶!

我们依然可以选择重新瞄准,点击确定~

 

我们可以看到输出返回“是”,并且根据咱们的预设置的评分标准,打出了 5 分(因为多了一个句号。)我们可以进行手动打分,给出 10 分(满意这个答复)。

 

这里我们发现还没有实现我们的理想预期(只回答是或者否,而不需要标点符号)

所以我们可以继续优化我们的提示词,告诉大模型:“我们不需要标点符号!”

 

点击打靶,依旧可以是重新瞄准,点击确定~

 

这时我们看到右上方已经是我们满意的回答啦!

 

继续连发打靶,以便于验证我们提示词的精准度和稳定性~

这里我们尝试“连发” 5 次(连续提问 5 次)

 
 

我们看到回答都是:是  且 AI 评分都是 10 分的满分💯

则证明,此时的提示词我们写得很完备了,是很优质的提示词,达到了我们的预期👍

 

在选择靶道中,我们也可以看到效果打靶的过程,以及在界面右下方我们能看到分数的趋势图。

 

至此,我们的提示词完善成功!让大模型返回给我们的信息,满足了我们预期内容,打靶成功归来~

当然,盛派提示词靶场的功能还有很多,例如参数模型中有很多的参数可以进行模型请求参数调整,我们还可以用更加丰富的提示词来验证我们的需求。这里请大家发挥自己的聪明才智,借助盛派AI提示词靶场,继续锻炼自己的提示词能力吧!

心动不如行动,加入我们,一起练起来~

日落西山红霞飞

战士打靶把营归 把营归

胸前红花映彩霞

愉快的歌声满天飞