【AI Agent极限挑战赛】三大赛题揭晓

2024-08-22 11:33:18

大赛组委会

由AIGC开放社区联合联想拯救者、英特尔共同主办的【2024 AI Agent极限挑战赛】于8月17日在上海中庚聚龙酒店成功举办。赛事全面考察参赛者将AI技术应用于实际问题的能力。比赛内容包括对大语言模型的理解、提示词(Prompt)的结构化调优技术、个人助理Agent的开发,以及利用大模型生成文本、图片和视频等多种内容的能力。

赛事共设置“舆情热点话题文章全自动写作大师“AI系统运维数据分析师“AI面试官”三道题目。我们以文章形式发布详细的赛题说明,供大家参阅,错过比赛的小伙伴们感兴趣的话可以自行挑战下哦~

 赛题1:舆情热点话题文章全自动写作大师(满分80分) 

 

一、赛题背景

随着社交媒体的迅猛发展,信息传播的速度和广度已达到前所未有的高度。文案工作者在海量信息中获取所需内容并进行汇总整理的需求日益迫切。本赛题旨在为专业用户提供更为高效的新闻信息线索获取和社媒观点汇总稿件的功能,将聚合的信息汇总为一篇结构清晰、图文并茂的长文章。

二、流程概述

1、用户输入一个文章标题,Agent自动从社交媒体(如今日头条、微博、知乎、百度等)获取该新闻标题相关的话题、推文、评论以及流量传播情况;

2、聚合相关的话题、内容和热门评论

3、将聚合的所有信息,自动汇总成为一篇长图文的文章,可包含文章导语、脉络信息(如有)、配图、分内容小节、文章标签、结束语(均为可选)等,形成一篇图文并茂的文章内容。

4、将文章内容保存成为在线word,并返回链接给用户,注意权限。或直接返回图文内容。

三、构建功能点要求

构建1个Agent并构建对应的工作流。

1、聚合的内容来源,可任选其一的社交媒体或自媒体平台,推荐今日头条,也可选择汇总多个汇总的来源渠道(加分),配合搜索引擎等进行内容汇总整理

2、如汇总内容较多,超出大模型的上下文,需要把每一条聚合的内容(推文、评论、文章等)进行提炼总结,保证内容素材和最终生成文章不超出上下文

3、配图可选(加分),可以根据内容生成,或使用插件搜索花瓣、百度等相关配图,或根据锻炼内容自动生成每段配图

4、若无法直接将配图插入到文档中,也可以只插入图片的url链接。tips:使用<img>标签插入云文档图片

5、文章内容可体现出,相关的话题在社交媒体上不同讨论的网友的观点,如正向的、反向不赞同的、较为理性的、吃瓜性质的…等,体现文章观点的丰富性

四、交付的结果要求

1、构建Agent,可进行对话

2、构建对应工作流

 

 赛题2:AI系统运维数据分析师(满分80分) 

一、赛题背景

服务器每天会产生大量的日志数据,例如数据库运行日志,服务器登录日志、防火墙入侵日志、代理服务器运行日志等等,传统的运维人员工作强度大,而且往往依赖于人的经验积累和知识的不断积累。且运维人员短时间无法处理大量日志数据,而使用固定规则编码进行日志内容分析,不够灵活和弹性,无法实现对于多类型、多系统、未知的日志数据做到“自适应”分析统计的目标。

借助于大语言模型,我们得以一定程度上解决统计分析的问题,让普通人员无需专业的运维知识或开发的经验,即可实现对不同系统、不同业务数据进行快速分析和可视化。并且依托于大模型的海量知识,结合本地的知识库(如企业运维手册),来进行全面的问题定位和排查,并出来相应的建议。

二、流程概述

a.读取运维日志数据。共计两份:

(1)mysql_log_one 

(数据获取https://aigcopen.feishu.cn/docx/Ux0PdmZSyoyg76xG0sOcQaW6nac),

(2)mysql_log_two

(数据获取https://aigcopen.feishu.cn/docx/WlnDdhQUPoyQAVxqlMtcZGeanV4)

b.大模型+工作流处理并分析数据

c.将多个分析后的数据结果进行合并归集

d.统计多维度,如日志信息、最后出现时间、出现次数、最小(大)间隔时间、平均间隔时间等,并针对不同日志分类(如error、warning、info等不同等级)进行建议处理和如何修复的信息。

e.(进阶)可结合本地的知识库(可选-本地运维手册-OPENAIGC开发者大赛.pdf  https://aigcopen.feishu.cn/file/JHzrb9WJloYNgYxpCwCcVs3Mn4f)进行更精确的分析处理

f.生成统计分析图表,尽可能详细和直观,可生成多张

g.(进阶)生成分析报告,包含分析图表+问题建议/修复建议+总结归纳,将内容写入到在线文档中(word),并返回文档访问地址

三、构建功能点要求

构建1个Agent:

a.可根据指令读取多条日志数据并准确进行统计分析(可分批次汇总日志统计结果,最后汇总所有结果,另注意处理长文本可能会超出LLM的最大的上下文长度)

  (数据统计示例)

b.可根据时间范围和日志等级进行筛选分析统计

c.对特定的问题,搜索问题修复或者建议处理方式

d.可根据指令生成分析报告

e.(进阶)如果构建了本地知识库进行向量处理,则以本地知识库搜索为主+大模型本身的知识进行分析和给出处理方案。(在本赛题包中的“本地运维手册-OPENAIGC开发者大赛.pdf“,点击下载后使用)

f.可以输出统计图表(如下2个图参考)进行直接展示

g.可按照指令,对分析结果生成完整的分析报告,构建对应的工作流,来满足Agent调用执行需求。

四、交付的结果要求:

1、构建1个Agent,进行对话和发出指令,获得结果等

2、对应的工作流

赛题3:AI面试官(满分120分)

 

一、赛题背景

在现代招聘流程中,面试是评估候选人能力和匹配度的关键环节。然而,传统面试过程通常耗时耗力且主观性较强,需要一定的人力资源投入。本赛题旨在通过AI大模型技术的应用,实现自动化面试问答及候选人能力分析,提高招聘效率和准确性。

二、流程概述

1、读取招聘职位需求表格(职位候选人名单&招聘列表-2024拯救者杯Agent大赛),包含岗位名称,职位要求,个人能力要求,招聘数量,招聘负责人,负责人邮箱,发布时间,是否关闭等字段。

2、读取候选人面试表格(职位候选人名单&招聘列表-2024拯救者杯Agent大赛):包含候选人基础信息(ID、姓名、邮箱、竞选岗位等信息)Excel表格

3、读取简历PDF内容(赛题-简历数据.zip),用于后续分析和问答处理。

下载简历数据,构建本地向量知识库,知识库里包含不同职位的候选人投递的简历,从知识库中提取候选人的信息。

4、招聘负责人通过Agent自动发送候选人的AI面试链接:发送面试Agent的访问链接给候选人,使其能够开始面试问答过程。

5、面向候选人的agent收集基础信息:收集必要的基础数据(面试id或姓名),并读取对应的PDF简历和招聘需求。

6、根据面试Agent多轮的面试问答:可针对面试者简历以及职位招聘要求,进行包含基础信息问答,如实操写代码,写文案,或其它能力考核,自动对面试者进行多维度的评判(例如包括职业能力匹配度、基础职业素养、工作经验等多个方面,可参考下方职业能力考察维度)。并更新候选人面试情况表(excel)

7、对每个候选人,进行综合打分,并生成能力分析图表,并插入到对应的候选人下,可以是单独的以候选人命名的sheet或者候选人列表中的字段均可

8、邮件通知招聘负责人,候选人完成AI面试:每当有候选人完成AI面试问答,系统将自动发送邮件通知面试官,提示其查看候选人的面试情况,并附带excel附件或在线文档链接。

9、招聘负责人可随时根据招聘的进展进行问答,对应的Agent应能够根据存储的面试进展进行准确回复。

10、发送邮件offer通知:可以根据招聘负责人要求,对符合的候选人发送邮件offer通知

三、构建功能点要求

构建2个Agent:

1、针对职位候选人的面试问答Agent的构建:

a.对当前候选人进行基础的信息收集

b.匹配招聘表格数据以及简历信息

c.对候选人进行交互式问答,(可针对面试者简历以及岗位要求,进行包含基础信息问答,实操写代码,写文案,或其它),需要明确问答不应超过5轮且不超出大模型的上下文

d.结合候选人简历、问答内容以及招聘需求,对候选人进行多维度的评判,以及打分,更新候选人面试情况表(excel)

e.完成问答后,邮件通知招聘负责人(统一发送的邮箱为:422342158@qq.com,测试阶段可以修改为其他邮箱),邮件需附带云文档的链接,以及队伍分组id+名字

f.对当前岗位要求和个人能力的要求进行回复

2、针对招聘负责人的招聘Agent的构建:

a.查询特定职位招聘的情况

b.询问当前是否有未完成AI面试的候选人,以及具体的情况

c.对未完成AI面试的候选人,进行全部或条件筛选后,自动发送AI面试申请邮件

d.查询特定候选人的面试情况

e.查询特定或条件范围内的候选人,面试后的多维度评价分析、得分或其它的所有信息

f.查询整体的招聘情况进展

g.查询招聘职位所有候选人的情况并进行数据统计和分析,生成图表

h.对符合要求的候选人,发送邮件offer通知候选人

开发过程中,表格中的候选人邮箱以及招聘负责人的邮箱,可以修改为自己的邮箱,最终提交作品后,候选人以及招聘负责人的邮箱,请全部修改为:422342158@qq.com ;

构建对应的工作流,来满足Agent自动化的调用执行需求。

四、赛题数据包下载

a.简历数据,打开后右上角下载即可:赛题-简历数据.zip https://aigcopen.feishu.cn/file/X17gbPP3VogrAZxU67PcgBE2nWd

简历数据请下载到本地,上传到系统中,进行向量化的知识库构建。

b.简历对应的招聘需求和候选人情况表:职位候选人名单&招聘列表-2024拯救者杯Agent大赛(获取地址:https://aigcopen.feishu.cn/sheets/HN4asIcGNhywmZtY5mxcJVLnnAb?sheet=5582d6)

请每个队伍,将该文档复制copy一份到自己的云文档空间里,并保证分享设置为互联网可阅读,方便评委进行查看和打分

五、交付的结果要求

1、2个构建的Agent

2、对应的工作流

六、面试考察的六个维度(参考,或根据大模型或自定义维度)

a.Knowledge:专业知识,包括学历、专业技术资格。

b.Skill:专业技能,特别是指具体的,实际操作的能力。

c.Ability \ Achievement:综合素质与能力,特别是指抽象的能力,以及工作经验。

d.Personality:个性特质,包括自我定位和性格特点。

e.Motivation:求职动机,包括离职应聘愿意和职业目标。

f.Value:价值现,也包括个人价值观及对企业文化的认同度。

提问example:

第1维度考察:专业知识(学历,专业,技术资格)

问题:你大学学的什么专业或接受过哪些特殊培训?

第2维度考察:专业技能(具体的,实际操作的能力)

问题:你是应届毕业生,缺乏经验,如何能胜任这项工作?

第3维度考察:综合能力工作经验

问题:你新到一个部门,一天一个客户来找你解决问题,你努力想让他满意,可是始终达不到群众的满意,他投诉你们部门工作效率低,你该怎么办?

第4维度考察:个性特征(自我定位和性格特点)

问题:你有什么业余爱好?

第5维度考察:求职动机(应聘原因和职业目标)

问题:您在前一家公司的离职原因是什么?

第6维度考察:价值观(个人价值对企业文化的认同度)

问题:你对我们企业有什么了解?

END