SMP 2024大模型图分析挑战赛在线评测已开放

赛事简介

欢迎参加 SMP 2024 大模型图分析挑战赛。本次比赛初赛在线评测已正式开始，参赛报名仍在进行中，期待你的积极参与！

第十二届全国社会媒体处理大会将在2024年10月于河南新乡召开。全国社会媒体处理大会专注于社会媒体处理领域的科学研究和工程开发，为传播最新的学术研究与技术成果提供广泛的交流平台。第十二届全国社会媒体处理大会（SMP2024）由中国中文信息学会社会媒体处理专委会主办，河南师范大学承办。

SMP 2024 大模型图分析挑战赛旨在探索将大语言模型应用于图分析场景的可能性。比赛由中国中文信息学会社会媒体处理专委会主办，通过使用六个Python库（NetworkX、igraph、CDlib、Karateclub、Littleballoffur、graspologic）构建评测数据集，以衡量大语言模型在解决图分析问题上的能力，包括基础图论、图统计学习和图嵌入三个方面的问题。天池平台为指定赛事平台。本届比赛的目标是共同推动大模型在图领域的发展，并邀请广大开发者和相关技术团队为大模型时代加速创新。

赛事日程

报名：2024年8月5日-8月31日

在天池平台完成个人信息注册，即可报名参赛。

初赛：2024年8月5日-8月31日

参赛团队通过天池平台下载镜像，本地调试算法，在线提交结果，系统进行实时评测并返回成绩。初赛开放评测时间为8月17日—8月31日，初赛排名前 10 名的团队将进入复赛。

复赛：2024年9月4日-9月17日

复赛仍然为在线提交结果，系统将在一天内进行评测并返回成绩。

获奖者撰写大赛详细技术报告：2024年9月30日前

颁奖：2024年10月10日-10月13日

具体日期另行通知

（一等奖和二等奖获奖者需要派代表线下参加会议）

获奖团队将参加 SMP 2024 大会，进行技术报告，并接受现场颁奖典礼。

奖项设置

总奖金为55,000元人民币，各奖项分配如下：（以下奖金均为税前）：

一等奖(1名)：20,000元

二等奖(2名)：10,000元

三等奖(3名)：5,000元

赛题描述

本次比赛建议参赛选手以闭源大语言模型（GPT、Claude、Gemini等）为基础构建问答系统，让系统能够通过编写执行Python代码来回答用户提出的图分析相关的问题。参赛选手可以使用其他可公开访问的外部数据来增强模型，也可以使用向量数据库等技术。

本次比赛评估模型能力的赛题按照设计模型的能力不同，以及题目的难易程度，分为判断题、计算题、绘图题、综合题四种类型。在初赛阶段，题目仅包含判断题和计算题。在复赛阶段，题目包括上述所有题型。

本次比赛的题目数据有两种类型，一种是在题目信息中对所需图数据进行描述，另一种则是将图数据保存在文件中。对于两种类型的数据，均建议让模型编写（并执行代码）进行作答。

【比赛数据】

本次比赛将提供一些数据集，帮助参赛选手使用外部增强技术，提高大语言模型在相关任务上的表现。具体包括：文档数据集：参赛选手可以使用和拓展相关文档数据集，采用检索增强生成等技术，提高大语言模型在图相关任务上的表现。文档数据集是从几个Python库的相关网站爬取并整理的数据集。根据不同Python库的文档，分别整理出了6个json文档。参赛选手可以使用上述文档数据集，对闭源大语言模型进行增强，从而提高大语言模型的整体性能。同时，参赛选手也可以对上述文档数据集进行重新组织或修改，也可以拓展数据集，进一步提高大语言模型的表现。

【测试数据】

初赛测试数据：包含1000道题目,仅包含判断题和计算题

复赛测试数据：包含512道题目,包括判断题、计算题、绘图题和综合题

*比赛各阶段的详细内容和评测方式，请参考比赛官网。

赛事组织

主办单位

- 中国中文信息学会社会媒体处理专委会

联合承办

- 北京邮电大学

数据提供方

- 北京邮电大学

大赛指定平台