AI中风险,疑似用ChatGPT生成——这是去年四月,学校查重系统对王宇毕业论文的判定。王宇一下慌了。
当时ChatGPT惊艳亮相不到半年,教育界一度担心学生有了“作弊神器”。在这一背景下,知名学术查重软件Turnitin率先推出了AI文本检测器,用来识别论文中的AI生成内容。国内的格子达、知网两大查重系统也先后上线了AIGC检测功能,王宇就是第一届被检测毕业论文AI率的学生。
随着生成式AI快速迭代,规则和技术渐渐填上监管真空期。去年8月提交审议的《学位法》(草案)拟定,人工智能代写属于学术不端行为,严重者可被撤销学位证书。今年1月,Turnitin的AI文本检测成为正式功能,开始像查重服务一样向高校收取费用,一定程度上意味着AI论文检测步入正轨。
但这没有阻挡学生的使用,高校学生依然是生成式AI的主要用户群。“直接把题目扔给AI让它写一整篇论文,老师肯定一眼就能看出来,我身边已经没什么人这么做了。”刘晨曦告诉21世纪经济报道记者,她的用法是让ChatGPT总结文献、降重、润色,这也是许多学生现在的使用方式。
不过,刘晨曦的论文还是被标记了25%的AI率,任课老师要求重写。王宇在写毕业论文的过程中没有用到生成式AI,她曾经自己尝试找出有“AI风格”的句子,改了两轮后,“AI率越改越高。”
AI参与的论文能不能被准确检测?有没有必要检测?AI论文的监管难题,正在困扰全球教育系统。
查重率低了,AI率高了王宇去年毕业于湖南一所大学的商科专业。一开始看到自己的本科毕业论文被标记为“AI中风险”,王宇还不知道问题出在哪里,因为她没用过ChatGPT这样的工具写作。直到老师将教师版本的AI检测报告发过来,王宇才明白,那些AI疑似度高的段落,大多是被自己“降重”过的。
“降重”指降低重复率。此前在学生中流行的一种降重方法是,用翻译软件多次转换语言,把他人的话快速“转述”为自己的观点。王宇用的就是这种办法,她把一段话先从中文翻译成英文,再将英语译成日文,最后译回中文,以此更换词语和语序,降低与原文的相似度。
不过办法这一次失灵了。“查重率是低了很多,但被认为是AI写的。”
王宇学校使用的是格子达查重系统,去年四月开始运行“类AI辅写行为检测”功能。在王宇的个人提交界面,论文被评级为AI中风险。在王宇老师的界面,可以更清晰地查看可疑文本,每一句的AI疑似度分高、中、低三档,辅写工具均判定为ChatGPT。
除了格子达和知网,AI检测工具尚未在国内高校全面铺开。相比之下,Turnitin查重系统在海外应用更广,检测也更细致。刘晨曦在加拿大上学,去年十二月,她的一篇论文在Turnitin中显示AI率25%——意思是25%的文本疑似由AI生成。老师因此让她重写,并且无论如何都要扣除25%的分数。
这篇论文是刘晨曦英语文学课的结课作业,主题是比较两部文学作品。写论文时,她先跟ChatGPT最新的GPT-4大模型讨论写作方向,得到了比较两位俄国女诗人的灵感。接着让GPT-4查找文献,自己写出大纲和草稿。最后再让GPT-4降重、润色。最终论文里有多少属于AI,多少属于自己,她很难区分清楚。
刘晨曦说,GPT-4直接输出论文仍然很生硬,编造文献不少,“还不如自己写”。但比起传统的降重方法,ChatGPT的优势是可以精准“调教”,比如改写特定的句子,或者解释复杂概念。在找文献上也更快捷,原本需要检索两到三天的文献,GPT-4几个小时就能整理完毕。
根据Nerdynav的调查,43%的大学生用过生成式AI完成作业。英国媒体TheLab统计发现,罗素大学集团下的八所大学,对ChatGPT的访问量在两个月内高达100万。其中12月和1月是校园网络访问ChatGPT的高峰期,正是考试集中月。多位受访学生告诉记者,AI一键生成的论文意义不大,基本达不到学校要求。学生现在的主要用法是总结文献、降重、润色语言,本质还是他们曾经抄过的一条“捷径”。
划下AI率红线后,这条“捷径”走不通了。从去年夏天起,小到随堂感想,大到结课论文,刘晨曦的学校都要求AI率为0%。
王宇学校规定,毕业论文必须为AI低风险。她把被标记为AI的句子用自己的“大白话”重新描述,在修改了6个版本后,论文终于变为AI低风险。“这是个玄学。”王宇形容。
上世纪论文也被判定为AI多所高校都发布过AI论文禁令。最早开始的是美国纽约教育局,其限制在学校Wi-Fi网络环境中访问ChatGPT。英国大学尤其注重学术诚信,牛津、剑桥、帝国理工等28所英国大学都曾宣布,在论文和课程作业中不当使用AI,将被视为违反学术诚信的行为,严重者可能被开除学籍。香港大学也表示,学生在课程作业中使用AI需要老师批准,否则可以按作弊处理。
AI检测技术的影响是立竿见影的。Tunitin上线AI检测器的一个月内,全球有超过一万所中高等教育机构激活了这款工具。除了Turnitin,市面上还流行GPTZero、Copyleak等AI检测工具,大多向个人免费开放。
一留学中介在社交媒体上分享,2023年在英国留学生中,AI代写论文的学术听证会数量,已经超过人工代写。“AI检测率高是很石锤的学术不端。”
但AI检测器