当前位置:首页 > 生活资讯 > 网文选读

离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的

网络4年前 (2023-05-05)网文选读1619

离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的  网文选读 第1张

新智元报道

编辑:拉燕

【新智元导读】非母语者写的文章=AI生成?气抖冷。

ChatGPT火了以后,用法是真多。

有人拿来寻求人生建议,有人干脆当搜索引擎用,还有人拿来写论文。

论文...可不兴写啊。

美国部分大学已经明令禁止学生使用ChatGPT写作业,还开发了一堆软件来鉴别,判断学生上交的论文是不是GPT生成的。

这里就出了个问题。

有人论文本来就写的烂,判断文本的AI以为是同行写的。

更搞的是,中国人写的英文论文被AI判断为AI生成的概率高达61%。

这....这这什么意思?气抖冷!

非母语者不配?

目前,生成式语言模型发展迅速,确实给数字通信带来了巨大进步。

但滥用真的不少。

虽说研究人员已经提出了不少检测方法来区分AI和人类生成的内容,但这些检测方法的公平性和稳定性仍然亟待提高。

为此,研究人员使用母语为英语和母语不为英语的作者写的东西评估了几个广泛使用的GPT检测器的性能。

此外,研究人员还证明了,用一些简单的策略就可以减轻这种偏见,还能有效地绕过GPT检测器。

这说明什么?这说明GPT检测器就看不上语言表达水平不咋地的作者,多叫人生气。

不禁联想到那款判断AI还是真人的游戏,如果对面是真人但你猜是AI,系统就会说,「对方可能会觉得你冒犯了。」

不够复杂=AI生成?

研究人员从一个中国的教育论坛上获取了91篇托福作文,又从美国Hewlett基金会的数据集中摘取了88篇美国八年级学生写的作文,用来检测7个被大量使用的GPT检测器。

离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的  网文选读 第2张

图表中的百分比表示「误判」的比例。即,是由人写的,但检测软件认为是AI生成的。

可以看到数据非常悬殊。

七个检测器中,美国八年级学生写的作文被误判的概率最高才12%,还有两个零误判的GPT。

中国论坛上的托福作文被误判的概率基本全部过半,最高误判概率可达76%。

91篇托福作文中的18篇被所有7个GPT检测器一致认为是AI生成的,而91篇中有89篇,都至少被一个GPT检测器误判。

离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的  网文选读 第3张

从上图中我们可以看出,被所有7个GPT误判的托福作文在复杂度(Complexity)上明显低于其它论文。

这就印证了开头的那个结论——GPT检测器会对那些语言表达能力有限的作者有一定偏见。

因此,研究人员认为,GPT检测器应该多看点儿非母语者写的文章,样本多了,才能消除偏见。

接下来,研究人员把非母语者写的托福作文扔到了ChatGPT里,丰富一下语言,模仿母语者的用词习惯。

同时作为对照组,把美国八年级小孩儿写的作文也扔到了ChatGPT里,把语言简化了一下,模仿非母语者的写作特点。下图就是修正后的新判定结果。

离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的  网文选读 第4张

我们可以发现,情况来了个大掉个儿,丰富了语言的托福作文错判率直线下降,低至3%,最高也不过19%。不像之前基本全部过半的错判率。

与之相反,八年级小孩儿写的作文的错判率直线上升,甚至还有一个GPT检测器的错判率高达99%,基本全错。

因为,文章复杂度这个变量出现了变化。

离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的  网文选读 第5张

这里研究人员就得出了一个结论,非母语者写的东西不地道,复杂度低,容易被错判。

这也就导向了一个技术问题,同时也是一个价值问题。以复杂度来判定AI还是人类是作者,是否合理、全面、严谨。

结果显然不是。

以复杂度为判断标准的情况下,非母语者吃了大亏,因为,他们是非母语者(废话)。

AI润色=人类写的??

研究者认为,加强语言多样性不仅可以减轻对非母语者的偏见,还能让GPT生成的内容绕过GPT检测器。

为了证明这个观点,研究人员选取了2022-2023年间美国大学申请的入学论文题目,输入到ChatGPT-3.5里,一共生成了31篇假论文。

GPT检测器一开始还挺有效,但是第二轮就不行了。这是因为,在第二轮中,研究人员把这些论文又扔到ChatGPT里润色了一下,用一些文学性的语言提升了文本质量。

这样一来,GPT检测器的准确度就从100%直降到了0%。如下图:

离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的  网文选读 第6张

经过润色的文章复杂度相应也上升了。

离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的  网文选读 第7张

与此同时,研究人员又用了斯坦福大学145个期末项目报告的题目,让ChatGPT生成摘要。

离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的  网文选读 第8张

摘要经过润色以后,检测器判断的准确性继续下降。

研究者再次得出结论,润色过的文章很容易被误判,都是AI生成的,两轮就是比一轮强。

GPT检测器?还是欠练

离谱!最新研究:61%中国人写的英语论文,会被ChatGPT检测器判为AI生成的  网文选读 第9张

言而总之,总而言之,各种GPT检测器好像还是没能抓住AI生成和人类写作之间最本质的区别。

人的写作也分三六九等,仅靠复杂度判断,不甚合理。

抛开偏见因素不谈,技术本身也亟待改进。

关注并使用“百度APP”访问无忧岛数码家电,各种价格便宜大牌精品数码产品等你发现~

分享给朋友:

相关文章

米其林如死亡之吻 香港得奖店家倒闭

米其林如死亡之吻 香港得奖店家倒闭

获得「米其林」推荐,固然是餐饮业殊荣,却也成了部份店家「不可承受之重」。其中香港不少小吃店连连上榜,房租却也跟着喊涨,有的涨幅高达120%,有店家因此被迫多次搬迁,更有的因此关门大吉,更让港媒戏称「米…

上海春节出游指南:豫园灯会如期而至 春节赏梅正当时

上海春节年味,正集中绽放。 2月13日,上海市旅游局公布《2018年春节出游指南》,豫园灯会、水乡婚典、云端国粹、春节赏梅等30余项春节活动精彩纷呈。 随着黄浦江两岸45公里贯通开放,黄浦江游览及…

电子书阅读月卡VS共享单车月卡,共享时代——没有真正的赢家

电子书阅读月卡VS共享单车月卡,共享时代——没有真正的赢家

       随 着时代的发展,2017年火爆一时的共享经济到现在共享经济的萧条。     现在的共享单车行业竞争虽然激烈但大家都…

两会个税调整起征点热议~我帮大家总结了几点。大家可以看看

两会个税调整起征点热议~我帮大家总结了几点。大家可以看看

      我想说到个人所得税,大家肯定比较在意。我记得过去的起征点数据是从1980的800元,到2006年的1600元,再到2008年的2000元,最后,20…

自媒体们是如何偷走你的注意力的?

大家这几天,是不是都被「同龄人」刷屏了?先是一篇文章,讲摩拜被美团收购,创始人套现15亿,看看,多可怕:你的同龄人,正在抛弃你。这篇文章在我的朋友圈刷了一天,本想就这个话题聊一聊,看了下就放弃了 &m…

为什么越来越多城市爱办马拉松?

一个城市的马拉松往往是这个城市的一个节日,由于在城市的街道上奔跑,因此除了参赛选手和主办方外,还会与城市的方方面面产生联系。一个城市举办马拉松一般会从以下几个方面考虑:1、城市的宣传和展现。马拉松的赛…

离开BAT后3个月,他赚了100万 | 100个不上班的人

离开BAT后3个月,他赚了100万 | 100个不上班的人

工作几乎占据每个人一生中一半以上的时间。所以工作开心与否,将直接影响一个人的生活质量。 过去,人们在事业单位有一份能做一辈子的“铁饭碗”,就很满足;现在,互联网创业的…

天津落户记:“没想到北漂群体落户的需求如此强烈”

5月21日,站在和平区行政许可服务中心门口,王晔还是没拿定主意要不要落户天津。王晔是东北人,从上大学算起,今年是她生活在北京的第七年。大学四年,户口迁到学校集体户口,王晔没有在意户口的重要性。即便毕业…

「不再作恶」:谷歌决定 2019 年后退出军事项目Project Maven

今天,谷歌云首席执行官 Diane Greene 在与员工的一次内部会议上宣布,谷歌决定于 2019 年后退出饱受争议的军事项目 Project Maven。Greene 告诉员工,公司内部的抵制是谷…

抖音“共享女友”一夜走红,网友:根本消费不起

抖音“共享女友”一夜走红,网友:根本消费不起

抖音现在很受欢迎,现在很火的就是抖音了,很多人呢都在玩抖音,在抖音上也是有很多好玩有趣的短视频,也可以在上面看到很多新鲜有趣的事情。在抖音中,也是出现了很多的网红,他们会在上面上传一些自己唱的歌,或者…

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。