幾分鐘生成一篇論文，傳統查重工具無(wú)法識別——

　　AI代寫(xiě)論文現象如何科學(xué)治理

　　“太不像話(huà)了！學(xué)生用人工智能生成的期末論文糊弄我。”近日，上海某高校教師在社交媒體上“吐槽”自己遇到的新難題——一些想偷懶的學(xué)生開(kāi)始用人工智能技術(shù)完成論文。

　　以ChatGPT為代表的生成式人工智能技術(shù)(AIGC)橫空出世，似乎為人們寫(xiě)論文提供了新幫手。從提供選題到文稿潤色、從統計分析到圖表制作……其功能之強大，幾乎覆蓋了學(xué)術(shù)論文寫(xiě)作過(guò)程的方方面面。

　　面對ChatGPT等工具的潛在風(fēng)險，爭議隨之而來(lái)。不少人質(zhì)疑，人工智能到底能不能用于輔助學(xué)術(shù)論文寫(xiě)作。有人認為，它只是提高科研效率的工具。有人則對此持審慎態(tài)度，認為容易引發(fā)大規模的學(xué)術(shù)誠信問(wèn)題。

　　人工智能技術(shù)在論文寫(xiě)作中的應用程度如何？技術(shù)應用的邊界在哪里？如何對這一技術(shù)進(jìn)行有效治理？科技日報記者對此進(jìn)行了深入采訪(fǎng)。

　　AI生成的文本“非常水”

　　有多少人嘗試過(guò)用人工智能技術(shù)寫(xiě)論文？去年《自然》雜志對全球博士后的一項調查發(fā)現，約有三分之一的受訪(fǎng)者使用人工智能聊天機器人來(lái)優(yōu)化文本、生成或編輯代碼、整理文獻。

　　當記者嘗試在社交媒體上搜索“AI”“論文”“寫(xiě)作”等關(guān)鍵詞，五花八門(mén)的AI論文寫(xiě)作指導教程映入眼簾。其中大部分宣稱(chēng)能夠教會(huì )用戶(hù)在幾分鐘內通過(guò)幾個(gè)簡(jiǎn)單的步驟，生成一篇幾萬(wàn)字的“優(yōu)質(zhì)”論文。這些教程的瀏覽量最高已達數百萬(wàn)。

　　AI真的能生成一篇完整的“優(yōu)質(zhì)”論文嗎？記者按照教程開(kāi)始了嘗試：“請提出與民族志紀錄片有關(guān)的論文選題。”幾乎無(wú)需等待，幾個(gè)看起來(lái)很“靠譜”的選題就出現在對話(huà)框里。

　　“請就某一選題生成寫(xiě)作大綱。”幾秒后，7個(gè)像模像樣的章節全部生成完畢。“請就提綱中某項內容，詳細描述2000字。”重復幾次操作后，一篇幾萬(wàn)字的“論文”很快就完成了。但記者瀏覽后發(fā)現，其生成的段落中，存在大部分重復且言之無(wú)物的內容。

　　除了說(shuō)“車(chē)轱轆”話(huà)，某985高校人工智能專(zhuān)業(yè)碩士研究生溫睿還發(fā)現了此類(lèi)論文的行文特點(diǎn)：“一般是先寫(xiě)一句話(huà)，然后進(jìn)行分條論述。當老師看到這樣套路化的內容就會(huì )猜測，這類(lèi)文章很大程度上是人工智能寫(xiě)的。”

　　文章開(kāi)頭那位教師的經(jīng)歷印證了溫睿的發(fā)現。“這樣的論文看似條理清晰、層次豐富，但實(shí)際上每個(gè)層面的內容都很少，而且非常空洞。我馬上就懷疑是AI生成的。”該老師說(shuō)。

　　不少期刊編輯、審稿人也發(fā)現了同樣的問(wèn)題。

　　某人文社科期刊審稿人徐彬向記者透露，用AI寫(xiě)論文的關(guān)鍵在于提示詞。如果提示詞選用的不恰當，就極有可能得到一篇套路化的文章。他目前已經(jīng)收到過(guò)五六篇“一眼就能看出來(lái)”用AI寫(xiě)的稿子。

　　“這些文章的共同特點(diǎn)就是非常水。雖然它生成的語(yǔ)言連貫性不錯，但是缺乏深度，創(chuàng )新性也不強。”對此，徐彬略顯無(wú)奈，“綜述類(lèi)文章是使用AI的重災區，但目前期刊還缺乏相關(guān)的評價(jià)標準和處理機制。”

　　偽造數據集更具隱蔽性

　　在清華大學(xué)人工智能?chē)H治理研究院副院長(cháng)梁正看來(lái)，論文核心評價(jià)標準包括作者發(fā)揮的創(chuàng )造性、對論文的貢獻程度。一篇大部分由AI生成且隱瞞使用情況的文章，既沒(méi)有作者智力的貢獻，也不符合科研誠信的要求，屬于學(xué)術(shù)造假。

　　AIGC造成的學(xué)術(shù)造假還發(fā)生在數據領(lǐng)域。記者在采訪(fǎng)過(guò)程中，多位業(yè)內專(zhuān)家提到了偽造數據集問(wèn)題。相比直接的文本生成，這一方式更具有隱蔽性。

　　GPT-4的ADA功能是一種結合了計算機編程語(yǔ)言Python的模型，可以執行統計分析和創(chuàng )建數據可視化。梁正向記者講述了一則真實(shí)的案例：國外某機構研究人員先是要求GPT-4 ADA創(chuàng )建一個(gè)關(guān)于圓錐角膜患者的數據集，后又要求它編造臨床數據，用以支持深板層角膜移植術(shù)比穿透性角膜移植術(shù)效果更好的結論。但真實(shí)的臨床數據證明，兩種手術(shù)效果并無(wú)明顯差別。

　　“針對某個(gè)問(wèn)題，提出方法來(lái)解決，并通過(guò)實(shí)驗來(lái)證明方法的可行性——這是專(zhuān)業(yè)論文的常用模式。人工智能不能做實(shí)驗，哪怕它給的實(shí)驗數據再理想，也都是虛假的。”溫睿認為，虛假的數據背離了科學(xué)研究的真正意義。

　　除了數據處理，更多人使用AIGC來(lái)解釋概念。溫睿發(fā)現AIGC生成的概念簡(jiǎn)潔明了，查重率也非常低。但當記者詢(xún)問(wèn)這些概念是否正確時(shí)，溫睿顯得有些遲疑：“我也沒(méi)有把握，通常默認它是對的。”

　　為了驗證AIGC給出答案的準確性，記者就一些新興概念提問(wèn)，但它給出的答案往往和真正概念毫不沾邊。當記者讓AI生成5篇某領(lǐng)域的重點(diǎn)參考文獻，它又胡編亂造了5個(gè)不存在的作者和不存在的文獻。

　　在人工智能領(lǐng)域，描述AI“一本正經(jīng)地胡說(shuō)八道”的專(zhuān)業(yè)名詞是“AI幻覺(jué)”。哈爾濱工業(yè)大學(xué)(深圳)特聘校長(cháng)助理、教授張民解釋?zhuān)珹I幻覺(jué)是指AI會(huì )生成貌似合理連貫，但與輸入問(wèn)題意圖不一致、與現實(shí)或已知數據不符合或無(wú)法驗證的內容。這多是由于A(yíng)I對知識的記憶不足、理解能力不夠、訓練方式固有的弊端及模型本身技術(shù)的局限性所導致。

　　“如果不警惕AI幻覺(jué)，很有可能損害科學(xué)研究的真實(shí)性和客觀(guān)性。”梁正表示，AI生成的錯誤信息一旦被廣泛傳播，不僅會(huì )造成“學(xué)術(shù)垃圾”泛濫，還將影響學(xué)術(shù)生態(tài)的良性發(fā)展。

　　一場(chǎng)你追我逃的“貓鼠游戲”

　　一項新技術(shù)的出現，對于社會(huì )的發(fā)展往往是把雙刃劍。雖然人工智能技術(shù)存在種種隱患，但其在圖文創(chuàng )作、數據處理等方面的強大能力已被大多數人認可。“歸根結底，我們認為AI將增加人類(lèi)的智慧，而非取代人類(lèi)。其使用應在人類(lèi)監督之下，并將道德因素考慮在內。”施普林格·自然集團發(fā)言人說(shuō)。

　　推動(dòng)AI向善發(fā)展，需要借助行之有效的技術(shù)手段。值得注意的是，AI生成的論文并不能被查重工具檢測出來(lái)。因此，國內外都在探索研發(fā)專(zhuān)門(mén)針對AIGC的檢測工具。

　　從原理看，AIGC檢測技術(shù)是在“用AI打敗AI”。同方知網(wǎng)數字出版技術(shù)股份有限公司副總經(jīng)理柯春曉介紹：“人類(lèi)的創(chuàng )作往往是隨機且富有靈感的，而接受過(guò)大量文本訓練的AI已經(jīng)形成了生產(chǎn)文本的‘固有’范式，傾向于使用‘一致’的結構和規則，因此具有更高的可預測性。”AIGC檢測的核心就是依托海量的文本和數據樣本，識別出人類(lèi)和AIGC工具在平均句子長(cháng)度、詞匯多樣性和文本長(cháng)度等方面的不同點(diǎn)，從而揪出AI論文“槍手”。

　　一些期刊出版機構通過(guò)檢測工具發(fā)現了AIGC代寫(xiě)論文的痕跡。“從去年7月底到現在，我們發(fā)現涉嫌AI寫(xiě)作的論文數據每個(gè)月都在上升，大約有六七十篇的文章疑似使用AI的程度超過(guò)了50%。”《中華醫學(xué)雜志》社有限責任公司新媒體部主任沈錫賓介紹。

　　沈錫賓向記者展示了檢測過(guò)程：一篇論文經(jīng)過(guò)檢測系統后，會(huì )顯示疑似AI生成占全文比重，相關(guān)疑似段落也會(huì )被標紅。但記者注意到，和傳統的查重報告單明確標注重復痕跡不同，AIGC檢測報告單只是指出某些文本AIGC的“置信度”，并不能回答為什么是這個(gè)值。

　　“這使得報告單往往只起到參考和警示作用。”柯春曉說(shuō)。

　　目前，人工智能大模型正在以“周”為單位進(jìn)行迭代升級。如何適應不斷升級的技術(shù)，是擺在A(yíng)IGC檢測工具面前的一道必答題。

　　作為使用者的人類(lèi)本身也在不斷“進(jìn)化”。“類(lèi)似人們逃避查重的方式，如果人們了解到AI檢測的方式，也可以重新組織相關(guān)內容，對AI生成的文本進(jìn)行人工潤色。這樣很可能就檢測不出來(lái)了。”沈錫賓說(shuō)。

　　作弊與反作弊的過(guò)程，實(shí)質(zhì)上是場(chǎng)“貓鼠游戲”。只要技術(shù)不斷升級，兩者間的博弈就不會(huì )停止。目前，AIGC檢測技術(shù)仍處在萌芽期。如何對AI生成的虛假圖片、虛假數據進(jìn)行識別仍是難點(diǎn)。因此，人們引入智能檢測技術(shù)的同時(shí)，也要建立人工審查機制。

　　“審稿人要當好‘守門(mén)人’，發(fā)揮同行評議的作用，仔細甄別判斷論文的數據是否和認知存在偏差。出版機構也可以要求作者提供原始數據，多管齊下，確保科研誠信。”沈錫賓說(shuō)。

　　技術(shù)向善要他律更要自律

　　加強技術(shù)治理的同時(shí)，各方都在翹首以盼，期待達成某些共識以及相關(guān)政策盡快出臺。“教育、科研、出版各方都很關(guān)注AIGC使用的邊界，期待對合理使用AIGC形成一個(gè)共識性規范。”知網(wǎng)技術(shù)專(zhuān)家呼吁。

　　其實(shí)，早在去年初，中國科學(xué)技術(shù)信息研究所(以下簡(jiǎn)稱(chēng)中信所)就牽頭愛(ài)思唯爾、施普林格·自然、約翰威立等國際知名出版集團和科研信息分析機構，在廣泛調研并梳理業(yè)內相關(guān)研究和探索工作的基礎上，完成了中英文版的《學(xué)術(shù)出版中AIGC使用邊界指南》(以下簡(jiǎn)稱(chēng)《指南》)，并于去年9月20日在國內外同步發(fā)布。

　　去年12月21日，科技部發(fā)布的《負責任研究行為規范指引(2023)》(以下簡(jiǎn)稱(chēng)《指引》)更是受到了業(yè)內的廣泛關(guān)注。

　　《指引》和《指南》就如何負責任地使用AIGC，解答了令科研工作者、期刊編輯、審稿人困惑的一些問(wèn)題。

　　首先是披露問(wèn)題。《指引》提出，使用生成式人工智能生成的內容應明確標注并說(shuō)明其生成過(guò)程，確保真實(shí)準確和尊重他人知識產(chǎn)權。《指南》中更是提供了聲明的模板，供科研人員參考。

　　對于一些人想用AIGC投機取巧的行為，《指引》明確提出，不得使用AIGC直接生成申報材料；《指南》規定，AIGC不應該用來(lái)產(chǎn)生研究假設、直接撰寫(xiě)整篇論文文本、解釋數據、得出研究結論。研究人員使用的數據必須是研究人員進(jìn)行實(shí)驗并收集所得，如使用AIGC提供的統計分析結果需進(jìn)行驗證。

　　隨著(zhù)AIGC的使用邊界不斷清晰，越來(lái)越多的出版機構達成共識，制定了使用規范。施普林格·自然集團發(fā)言人介紹說(shuō)，他們目前已經(jīng)明確了有關(guān)作者身份和圖像方面的規定。例如，人工智能不能擔任作者，真正作者如使用大語(yǔ)言模型須加以透明描述，AI生成的圖像通常不能用于發(fā)表等。

　　“《科學(xué)》雜志在去年1月份發(fā)布的政策是禁止使用任何AIGC工具。而11月16日他們更新了投稿規則、放寬了限制，表示只要進(jìn)行了適當披露，使用工具是可以接受的。”中信所博士鄭雯雯說(shuō)道。

　　“《指引》覆蓋較為全面，對AIGC的使用總體呈現出平衡包容、敏捷治理的態(tài)度，而非一味禁止。這也說(shuō)明治理的目的并不是阻止科研工作者使用新一代人工智能技術(shù)，而是讓科研工作者能夠負責任地去使用。”梁正提到，在政策制定的行為框架之下，還要關(guān)注學(xué)科差異問(wèn)題。“使用AIGC可能因學(xué)科的不同而有所差異，其倫理問(wèn)題也要根據學(xué)科特點(diǎn)細化。”

　　例如，在自然科學(xué)領(lǐng)域；AIGC的強大功能更多體現在數據處理領(lǐng)域，如果失范使用，往往難以發(fā)現。而對于人文社科領(lǐng)域，直接使用AIGC生成內容的痕跡非常容易被發(fā)現，尤其是在高水平的研究當中，優(yōu)劣之分更為明顯。

　　“因此，對于更加注重文字表達、數據資料支持的學(xué)科，比如企業(yè)管理、理工科、醫學(xué)等，需要防范產(chǎn)生虛假的數據集或論證材料。”梁正說(shuō)，“對AIGC使用的披露程度、疑似度的數據指標等，都需要學(xué)術(shù)共同體進(jìn)一步探索，來(lái)推動(dòng)形成廣泛共識。”

　　此外，盡管?chē)页雠_了相應的規則，但從外部監督到行業(yè)自治還需要一個(gè)過(guò)程。AIGC的使用涉及包含研究人員、出版機構、相關(guān)行業(yè)組織、政府等方方面面。如何厘清各方關(guān)系，各司其職是關(guān)鍵。“簡(jiǎn)單說(shuō)，就是出了問(wèn)題，誰(shuí)來(lái)查？有沒(méi)有能力查？”鄭雯雯強調。

　　記者了解到，中華醫學(xué)會(huì )雜志社在今年1月9日公布了其對于A(yíng)IGC技術(shù)使用的有關(guān)規定。其中不僅涉及了作者要遵守的細則，還提出了查處方式——經(jīng)編輯部研判的違反AIGC使用的情形，將直接退稿或撤稿；情節嚴重者，將列入作者學(xué)術(shù)失信名單。

　　“我們下一步的目標是把存在問(wèn)題的文章作一個(gè)歸納總結，進(jìn)一步摸清AIGC使用的規律，為科學(xué)治理積累經(jīng)驗。”沈錫賓說(shuō)。

　　“盡管新興技術(shù)有著(zhù)潛在風(fēng)險，但也有著(zhù)無(wú)可比擬的優(yōu)勢，不宜一味封堵，而是要做好引導、合理合規地使用新技術(shù)。”鄭雯雯表示，歸根到底，科學(xué)研究的主體是人。如果心中的那桿“秤”傾斜了，即使再完善的監管政策、再高端的檢測技術(shù)，也難以抵擋學(xué)術(shù)不端的侵襲。

　　梁正也強調，作為科研誠信的第一責任人，科研人員一定要保持嚴謹的學(xué)術(shù)態(tài)度，關(guān)注研究領(lǐng)域的真問(wèn)題，堅守學(xué)術(shù)研究的基本原則，如原創(chuàng )性和透明性；明確認識到ChatGPT等工具的潛在風(fēng)險，避免使用不當而造成學(xué)術(shù)不端。

　　“科研誠信和倫理是科研的生命線(xiàn)，科研人員一定要存敬畏、有底線(xiàn)。一旦在這方面有瑕疵，職業(yè)生涯或將葬送。”梁正提醒。

　　【深瞳工作室出品】

　　采 寫(xiě)：實(shí)習記者 吳葉凡

　　本報記者 付麗麗

　　策 劃：劉恕 李坤

　　(文中溫睿、徐彬均為化名)