人工智能撰寫的科學論文聽起來很不錯──卻不準確

(SeaPRwire) –   首先是學生,他們想要幫助自己的家庭作業和論文。現在,ChatGPT 正在引誘科學家,他們正面臨著在可靠的科學期刊上發表論文的壓力。

AI 已經正在破壞科學出版的陳舊世界。當梅麗莎·卡塞納(Melissa Kacena)擔任印第安納大學醫學院骨科外科主任時,她在審查期刊上提交的文章時,現在知道要留意可能是由 AI 程式 ChatGPT 寫的文章。「我現在有一個原則,如果我隨機拉取該論文中引用的 10 個參考文獻,如果其中超過一個不準確,我就會拒絕該論文。」她說。

但儘管存在缺點,也有希望。例如撰寫回顧文章這項任務非常適合 AI:它涉及整理主題相關的現有研究成果,分析結果,得出科學領域目前狀況的結論,並提供一些新見解。ChatGPT 可以很好地完成所有這些工作。

卡塞納決定看看誰寫回顧文章更好:人還是 ChatGPT。為了她的研究,她將九名學生和 AI 程式分為三組,並要求每組撰寫不同主題的回顧文章。對一組,她要求學生撰寫主題文章;對另一組,她指示 ChatGPT 撰寫同一主題的文章;最後一組,她讓每名學生都有自己的 ChatGPT 帳號,並告訴他們與 AI 程式一起撰寫文章。這使她能夠比較由人撰寫、由 AI 撰寫以及人與 AI 結合撰寫的三種類型的文章在準確性、閱讀易度和使用適當語言等方面的表現。她請教職員同事和學生核實每一篇文章,並將三種類型的文章進行比較。

結果令人驚訝。ChatGPT 撰寫的文章易於閱讀,甚至比學生撰寫的更好。但高達 70% 的參考文獻不準確:它們要麼是從幾項不同研究中無序合併的,要麼完全是虛構的。AI 版本也更可能出現抄襲。

「卡塞納說,「ChatGPT 提出的一些虛假陳述實在很令人信服。它使用了正確的語法結構,並將它們與段落中的正確陳述整合在一起,所以有時沒有警報。只有因為教職員對數據有很好的理解,或者因為學生對所有內容進行了事實核查,才能被發現。」

AI 生成的文章也有一些優勢。算法更快速和高效地處理所有必需數據,整體上,ChatGPT 使用的文法比學生好。但它不總能讀懂場面:AI 傾向於使用更華麗的語言,這對科學期刊來說不總是恰當的(除非學生告訴 ChatGPT 從研究生科學生的角度撰寫)。

這反映出使用 AI 的真相:它的效果只取決於獲取的信息。雖然 ChatGPT 還不太適合撰寫科學期刊文章,但通過正確的編程和培訓,它可能會改進並成為研究人員有用的工具。「目前它自己不太好,但如果加以利用,它可以工作,」卡塞納說。例如,如果被詢問,算法在總結數據成圖形和圖形描述方面提供的建議是恰當的。她說:「它提供的建議正是我會做的。」

學生對 ChatGPT 工作提供的反饋越多,它學習的就越好——這代表了它最大的潛力。在研究中,一些學生發現,當他們與 ChatGPT 合作撰寫文章時,如果告訴它正確的地方和不太有幫助的地方,程式將繼續改進並提供更好的結果。這意味著可以潛在地解決像可疑參考和抄襲等問題。例如,可以編程 ChatGPT 不合併參考,將每篇科學期刊文章視為單獨的參考,並限制連續詞彙複製以避免抄襲。

通過更多輸入和一些修正,卡塞納認為 AI 可以幫助研究人員簡化寫作過程,甚至獲得科學見解。她說:「我認為 ChatGPT 是留下來的,研究如何使它更好,以及如何以道德、審慎和科學上可靠的方式利用它,將非常重要。」