Saya menguji 10 pengesan kandungan AI - dan 3 ini mengenal pasti teks AI dengan betul setiap kali

Sesetengah pengesan lebih baik dalam mengesan teks bertulis AI daripada yang lain. Inilah sebabnya mengapa keputusan bercampur-campur ini penting.

Apabila saya mula-mula meneliti sama ada mungkin untuk melawan plagiarisme yang dijana AI, dan bagaimana pendekatan itu mungkin berfungsi, ia adalah Januari 2023, hanya beberapa bulan selepas kesedaran dunia yang meletup tentang AI generatif. 

Ini ialah versi dikemas kini artikel asal Januari 2023 itu. Apabila saya mula-mula menguji pengesan GPT, saya menggunakan tiga: Pengesan Output GPT-2 (ini ialah URL yang berbeza daripada yang kami terbitkan sebelum ini), Writer.com Pengesan Kandungan AI dan Pengesanan Kandungan AI Kandungan pada Skala (yang kini dipanggil BrandWell). 

Hasil terbaik ialah 66% betul daripada Pengesan Output GPT-2. Saya melakukan satu lagi ujian pada Oktober 2023 dan menambah tiga lagi: GPTZero, ZeroGPT (ya, mereka berbeza) dan Pengesan GPT Writefull. Kemudian, pada musim panas 2024, saya menambah QuillBot dan perkhidmatan komersial, Originality.ai, ke dalam campuran. Kali ini, saya akan menambah penyemak beta Grammarly dan pengesan daripada Undetectable.ai.

Pada Oktober 2023, saya mengalih keluar Pengesan Kandungan AI Writer.com daripada suite ujian kami kerana ia gagal pada Januari 2023, ia gagal lagi pada bulan Oktober, dan ia gagal pada musim panas 2024. Walau bagaimanapun, ia kini nampaknya berfungsi, jadi saya memasukkannya ke dalam suite ujian. Lihat di bawah untuk komen daripada syarikat, yang dihantar oleh pasukan mereka kepada saya selepas artikel asal diterbitkan pada bulan Januari.

Saya telah menjalankan semula semua ujian untuk melihat prestasi pengesan hari ini. Walaupun saya mempunyai dua kejayaan yang kukuh, perkara besar nampaknya ialah hasilnya tidak konsisten dari satu penyemak AI ke yang lain.

Apa yang saya uji dan bagaimana saya melakukannya

Sebelum saya meneruskan, kita harus membincangkan plagiarisme dan bagaimana ia berkaitan dengan masalah kita. Merriam-Webster mentakrifkan "menciplak" sebagai "mencuri dan menyebarkan (idea atau kata-kata orang lain) sebagai milik sendiri; gunakan (pengeluaran orang lain) tanpa mengkreditkan sumbernya."

Takrifan ini sesuai dengan kandungan ciptaan AI dengan baik. Walaupun seseorang yang menggunakan alat AI seperti Notion AI atau ChatGPT tidak mencuri kandungan, jika orang itu tidak mengkreditkan perkataan itu sebagai datang daripada AI dan mendakwanya sebagai milik mereka, ia masih memenuhi definisi kamus plagiarisme.

Dalam artikel percubaan ini, saya telah meminta ChatGPT untuk membantu. Kata-kata saya dalam teks biasa dan tebal. Kata-kata AI dicetak condong. Selepas setiap bahagian yang dijana AI, saya akan menunjukkan hasil pengesan. Pada akhir artikel, kita akan melihat sejauh mana pengesan berfungsi secara keseluruhan.

Berikut ialah keputusan ujian untuk teks di atas, yang saya tulis sendiri:

• Pengesan Output GPT-2: 99.98% sebenar 
• Writer.com: 95% kandungan yang dijana manusia
• Pengesanan Kandungan BrandWell AI: Lulus sebagai manusia
• GPTZero: 98% manusia
• ZeroGPT: 22% AI GPT Teks Anda Berkemungkinan Besar Ditulis Manusia
• Pengesan GPT Writefull: 1% kemungkinan ini datang daripada GPT-3, GPT-4 atau ChatGPT
• Originality.ai: Kami yakin 99% bahawa teks adalah asli
• QuillBot: 42% daripada teks berkemungkinan dijana AI
• Tatabahasa: Kami tidak mengesan corak teks AI biasa. Dokumen anda nampaknya tidak mengandungi teks yang dijana AI
• Tidak dapat dikesan: 100% manusia

Kandungan tulisan manusia: 8 daripada 10 (80%) betul Kali
terakhir: 5 daripada 7 (71%) betul 

Sebelum kita meneruskan, mari kita bincangkan apa yang akan saya anggap sebagai analisis yang "betul". Jika skor adalah angka, apa-apa yang melebihi 80% akan dikira sebagai analisis yang betul, dan itu adalah murah hati. Jika skor mempunyai ringkasan, saya akan melihat ringkasan dan membuat penilaian. 

Dengan itu, mari kita gali lagi.

Terangkan sebab ChatGPT boleh menjadi masalah sebenar bagi guru dan editor apabila ia berkaitan dengan plagiarisme

ChatGPT ialah varian model bahasa GPT (Generative Pre-trained Transformer) yang dibangunkan oleh OpenAI. Ia direka untuk menjana teks seperti manusia dengan meramalkan perkataan atau frasa seterusnya dalam urutan input tertentu. Walaupun ChatGPT boleh menjadi alat yang berguna untuk menjana teks dan membalas gesaan, ia juga boleh menjadi masalah bagi guru dan editor apabila ia berkaitan dengan plagiarisme.

Salah satu sebab utama mengapa ChatGPT boleh menjadi masalah bagi guru dan editor ialah ia boleh menjana teks yang sangat serupa dengan penulis manusia sebenar. Ini bermakna pelajar atau individu lain berpotensi menggunakan ChatGPT untuk menjana teks yang kemudiannya boleh mereka serahkan sebagai karya mereka sendiri, sekali gus melakukan plagiarisme.

Bagi guru dan editor, mengesan sama ada sekeping teks tertentu dijana oleh ChatGPT atau ditulis oleh manusia boleh menjadi sangat sukar, kerana teks yang dijana mungkin tidak mengandungi sebarang ralat atau percanggahan yang jelas yang akan mendedahkan asal tiruannya. Ini boleh menyukarkan guru dan editor untuk mengenal pasti dan mencegah plagiarisme, kerana mereka mungkin tidak dapat mengetahui sama ada sekeping teks tertentu adalah asli atau disalin daripada sumber lain.

Secara keseluruhannya, ChatGPT dan model bahasa lain yang serupa boleh menjadi masalah kepada guru dan editor apabila ia berkaitan dengan plagiarisme kerana mereka boleh menjana teks yang sukar dibezakan daripada yang ditulis oleh manusia, memudahkan pelajar dan individu lain melakukan plagiarisme tanpa dikesan.

• Pengesan Output GPT-2: 99.69% sebenar
• Writer.com: 77% kandungan yang dijana manusia
• Pengesanan Kandungan BrandWell AI: Sukar untuk diberitahu
• GPTZero: 100% AI
• ZeroGPT: 100% AI
• Pengesan GPT Writefull: 12% kemungkinan ini datang daripada GPT-3, GPT-4 atau ChatGPT
• Originality.ai: 100% AI
• QuillBot: 83% kemungkinan AI
• Tatabahasa: Kami tidak mengesan corak teks AI biasa. Dokumen anda nampaknya tidak mengandungi teks
  yang dijana AI
• Tidak dapat dikesan: 100% AI

Kandungan bertulis AI: 5-daripada-10 (50%) betul
Kali terakhir: 4-daripada-7 (57%) betul

Ingat, teks yang ditunjukkan dalam huruf condong telah dijana oleh AI.

Tunjukkan kepada saya sekurang-kurangnya tiga cara saya boleh mengesan ChatGPT digunakan untuk menghasilkan sekeping teks

Terdapat beberapa cara anda berpotensi mengesan sama ada ChatGPT atau model bahasa lain telah digunakan untuk menghasilkan sekeping teks. Berikut ialah tiga pendekatan berpotensi yang boleh anda gunakan:

1. Cari corak berulang atau luar biasa dalam teks: Satu cara untuk mengesan sama ada model bahasa digunakan untuk menjana sekeping teks ialah mencari corak berulang atau luar biasa dalam penulisan. Sebagai contoh, model bahasa mungkin mengulangi frasa atau kombinasi perkataan tertentu, atau menggunakan struktur ayat yang luar biasa atau tidak konsisten.
2. Semak kekurangan keaslian: Satu lagi cara untuk mengesan sama ada model bahasa digunakan untuk menjana sekeping teks ialah menyemak kekurangan keaslian dalam penulisan. Jika sekeping teks kelihatan disalin daripada sumber lain, atau jika ia mengandungi maklumat yang tersedia secara meluas di internet atau dalam sumber lain, ia boleh menjadi tanda bahawa ia dijana oleh model bahasa.
3. Gunakan penyemak plagiarisme: Akhir sekali, anda boleh menggunakan penyemak plagiarisme untuk menyemak sama ada sekeping teks kelihatan disalin daripada sumber lain. Walaupun penyemak plagiarisme mungkin tidak dapat menentukan secara muktamad sama ada model bahasa digunakan untuk menjana sekeping teks, ia boleh membantu anda mengenal pasti contoh menyalin atau menghuraikan daripada sumber lain.
4. Perhatikan apabila jawapannya jelas salah: Saya bercakap tentang perkara ini dalam ulasan Notion AI saya, di mana saya menyerlahkan beberapa teks yang ditulis oleh AI dengan kewibawaan yang kelihatan tetapi yang secara terang-terangan salah. Jika pelajar atau penulis tidak mempunyai arahan penuh tentang topik yang dibincangkan, mereka mungkin tidak melihat ketidaktepatan dan meninggalkannya dalam respons yang dijana AI. Sudah tentu, kenyataan yang salah bukan sekadar bidang kuasa alat penulisan AI. Ramai blogger dan pengulas, sebagai contoh, mengulangi kenyataan yang dibuat oleh blogger lain, mewujudkan ruang gema "fakta palsu" sepenuhnya, menunjukkan bahawa walaupun kecerdasan mungkin tiruan, kebodohan adalah sifat sejagat.

Perlu diingat bahawa sukar untuk menentukan secara muktamad sama ada model bahasa digunakan untuk menjana sekeping teks, dan kaedah ini mungkin tidak selalu berkesan. Walau bagaimanapun, ia boleh menjadi alat yang berguna untuk membantu anda mengenal pasti contoh teks yang dijana model bahasa yang berpotensi.

Dalam set ujian ini, hanya kandungan condong di atas dijalankan melalui suite pemeriksa.

• Pengesan Output GPT-2: 99.98% palsu
• Writer.com: 73% kandungan yang dijana manusia
• Pengesanan Kandungan BrandWell AI: Lulus sebagai manusia
• GPTZero: 100% AI
• ZeroGPT: 96.99% dijana AI
• Pengesan GPT Writefull: 79% berkemungkinan ini datang daripada GPT-3, GPT-4 atau ChatGPT
• Originality.ai: 100% AI
• QuillBot: 100% AI
• Tatabahasa: Kami tidak mengesan corak teks AI biasa. Dokumen anda nampaknya tidak mengandungi teks
  yang dijana AI
• Tidak dapat dikesan: 100% AI

Kandungan bertulis AI: 6-daripada-10 (60%) betul
Kali terakhir: 5-daripada-7 (71%) betul

Senaraikan tiga penyemak plagiarisme yang boleh mengesan teks ChatGPT

Perlu diingat bahawa pada masa ini tiada penyemak plagiarisme yang direka khusus untuk mengesan teks yang dijana oleh ChatGPT atau model bahasa lain. Walaupun sesetengah penyemak plagiarisme mungkin boleh mengenal pasti ciri-ciri tertentu teks yang dijana model bahasa yang boleh menunjukkan asal tiruannya, tiada jaminan bahawa mereka akan dapat menentukan secara muktamad sama ada sekeping teks dijana oleh model bahasa.

Dengan itu, berikut ialah tiga penyemak plagiarisme yang mungkin anda pertimbangkan untuk digunakan untuk membantu mengenal pasti contoh teks yang dijana model bahasa yang berpotensi:

1. Turnitin: Turnitin ialah penyemak plagiarisme popular yang digunakan secara meluas oleh sekolah dan universiti. Ia membandingkan sekeping teks dengan pangkalan data teks lain untuk mengenal pasti contoh penyalinan atau parafrasa. Walaupun ia mungkin tidak dapat menentukan secara muktamad sama ada sekeping teks dijana oleh model bahasa, ia berpotensi mengenal pasti ciri-ciri tertentu teks yang dijana model bahasa yang boleh menunjukkan asal tiruannya.
2. PlagScan: PlagScan ialah satu lagi penyemak plagiarisme yang membandingkan sekeping teks dengan pangkalan data teks lain untuk mengenal pasti contoh penyalinan atau parafrasa. Seperti Turnitin, ia mungkin boleh mengenal pasti ciri-ciri tertentu teks yang dijana model bahasa yang boleh menunjukkan asal tiruannya, tetapi ia tidak direka khusus untuk mengesan teks yang dijana model bahasa.
3. Copyleaks: Copyleaks ialah penyemak plagiarisme yang menggunakan algoritma pembelajaran mesin lanjutan untuk mengimbas sekeping teks dan membandingkannya dengan pangkalan data teks lain untuk mengenal pasti contoh penyalinan atau parafrasa. Walaupun ia mungkin boleh mengenal pasti ciri-ciri tertentu teks yang dijana model bahasa, ia tidak direka khusus untuk mengesan teks yang dijana model bahasa.

Perlu diingat bahawa tiada penyemak plagiarisme yang benar-benar mudah, dan sentiasa ada kemungkinan bahawa sekeping teks yang dijana model bahasa boleh terlepas daripada pengesanan. Oleh itu, adalah penting untuk menggunakan penyemak plagiarisme sebagai hanya satu bahagian daripada strategi yang lebih besar untuk mengesan dan mencegah plagiarisme.

• Pengesan Output GPT-2: 99.58% sebenar
• Writer.com: 74% kandungan yang dijana manusia
• Pengesanan Kandungan BrandWell AI: Lulus sebagai manusia
• GPTZero: 100% AI
• ZeroGPT: 100% AI
• Pengesan GPT Writefull: 87% berkemungkinan ini datang daripada GPT-3, GPT-4 atau ChatGPT
• Originality.ai: 100% AI
• QuillBot: 100% dijana AI
• Tatabahasa: Tiada plagiarisme atau teks AI dikesan
• Tidak dapat dikesan: 100% AI

Kandungan bertulis AI: 6-daripada-10 (55%) betul
Kali terakhir: 5-daripada-7 (71%) betul

Penyemak plagiarisme AI dalam talian

Kebanyakan pengesan plagiarisme digunakan untuk membandingkan penulisan dengan korpus penulisan lain. Sebagai contoh, apabila pelajar menyerahkan esei, produk seperti Turnitin mengimbas esei yang diserahkan terhadap perpustakaan besar esei dalam pangkalan datanya, dan dokumen serta teks lain di internet untuk menentukan sama ada esei yang diserahkan mengandungi kandungan yang sudah ditulis.

Walau bagaimanapun, alat penulisan AI menjana kandungan asal, sekurang-kurangnya secara teori. Ya, mereka membina kandungan mereka daripada apa sahaja yang telah mereka latih, tetapi perkataan yang mereka bina agak unik untuk setiap komposisi.

Oleh itu, penyemak plagiarisme yang dinyatakan di atas mungkin tidak akan berfungsi kerana kandungan yang dijana AI mungkin tidak wujud dalam, katakan, kertas pelajar lain.

Dalam artikel ini, kami hanya melihat pengesan GPT. Tetapi plagiarisme adalah masalah besar dan, seperti yang telah kita lihat, ada yang memilih untuk mentakrifkan plagiarisme sebagai sesuatu yang anda dakwa sebagai milik anda yang tidak anda tulis, manakala yang lain memilih untuk mentakrifkan plagiarisme sebagai sesuatu yang ditulis oleh orang lain yang anda dakwa adalah milik anda.

Perbezaan itu tidak pernah menjadi masalah sehingga kini. Sekarang kita mempunyai penulis bukan manusia, perbezaan plagiarisme lebih bernuansa. Terpulang kepada setiap guru, sekolah, editor dan institusi untuk memutuskan dengan tepat di mana garisan itu dilukis.

• Pengesan Output GPT-2: 99.56% sebenar
• Writer.com: 98% kandungan yang dijana manusia
• Pengesanan Kandungan BrandWell AI: Lulus sebagai manusia
• GPTZero: 98% manusia
• ZeroGPT: 16.82% AI - Teks anda ditulis oleh manusia
• Pengesan GPT Writefull: 7% kemungkinan ini datang daripada GPT-3, GPT-4 atau ChatGPT
• Originality.ai: 100% asli
• QuillBot: 0% AI
• Tatabahasa: Tiada plagiarisme atau teks AI dikesan
• Tidak dapat dikesan: 100% manusia

Kandungan bertulis AI: 10 daripada 10 (100%) betul Kali
terakhir: 7 daripada 7 (100%) betul

Keputusan keseluruhan

Secara keseluruhan, keputusan secara amnya kekal sama berbanding pusingan ujian terakhir. Masa itu, kami mempunyai tiga perkhidmatan dengan markah sempurna. ZeroGPT, salah seorang pemain kami yang mendapat markah sempurna ketika itu, gagal dalam ujian yang berjaya sebelum ini. Dua pengesan baharu, Writer.com dan Grammarly, tidak meningkatkan skor. Malah, kedua-duanya secara amnya tidak berjaya. Tetapi Undectable mendapat jawapan yang betul setiap kali.

Walaupun terdapat beberapa markah sempurna, saya tidak mengesyorkan bergantung semata-mata pada alat ini untuk mengesahkan kandungan pelajar. Seperti yang telah ditunjukkan, penulisan daripada penutur bukan asli sering dinilai sebagai dijana oleh AI, dan walaupun kandungan buatan tangan saya tidak lagi dinilai sebagai AI, terdapat beberapa perenggan yang dibenderakan oleh penguji sebagai mungkin berasaskan AI. Anda juga boleh melihat bagaimana keputusan sangat tidak konsisten antara sistem ujian. Jadi, saya akan menganjurkan berhati-hati sebelum bergantung pada keputusan mana-mana (atau semua) alat ini.

Mari lihat penguji individu dan lihat prestasi masing-masing.

Pengesan Output GPT-2 (Ketepatan 60%)

Alat pertama ini dibina menggunakan hab pembelajaran mesin yang diuruskan oleh syarikat AI yang berpangkalan di New York, Hugging Face. Walaupun syarikat itu telah menerima pembiayaan $40 juta untuk membangunkan perpustakaan bahasa semula jadinya, pengesan GPT-2 nampaknya merupakan alat ciptaan pengguna menggunakan perpustakaan Hugging Face Transformers. Daripada lima ujian yang saya jalankan, pengesan tepat dalam tiga.

Writer.com Pengesan Kandungan AI (Ketepatan N/A)

Writer.com ialah perkhidmatan yang menjana penulisan AI, berorientasikan kepada pasukan korporat. Alat Pengesan Kandungan AInya boleh mengimbas kandungan yang dijana. Saya mendapati alat ini tidak boleh dipercayai. Walaupun sebelum ini gagal menjana keputusan, ia berjalan kali ini. Malangnya, ketepatannya agak rendah. Ia pada asasnya mengenal pasti setiap blok teks sebagai ditulis manusia, di mana tiga daripada enam ujian ditulis oleh ChatGPT.

Selepas artikel ini pada asalnya diterbitkan pada bulan Januari, orang-orang di Writer.com menghubungi ZDNET. Ketua Pegawai Eksekutif May Habib mempunyai komen ini untuk dikongsi:

Permintaan untuk pengesan AI telah meroket. Trafik telah meningkat 2-3x seminggu sejak kami melancarkannya beberapa bulan lalu. Kami kini mempunyai penskalaan yang diperlukan di belakangnya untuk memastikan ia tidak turun, dan matlamat kami adalah untuk memastikan ia percuma - dan dikemas kini untuk menangkap output model terkini, termasuk model kami. Jika output AI akan digunakan secara verbatim, ia sepatutnya dikaitkan.

Pengesanan Kandungan BrandWell AI (Ketepatan 40%)

Alat ketiga yang saya temui pada asalnya dihasilkan oleh firma penjanaan kandungan AI, Kandungan pada Skala. Selepas itu, alat itu berhijrah ke BrandWell.ai, yang nampaknya merupakan nama baharu untuk apa yang kini menjadi syarikat perkhidmatan pemasaran berpusatkan AI.

Malangnya, ketepatannya agak rendah. Alat itu mengenal pasti semua kandungan AI sebagai manusia, seperti dalam tangkapan skrin ini:

Teks ini ditulis sepenuhnya oleh ChatGPT.

GPTZero (Ketepatan 100%)

Tidak jelas sepenuhnya apa yang mendorong GPTZero. Syarikat itu mengupah jurutera dan jurujual, dan ia berjalan di AWS, jadi terdapat perbelanjaan dan jualan. Walau bagaimanapun, apa yang saya dapati tentang tawaran perkhidmatan ialah tempat di mana anda boleh mendaftar untuk akaun percuma untuk mengimbas lebih daripada 5,000 perkataan yang ditawarkan tanpa log masuk. Jika anda berminat dengan perkhidmatan ini untuk pengesanan GPT, anda perlu melihat sama ada mereka akan membalas anda dengan butiran lanjut. Ketepatan meningkat sejak kali pertama saya menjalankan ujian dan kekal pada 100% untuk pusingan ini.

ZeroGPT (Ketepatan 80%)

ZeroGPT nampaknya telah matang sebagai perkhidmatan sejak kali terakhir kami melihatnya. Semasa kali terakhir kami melihat, tiada nama syarikat disenaraikan, dan laman web itu dipenuhi dengan iklan Google tanpa strategi yang jelas untuk pengewangan. Perkhidmatan itu berfungsi dengan baik tetapi kelihatan samar-samar.

Perasaan lakaran itu kini hilang. ZeroGPT membentangkan sebagai mana-mana perkhidmatan SaaS lain, lengkap dengan harga, nama syarikat, maklumat hubungan dan semua yang lain. Ia masih berfungsi dengan baik, jadi mungkin pembangun memutuskan untuk menukar kod kerja mereka menjadi lebih daripada perniagaan yang berfungsi. Ketepatan menurun, walaupun. Ia salah membaca satu ujian bertulis manusia sebagai AI.

Pengesan GPT Writefull (Ketepatan 60%)

Writefull menjual perkhidmatan sokongan penulisan dan rasa alatnya secara percuma. Pengesan GPT agak baharu dan berfungsi dengan baik. Walau bagaimanapun, alat ini mempunyai beberapa pasang surut dalam ujian kami. Ia bertambah baik daripada 60% kepada 80% sebelum ini tetapi turun kepada 60% sekali lagi kali ini.

Originality.ai (Ketepatan 100%, semacam)

Originality.ai ialah perkhidmatan komersial yang mendakwa dirinya sebagai penyemak AI dan plagiarisme. Syarikat itu menjual perkhidmatannya berdasarkan kredit penggunaan. Untuk memberi anda idea, semua imbasan yang saya lakukan untuk artikel ini menggunakan 30 kredit penggunaan. Syarikat itu menjual 2,000 kredit sebulan dengan harga $12.95 sebulan. Saya mengepam 1,400 perkataan melalui sistem dan hanya menggunakan 1.5% daripada peruntukan bulanan.

Hasilnya bagus untuk penyemak AI, tetapi alat itu gagal tiga daripada lima kali apabila menggunakan perkhidmatan sebagai penyemak plagiarisme. Tangkapan skrin berikut mendakwa bahawa teks yang ditampal adalah 0% diciplak:

Itu salah kerana semua teks yang ditampal ke dalam alat itu adalah daripada artikel ini, diterbitkan dalam talian selama dua tahun. Saya fikir, mungkin, bahawa pengimbas plagiarisme tidak dapat membaca kandungan ZDNET, tetapi itu tidak berlaku, seperti yang ditunjukkan oleh tangkapan skrin ini:

Untuk bersikap adil, saya tidak berhasrat untuk menyemak penyemak plagiarisme dalam artikel ini. Tetapi kerana saya menggunakan bahan sumber yang saya tahu saya tarik daripada rencana saya yang sedia ada, saya fikir pemeriksa plagiarisme akan menyelar kesemuanya sebagai 100% diciplak. Walau apa pun, Originality.ai berjaya dengan baik pada bahagian yang kami tetapkan untuk menguji, pemeriksa AI. Alat ini mendapat mata untuk itu.  

QuillBot (Ketepatan 80%-ish)

Tiada apa yang mudah. Kali pertama saya menjalankan ujian pertama saya melalui QuillBot, ia mengatakan 45% daripada teks berkemungkinan dijana oleh AI. Ia tidak. Saya menulisnya. Tetapi kemudian, selepas menyelesaikan semua ujian lain, saya kembali ke QuillBot untuk mengambil tangkapan skrin untuk bahagian ini, memberikannya teks yang sama yang menjana skor 45%, dan, seperti yang anda lihat di bawah, ia kini melaporkan 0% AI:

Jadi, apa yang perlu kita buat daripada keputusan ini? Malangnya, saya tidak menangkap tangkapan skrin kali pertama saya menguji teks ini, tetapi ia menyerlahkan kebimbangan tentang terlalu bergantung pada pengesan AI, yang juga agak mampu berhalusinasi. 

Tatabahasa (Ketepatan 40%)

Grammarly ialah alat yang terkenal untuk membantu penulis menghasilkan kandungan yang betul dari segi tatabahasa. Bukan itu yang kami uji di sini. Grammarly boleh menyemak kedua-dua plagiarisme dan kandungan AI. Anda boleh menampal dokumen ke dalam penyemak tatabahasa, dan di sudut kanan bawah, terdapat butang semakan teks Plagiarisme dan AI:

Dalam ujian ini, alat itu menemui dokumen dalam talian sedia ada yang sepadan dengan teks yang saya tampal ke dalam Grammarly. Keputusan itu masuk akal kerana ini adalah kemas kini kepada rencana yang telah dalam talian selama beberapa tahun. Namun alat itu juga menjawab, "Dokumen anda nampaknya tidak mengandungi teks yang dijana Al". Walau bagaimanapun, ChatGPT menjana keseluruhan segmen.

Undetectable.ai (Ketepatan 100%)

Tuntutan besar Undetectable.ai untuk kemasyhuran ialah "manusiawi", yang kononnya mengambil teks yang dijana AI dan menjadikannya kelihatan cukup manusia sehingga pengesan AI tidak akan mengesannya seperti yang dicipta oleh robot. Itulah keupayaan yang belum saya uji, dan yang, sejujurnya, mengganggu saya pada beberapa teras yang mendalam dalam diri saya. Keupayaan ini kelihatan seperti menipu saya seorang pengarang dan pendidik profesional.

Walau bagaimanapun, syarikat itu juga mempunyai pengesan AI, yang sangat tepat.

Pengesan AI lulus semua ujian yang kami berikan kepadanya. Perhatikan penunjuk yang menunjukkan bendera untuk pengesan kandungan lain. Syarikat itu berkata: "Kami membangunkan pelbagai algoritma pengesan yang dimodelkan selepas pengesan utama tersebut untuk menyediakan pendekatan bersekutu dan berasaskan konsensus. Mereka tidak terus memasukkan ke dalam model yang disenaraikan, sebaliknya, model masing-masing dilatih berdasarkan hasil yang telah mereka hasilkan. Apabila ia mengatakan model tersebut membenderakannya, ia berdasarkan algoritma yang kami cipta dan kemas kini untuk model tersebut."

Algoritma tersebut tidak sempurna, kerana apabila saya menjalankan teks yang sama melalui GPTZero, ia mengisytiharkan teks itu sebagai 98% manusia, yang tidak layak mendapat penunjuk amaran merah.

Walaupun begitu, Undetectable mengesan kesemua lima ujian yang kami lalui, memperoleh skor 100% yang sempurna.

Bagaimana pula dengan pengesan ChatGPT OpenAI sendiri?

Nah, OpenAI menariknya tahun lepas kerana pengesan itu tidak begitu tepat. Sehingga Ogos, ia sepatutnya 99% tepat. Walau bagaimanapun, masih tiada tanda-tanda pembebasan empat bulan kemudian. Tahap ketepatan yang dituntut juga agak sukar untuk dipercayai kerana ChatGPT jauh daripada 100% tepat. 

Tetapi, dalam apa jua keadaan, seperti yang ditulis oleh rakan ZDNET saya Steven Vaughan-Nichols, ia belum tersedia lagi. Kami akan memberi putaran alat itu apabila ia dikeluarkan untuk kegunaan awam. Nantikan.

Akhir fikiran

Pertama, saya akan membiarkan ChatGPT bersuara: Plagiarisme dipacu AI ialah masalah yang semakin meningkat, kerana alatan AI seperti Notion AI dan ChatGPT boleh menjana teks yang sukar dibezakan daripada yang ditulis oleh manusia. Terdapat beberapa cara untuk mengesan sama ada sekeping teks dijana oleh AI, seperti mencari corak berulang atau luar biasa, menyemak kekurangan keaslian atau menggunakan penyemak plagiarisme. Penyemak plagiarisme seperti Turnitin, PlagScan dan Copyleaks mungkin boleh mengenal pasti ciri-ciri tertentu teks yang dijana model bahasa, tetapi ia tidak mudah.

Malah alat khusus yang saya dapati sangat tidak sesuai untuk tugas itu. Terdapat beberapa peningkatan terhad berbanding ujian saya pada bulan Januari. Walau bagaimanapun, saya pasti tidak akan berasa selesa mengancam kedudukan akademik pelajar atau menuduh mereka menipu berdasarkan hasil alat ini.

Pada ketika ini, saya rasa kita tidak bersedia untuk membiarkan AI melawan AI. Sebaliknya, kita perlu bergantung pada persepsi manusia (yang bermaksud orang ramai perlu memberi perhatian) untuk mengenal pasti karya yang dihasilkan oleh AI.

Jangan segera menganggap bahawa teks dijana oleh mesin jika ia bodoh atau sangat tidak tepat. Seperti yang kita semua tahu, manusia boleh menulis beberapa perkara buruk.

Jadi, apa pendapat anda? Bolehkah anda mengetahui sama ada sekeping dijana oleh AI? Adakah anda telah menggunakan alat penulisan AI ini dalam beberapa bulan sejak ia tiba-tiba tersedia? Adakah mereka membantu atau menghalang pendidikan dan kewartawanan? Beritahu kami dalam komen di bawah. Begini cara ChatGPT menjawab perkara ini:

Sebagai model bahasa, saya tidak dapat melihat atau berinteraksi dengan tulisan fizikal, jadi saya tidak dapat mengetahui sama ada sekeping itu dijana AI atau tidak. Walau bagaimanapun, saya boleh memberitahu anda bahawa terdapat beberapa alat penulisan AI yang tersedia, dan ia boleh digunakan untuk menjana pelbagai kandungan bertulis, termasuk artikel berita, fiksyen, puisi dan banyak lagi.

Saya tidak mempunyai pengalaman peribadi menggunakan alatan ini kerana saya hanya program komputer dan tidak mempunyai keupayaan untuk melayari internet atau menggunakan alatan fizikal. Walau bagaimanapun, saya boleh memberitahu anda bahawa sesetengah orang mendapati alat penulisan AI membantu dalam pendidikan dan kewartawanan, kerana ia boleh menjimatkan masa dan usaha dengan mengautomasikan tugas tertentu. Yang lain telah menyatakan kebimbangan tentang potensi alat ini digunakan untuk menghasilkan kandungan yang mengelirukan atau berat sebelah atau untuk menggantikan penulis manusia. Akhirnya, sama ada alat penulisan AI membantu atau menghalang bergantung pada cara ia digunakan dan konteks di mana ia digunakan.

Jadi, ya, ada itu.