10 sebab utama AI menjadi arus perdana dalam sekelip mata - dan apa yang berlaku seterusnya

Dalam beberapa cabaran, model berasaskan GPT-4 berjaya. Dalam yang lain, ia gagal. Bagaimana anda tahu bila hendak mengharapkannya?

Perkara yang saya dapati paling membingungkan tentang ujian pengaturcaraan yang telah saya jalankan ialah alatan berdasarkan model bahasa besar yang sama cenderung berprestasi agak berbeza.

Sebagai contoh, ChatGPT, Perplexity dan GitHub Copilot semuanya berdasarkan model GPT-4 daripada OpenAI. Tetapi, seperti yang akan saya tunjukkan kepada anda di bawah, walaupun rancangan pro ChatGPT dan Perplexity menunjukkan prestasi yang sangat baik, GitHub Copilot gagal sekerap ia berjaya.

Saya menguji GitHub Copilot yang dibenamkan di dalam contoh VS Code. Saya akan menerangkan cara menyediakannya dan menggunakan GitHub Copilot dalam artikel langkah demi langkah yang akan datang. Tetapi pertama-tama, mari kita jalankan ujian.

Jika anda ingin mengetahui cara saya menguji dan gesaan untuk setiap ujian individu, sila baca cara saya menguji keupayaan pengekodan chatbot AI.

TL; DR: GitHub Copilot melepasi dua dan gagal dua.

Ujian 1: Menulis Plugin WordPress

Jadi, ini gagal teruk. Ini adalah ujian pertama saya, jadi saya tidak dapat memberitahu sama ada GitHub Copilot teruk dalam menulis kod atau sama ada konteks di mana seseorang berinteraksi dengannya mengehadkan ke tahap di mana ia tidak dapat memenuhi keperluan ini.

Biar saya jelaskan.

Ujian ini melibatkan meminta AI untuk mencipta pemalam WordPress yang berfungsi sepenuhnya, lengkap dengan elemen antara muka pentadbir dan logik operasi. Pemalam mengambil satu set nama, menyusunnya, dan, jika terdapat pendua, pisahkan pendua supaya ia tidak bersebelahan.

Ini adalah aplikasi dunia sebenar yang diperlukan oleh isteri saya sebagai sebahagian daripada peranti penglibatan yang dia jalankan pada kumpulan Facebooknya yang sangat aktif sebagai sebahagian daripada perniagaan e-dagang barangan digitalnya.

Kebanyakan AI lain lulus ujian ini, sekurang-kurangnya sebahagiannya. Lima daripada 10 model AI yang diuji lulus ujian sepenuhnya. Tiga daripada mereka lulus sebahagian daripada ujian. Dua (termasuk Microsoft Copilot) gagal sepenuhnya.

Masalahnya, saya memberi GitHub Copilot gesaan yang sama yang saya berikan kepada mereka semua, tetapi ia hanya menulis kod PHP. Untuk menjadi jelas, masalah ini boleh diselesaikan semata-mata menggunakan kod PHP. Tetapi sesetengah AI suka memasukkan beberapa JavaScript untuk ciri interaktif. GitHub Copilot menyertakan kod untuk menggunakan JavaScript tetapi tidak pernah benar-benar menjana JavaScript yang cuba digunakannya.

Lebih teruk lagi, apabila saya membuat fail JavaScript dan, dari dalam fail JavaScript, cuba mendapatkan GitHub Copilot untuk menjalankan gesaan, ia memberi saya skrip PHP lain, yang juga merujuk fail JavaScript.

Seperti yang anda lihat di bawah, dalam fail randomizer.js, ia cuba memasukkan (pada asasnya untuk membawa masuk untuk menjalankan) fail randomizer.js, dan kod yang ditulisnya ialah PHP, bukan JavaScript.

Ujian 2: Menulis semula fungsi rentetan

Ujian ini agak mudah. Saya menulis fungsi yang sepatutnya menguji dolar dan sen tetapi hanya menguji integer (dolar). Ujian meminta AI membetulkan kod.

GitHub Copilot memang mengolah semula kod, tetapi terdapat banyak masalah dengan kod yang dihasilkannya.

• Ia mengandaikan nilai rentetan sentiasa nilai rentetan. Jika ia kosong, kod akan rosak.
• Kod ungkapan biasa yang disemak semula akan pecah jika titik perpuluhan (iaitu, "3.") dimasukkan, jika titik perpuluhan utama (iaitu, ".3") dimasukkan, atau jika sifar utama disertakan (iaitu, "00.30").

Untuk sesuatu yang sepatutnya menguji sama ada mata wang dimasukkan dengan betul, gagal dengan kod yang akan ranap pada kes tepi tidak boleh diterima.

Jadi, kita mempunyai satu lagi kegagalan.

Ujian 3: Mencari pepijat yang menjengkelkan

GitHub Copilot betul. Ini adalah satu lagi ujian yang ditarik daripada pelarian pengekodan kehidupan sebenar saya. Apa yang membuatkan pepijat ini begitu menjengkelkan (dan sukar untuk difikirkan) ialah mesej ralat tidak berkaitan secara langsung dengan masalah sebenar.

Pepijat itu adalah sejenis pengekod yang setara dengan soalan helah. Menyelesaikannya memerlukan pemahaman bagaimana panggilan API tertentu dalam rangka kerja WordPress berfungsi dan kemudian menggunakan pengetahuan itu pada pepijat yang dipersoalkan.

Microsoft Copilot, Gemini dan Meta Code Llama semuanya gagal dalam ujian ini. Tetapi GitHub Copilot menyelesaikannya dengan betul.

Ujian 4: Menulis skrip

Di sini juga, GitHub Copilot berjaya di mana Microsoft Copilot gagal. Cabarannya di sini ialah saya sedang menguji keupayaan AI untuk mencipta skrip yang mengetahui tentang pengekodan dalam AppleScript, model objek Chrome dan utiliti pengekodan pihak ketiga Mac sahaja yang dipanggil Keyboard Maestro.

Untuk lulus ujian ini, AI perlu dapat mengenali bahawa ketiga-tiga persekitaran pengekodan memerlukan perhatian dan kemudian menyesuaikan baris kod individu kepada setiap persekitaran tersebut.

Akhir fikiran

Memandangkan GitHub Copilot menggunakan GPT-4, saya mendapati hakikat bahawa ia gagal separuh daripada ujian mengecewakan. GitHub ialah persekitaran pengurusan sumber yang paling popular di planet ini, dan seseorang akan berharap bahawa sokongan pengekodan AI boleh dipercayai.

Seperti semua perkara AI, saya pasti prestasi akan menjadi lebih baik. Mari kita nantikan dan semak semula dalam beberapa bulan untuk melihat sama ada AI lebih berkesan pada masa itu.

Adakah anda menggunakan AI untuk membantu pengekodan? AI apa yang anda suka? Adakah anda telah mencuba GitHub Copilot? Beritahu kami dalam komen di bawah.