Pengendali belum berbaloi dengan langganan ChatGPT Pro $200 sebulan lagi - inilah sebabnya

Pengendali memanfaatkan AI untuk melaksanakan tugas penyemak imbas asas seperti tempahan dan pesanan. Tetapi adakah alat ini menawarkan kedalaman yang cukup untuk mewajarkan kos dan gembar-gemburnya?

Minggu ini, OpenAI memperkenalkan pratonton penyelidikan yang dipanggil Operator. Pada mulanya saya ingin melakukan hands-on, tetapi sebaik sahaja saya mengetahui bahawa anda memerlukan akaun Pro (yang berharga $200 sebulan), saya memutuskan untuk menonton pelbagai demo OpenAI, berkongsinya dengan anda, dan kemudian berkongsi pendapat saya. Altman memang mengatakan bahawa pengguna pelan Plus $20 sebulan akhirnya akan dapat menggunakan Operator.

Pengendali ialah ejen AI. Pada asasnya, ia mensimulasikan klik papan kekunci dan tetikus dalam penyemak imbas, membaca skrin dan melakukan tindakan.

Saya mempunyai sejarah yang agak panjang dalam membina aplikasi jenis ini, menggunakan kebanyakannya pengaturcaraan algoritma bersama-sama dengan sedikit pembelajaran mesin untuk mengenal pasti lokasi imej tertentu pada skrin.

Projek terbaharu saya ialah alat penyiaran automatik yang akan membuat siaran media sosial saya untuk saya. Ya, terdapat banyak perkhidmatan langganan yang akan melakukannya untuk anda, tetapi saya memutuskan untuk melihat apa yang diperlukan untuk membina sendiri.

Kod saya menggunakan gabungan DOM (model objek dokumen) untuk halaman perkhidmatan media sosial individu, bersama-sama dengan pengecam imej yang dapat mencari butang (seperti butang + atau Pos). Saya menggunakan alat yang saya bina selama kira-kira setahun tetapi menghadapi halangan yang sangat menjengkelkan.

Kira-kira setiap dua minggu, salah satu daripada enam tapak yang saya layari membuat perubahan kecil pada antara muka skrin, yang terus memecahkan kod saya. Jadi setiap dua minggu, daripada menyiarkan siaran media sosial saya seperti biasa, saya terpaksa meluangkan beberapa jam untuk membaiki apa sahaja yang rosak.

Hakikat bahawa web sentiasa berubah (contohnya, butang "Siaran" biru mungkin bertukar menjadi butang "Siarkan/Langgan pada diskaun 30%" merah semasa promosi) mungkin mengetuk AI daripada permainannya.

Ejen pengguna komputer

Model yang digunakan OpenAI dipanggil CUA, atau ejen yang menggunakan pengkomputeran. Model ini menentukan cara Operator bercakap dengan tapak web yang sepatutnya dilayari.

Dalam video pengenalan mereka, Sam Altman dan ahli pasukan OpenAI Yash Kumar, Casey Chu dan Reiichiro Nakano menjelaskan bahawa Operator tidak menggunakan API dan tidak berfungsi daripada teks yang diekstrak yang ditarik daripada DOM. Sebaliknya, ia "melihat" halaman web sebenar dalam penyemak imbas langsung yang berjalan di awan, membaca konteks terus dari skrin.

Mereka sangat jelas bahawa mekanisme kawalan untuk halaman web ialah simulasi tetikus dan papan kekunci, dan input yang dibaca oleh AI ialah perwakilan visual halaman web sebenar yang kita lihat sebagai manusia.

Pasukan OpenAI memang mengatakan bahawa Operator akan berfungsi seperti manusia menggunakan pelayar web -- mencari, mengklik dan melawati tapak web. Tetapi terdapat percanggahan yang belum saya ketahui sepenuhnya, iaitu OpenAI telah bekerjasama dengan sekumpulan tapak (Instacart, DoorDash, Etsy, OpenTable, Tripadvisor, AP, Priceline, StubHub, Thumbtack, Target, Uber dan banyak lagi).

Apakah yang dilakukan oleh perkongsian ini untuk Pengendali? Adakah mereka tawaran gabungan di mana OpenAI mendapat sogokan untuk sebarang jualan? Adakah mereka mempunyai perjanjian untuk memberitahu Operator jika format laman web telah berubah? Adakah OpenAI melakukan pemodelan tambahan untuk tapak tersebut? Adakah ia mempunyai beberapa tahap akses API kepada data yang dipaparkan oleh laman web tersebut di web?

Sehingga kami mempunyai pemahaman yang lebih baik tentang jawapan tersebut, kami tidak akan benar-benar mengetahui skop apa yang boleh dilakukan oleh Operator. Semua demo yang ditunjukkan dijalankan menggunakan tapak yang telah bekerjasama dengan syarikat, jadi tidak jelas, sebagai contoh, bahawa ia boleh masuk ke ZDNET dan membina senarai 10 artikel terakhir saya dan menghantar e-mel kepada saya menggunakan Gmail.

Pada masa ini, saya mendapat tanggapan bahawa Operator agak cetek dalam apa yang boleh dicapai. Demo ini, sebagai contoh, dapat mencari resipi di satu tapak dan kemudian mengisi troli beli-belah Instacart dengan senarai ramuan.

Terdapat demo yang menunjukkan membuat tempahan restoran, membeli tiket ke perlawanan bola keranjang, dan sebagainya. Setiap daripada ini adalah satu atau dua proses tapak di mana data ditemui pada satu tapak dan kemudian digunakan pada tapak yang lain.

Pagar pengawal dan privasi

OpenAI nampaknya telah memberikan pertimbangan serius terhadap isu privasi dan pagar pengawal. Sebagai contoh, satu demo menunjukkan tempahan empat tiket bola keranjang dengan jumlah lebih daripada $1,000. Tidak mungkin mana-mana daripada kita akan berasa selesa hanya membiarkan AI meneruskan dan membelanjakan wang tunai sebanyak itu bagi pihak kita tanpa pengawasan.

Pengendali tahu bila hendak berhenti seketika dan meminta campur tangan manusia. Atau sekurang-kurangnya, ia sepatutnya. Ia masih dalam versi beta, jadi ada kemungkinan ia boleh mengamuk, hanya kerana ia belum selesai.

Tetapi idea utamanya mudah: apabila operasi di laman web akan menjadi sensitif (log masuk, membelanjakan wang, membuat tempahan, mendaftar keluar, dll.), Operator meminta manusianya untuk mengesahkan operasi tersebut.

Selain itu, pengguna manusia boleh mengawal tetingkap penyemak imbas berasaskan awan. Menurut OpenAI, apabila manusia mengawal penyemak imbas, ia bertindak seperti sesi peribadi, dan tiada apa yang berlaku semasa manusia mengawal disalurkan semula kepada AI.

Anda juga boleh menarik diri daripada membenarkan interaksi tapak web anda digunakan sebagai data latihan untuk AI.

Arahan tersuai khusus tapak

Operator membolehkan anda membuat arahan tersuai khusus tapak berdasarkan tapak demi tapak.

Dalam contoh di atas, yang ditarik daripada video di bawah, penunjuk perasaan ingin memastikan bahawa tempahan di Priceline boleh dikembalikan sepenuhnya dan mempunyai sarapan percuma. Dengan meletakkan arahan tersuai itu dalam pilihan laman web, ejen AI akan sentiasa mempertimbangkannya semasa melaksanakan tugas di Priceline.

Selain itu, Operator akan membenarkan anda menyimpan tugasan supaya anda boleh menjalankannya semula atau menjadualkannya kemudian.

Jika anda mempunyai aktiviti biasa yang anda mahu Operator lakukan untuk anda, ini adalah cara pantas untuk memastikan anda boleh menjalankan semula kerja anda apabila anda mahu.

Langkah bayi

Pengendali berasa sangat seperti langkah bayi kepada saya pada masa ini. Sebagai contoh, saya ingin memberitahu AI untuk menyemak peti masuk saya, mencari semua siaran akhbar dan memberikannya kepada satu label (saya menggunakan Gmail). Atau cari semua siaran akhbar berkaitan AI dan beri mereka satu label, manakala siaran akhbar yang lain mendapat yang lain.

Ini adalah tugas yang kompleks dan mempunyai masa jalan yang agak lama (saya mempunyai 51,000 bahagian pemasaran dalam tab Promosi saya). Oleh itu, ia jauh di luar skop apa yang boleh dilakukan oleh Pengendali.

Tetapi suatu hari nanti? Mungkin.

Saya juga cuba mengelakkan tafsiran seram fiksyen sains tentang semua ini. Terdapat sebahagian kecil otak saya menjerit, "Mereka membiarkan AI melayari Internet? Adakah mereka gila?"

Dan ya, alatan seperti Operator (dan juga semua AI yang dilatih di Internet secara keseluruhan) mungkin membuka pintu kepada beberapa perkara yang sangat buruk, terutamanya jika kita pernah mencipta AI yang berakal. Tetapi buat masa ini, ia merupakan latihan yang menarik untuk melihat sejauh mana AI berjaya membaca resipi dan memesan bahan-bahan daripada Instacart.

Apa yang awak fikir? Apabila harga turun kepada julat $20 sebulan, adakah anda melihat tugasan yang mungkin anda berikan kepada Pengendali? Adakah ia membimbangkan anda? Beritahu kami pendapat anda dalam komen di bawah.