Saya menggunakan Copilot AI Vision untuk menyemak imbas web untuk saya, dan ia mempunyai potensi besar

Siapa yang benar-benar memerlukan pembantu AI untuk membantu mencari maklumat di internet? Ia bergantung pada apa yang anda cuba cari.

Beberapa dekad yang lalu, jika anda mahukan maklumat tentang apa-apa, anda akan pergi ke perpustakaan dan membuka buku. Itu berubah dengan kemunculan web dan enjin carian, yang kini anda hanya perlu menaip pertanyaan carian dan mendapatkan semua maklumat yang anda inginkan.

Seolah-olah itu tidak cukup mudah, kecerdasan buatan (AI) di sini untuk menjadikan pengumpulan maklumat lebih mudah dilakukan.

Awal bulan ini, Microsoft melancarkan Copilot Vision, pengalaman yang membolehkan Copilot melihat dan memahami konteks perkara yang anda lakukan dalam talian untuk memberikan bantuan masa nyata lisan. Ideanya ialah apabila anda memerlukan maklum balas atau nasihat semasa menyemak imbas, anda boleh menggunakan pembantu langsung untuk mendapatkan bantuan.

Pengalaman ini hidup dalam Microsoft Edge dan tersedia dalam pratonton untuk kumpulan pelanggan Copilot Pro terpilih dengan langganan $20 sebulan melalui Copilot Labs dan pelanggan Copilot Pro AS pada Windows. Saya mendapat akses awal dan mengujinya. Adakah langganan berbaloi untuk mengakses Copilot Vision? Inilah pengalaman saya.

Pembantu yang memahami dan melihat semua

Secara teorinya, mencari di web cukup jelas, jadi mendapatkan bantuan dengannya mungkin kelihatan tidak berguna. Walau bagaimanapun, apabila saya melalui pengalaman demo onboarding, saya agak teruja, kerana aplikasi kelihatan benar-benar berguna.

Contoh kes penggunaan termasuk mempunyai beberapa gambar pada skrin saya dan meminta Copilot Vision untuk membantu menyelesaikannya. Dalam satu contoh, terdapat banyak gambar pelbagai baka anjing, dan saya telah digesa untuk meminta Copilot Vision memberitahu saya lebih lanjut tentang mereka secara lisan. Pembantu menyemak setiap gambar dan memberitahu saya lebih lanjut tentang setiap baka -- walaupun tiada teks pada skrin.

Dalam contoh lain, terdapat gambar bandar yang berbeza pada skrin, sekali lagi tanpa teks, dan saya digesa untuk bertanya yang mana satu yang tertua. Copilot Vision mengenal pasti setiap bandar dan menerangkan yang mana yang tertua dan sebabnya.

Dalam contoh kegemaran saya, alat AI mengambil contoh artikel dan meringkaskannya untuk saya apabila saya bertanya. Saya dapat melihat ini sebagai alat yang berkuasa untuk penyelidikan, terutamanya jika anda sedang mencari maklumat tentang satu perkara tertentu dan tidak mahu menyemak bahagian itu sendiri untuk melihat sama ada ia mempunyai apa yang anda perlukan. Sekarang, secara teori, anda boleh bertanya.

Dalam semua demo, keupayaan Copilot Vision untuk memahami saya sangat mengagumkan; ia memahami saya tanpa mengira seberapa cepat saya bercakap atau jika saya menggumam, yang merupakan kelebihan utama kerana ia menjadikan pengalaman itu lancar dan intuitif. Walau bagaimanapun, apabila tiba masanya untuk mula menggunakannya di laman web saya sendiri, saya sedikit kecewa semasa meneroka aplikasi kehidupan sebenar.

Keterbatasan

Pada masa ini, Copilot Vision boleh mengakses bilangan tapak yang terhad, termasuk Wikipedia, Tripadvisor, Amazon, Target, OpenTable, Wayfair, Food & Wine, Williams Sonoma dan Geoguessr.

Sebahagian besar daripada ini adalah tapak web beli-belah, dan pengalaman saya ialah tidak banyak bantuan bermakna yang boleh berlaku semasa melakukan pembelian dalam talian. Cara ia dapat membantu saya termasuk menavigasi tapak beli-belah, membimbing saya ke bahagian tertentu, seperti tawaran, dan memikirkan tab yang hendak diklik dan bahagian yang hendak dituju.

Sebagai contoh, di Amazon, apabila saya bertanya sama ada saya boleh membantu ibu saya mencari sesuatu untuk dibeli pada Krismas, ia mencadangkan tab mana di tapak yang perlu saya klik untuk mencari item yang menarik minatnya. Bahagian Visi tidak begitu membantu kerana saya boleh melihat sendiri tab pada tapak. Ia kemudian menawarkan saya cadangan produk generik, seperti buku atau baju sejuk.

Apabila saya mengklik pada tab rawak, saya memintanya untuk memberi saya maklum balas tentang hadiah terbaik untuknya daripada pilihan yang ditunjukkan. Ia memilih item pertama pada skrin, yang dalam kes ini ialah tablet Amazon Fire HD, menyenaraikan kes penggunaannya yang jelas dan teratas -- sekali lagi, tidak begitu membantu.

Pada tiga tapak kandungan yang tersedia -- Wikipedia, Tripadvisor dan Makanan & Wain -- Copilot Vision menunjukkan lebih banyak harapan kerana ia dapat meringkaskan kandungan artikel, yang kelihatan seperti kemenangan produktiviti utama untuk pekerja, pelajar dan lain-lain.

Mengenai Makanan & Wain, yang mempunyai halaman utama yang lebih tradisional dengan artikel paling sohor kini dipaparkan, AI juga membantu dalam memberikan ikhtisar tentang perkara yang saya lihat, menerangkan secara ringkas cerita teratas dan artikel lain yang ditampilkan.

Walau bagaimanapun, saya tidak menggunakan Wikipedia untuk penyelidikan saya kerana entri pihak ketiganya, dan dua tapak lain sangat khusus dalam fokus mereka, jadi saya tidak pasti betapa bergunanya Copilot Vision melainkan anda sudah berada di salah satu laman web ini.

Dua yang terakhir memberi kes penggunaan yang lebih unik: OpenTable dan GeoGuessr. Pada OpenTable -- tapak yang digunakan untuk menyemak imbas restoran dan tempahan tempahan -- ia tidak begitu membantu kerana, sekali lagi, ia hanya boleh membantu dengan perkara yang anda sedang lihat. Contohnya, jika anda meminta cadangan untuk restoran Mexico pada malam itu, ia hanya akan memberitahu anda perkara yang sudah kelihatan.

Meneroka GeoGuessr ialah tempat Copilot Vision paling membantu, bertindak sebagai pembantu yang mengetahui semua jawapan. Seperti mempunyai rakan kongsi yang sangat berpengetahuan dalam pasukan anda, AI memberi saya beberapa petua berguna -- iaitu menipu, dalam satu cara.

Kebimbangan keselamatan

Sememangnya, dengan model AI yang melihat skrin anda menimbulkan kebimbangan mengenainya melihat data anda. Untuk menangani perkara ini, Microsoft mempunyai Soal Jawab yang kukuh yang menjawab soalan paling hangat orang ramai.

Sebagai permulaan, syarikat itu meyakinkan pengguna bahawa Copilot Vision hanya melihat tetingkap Edge mereka dalam sesi Vision aktif, yang ditetapkan oleh bingkai penyemak imbas dengan warna yang menunjukkan mereka berada dalam sesi aktif. Ini ialah pembeza utama daripada Recall, ciri yang mengambil gambar skrin pengguna di latar belakang pada setiap masa apabila pengguna pada Copilot+ PC ikut serta -- dan telah mengalami banyak kontroversi.

Menurut syarikat itu, respons Copilot hanya dilog untuk memantau interaksi yang tidak selamat, tetapi input pengguna, termasuk teks, imej dan konteks, tidak pernah disimpan. Tambahan pula, data input pengguna dipadamkan sebaik sahaja sesi tamat.

Adakah ia berbaloi?

Pada masa ini, mendapatkan Copilot Pro hanya untuk Copilot Vision tidak akan berbaloi, terutamanya kerana akses tidak dijamin. Walau bagaimanapun, dengan langganan $20 setiap bulan, pengguna turut mendapat akses kepada faedah lain, seperti akses keutamaan kepada model terkini dan Copilot dalam apl Microsoft 365 terpilih, termasuk Word, Excel, PowerPoint, OneNote dan Outlook. Ini menjadikan bonus yang menyeronokkan untuk bermain-main jika anda sudah menjadi pengguna kuasa Copilot dan boleh mendapat manfaat daripada faedah lain ini.