Copilot Microsoft kini boleh melihat perkara yang anda lihat dalam masa nyata - dan bercakap dengan anda mengenainya

Perlukan pendapat kedua tentang sesuatu yang anda lihat dalam talian? Kini, anda boleh mempunyai pembantu dikuasakan AI di hadapan anda.

Microsoft Copliot telah membuktikan pesaing yang layak untuk ChatGPT. Apabila ChatGPT terus berkembang, begitu juga Copilot, tetapi baru-baru ini, ia telah ketinggalan. Walau bagaimanapun, kemas kini terbaharu ini mungkin cukup untuk mengembalikan kelebihan daya saingnya.

Pada hari Khamis, Microsoft membuat Copilot Vision, pengalaman di mana Copilot boleh melihat dan memahami konteks perkara yang anda lakukan dalam talian untuk memberikan bantuan masa nyata lisan, tersedia dalam pratonton untuk pelanggan Pro melalui Copilot Labs.

Apabila pengguna mendayakan Copilot Vision, ia boleh membaca bersama anda, membincangkan isu yang anda hadapi semasa menyemak imbas, menganalisis tapak anda dan memberikan cerapan berdasarkan perkara yang dilihatnya. Ia pada asasnya adalah pembantu untuk semua keperluan penyemakan imbas anda -- atas panggilan pada bila-bila masa anda memerlukannya.

Saya berpeluang untuk menunjukkan ciri tersebut di NYC Microsoft Copilot dan Acara Windows pada bulan Oktober di mana saya menyaksikan aplikasi dunia sebenar yang mempamerkan beberapa nilai bantuan Copilot Visions.

Dalam demo saya, pengguna meminta Copilot Vision untuk mendapatkan bantuan dengan memilih inspirasi pakaian daripada Pinterest. Copilot Vision mencadangkan pakaian daripada semua pilihan pada halaman dan menawarkan galakan apabila pengguna berkata dia tidak fikir dia mempunyai apa yang diperlukan untuk menarik pakaian itu. Interaksi ini berlaku secara lisan, menjadikannya pengalaman semula jadi.

Kes penggunaan kehidupan sebenar lain yang disediakan Microsoft untuk Copilot Vision termasuk membantu pengguna membeli-belah semasa percutian dengan menunjukkan produk pada halaman yang sepadan dengan perkara yang mereka cari atau membantu mereka merancang hari di muzium dengan menyerlahkan maklumat penting untuk diketahui sebelum berlepas ke perjalanan.

Pengalaman baharu hidup di Microsoft Edge, terselit di bahagian bawah penyemak imbas. Copilot Vision akan dilancarkan terlebih dahulu kepada bilangan pelanggan Copilot Pro yang terhad di Amerika Syarikat melalui Copilot Labs dan pada mulanya hanya akan berfungsi pada beberapa tapak web terpilih. Memandangkan ia mengumpul maklum balas, Microsoft berkata ia akan mengembangkan akses.

Bagi pengguna yang bimbang tentang privasi, Microsoft berkata ia akan mengikut serta sepenuhnya, memberikan pengguna kawalan sama ada mereka mahu Copilot melihat aktiviti penyemakan imbas mereka. Malah bagi mereka yang memilih untuk ikut serta, semua data yang dikongsi dengan Copilot semasa sesi itu, termasuk perkara yang anda katakan dan konteks yang anda kongsi, dipadamkan, menurut catatan blog.

Langganan Copilot Pro ialah $20 sebulan. Ia termasuk faedah lain, seperti akses keutamaan kepada model terkini, lebih banyak akses kepada Copilot Voice dan Copilot dalam apl Microsoft 365 terpilih, termasuk Word, Excel, PowerPoint, OneNote dan Outlook.