Keindahan tidak masuk akal menggodam mesin imej AI GauGAN 2 Nvidia

Menaip frasa karut ke dalam algoritma Nvidia menghasilkan beberapa "ralat" yang menarik, kadang-kadang cantik, kadang-kadang malang, dalam kebanyakan kes menarik.

Menaip perkataan "ZDNet pelaporan hebat" ke dalam program AI GauGAN 2 Nvidia secara automatik menghasilkan imej nyata.

Taipkan perkataan "ZDNet pelaporan hebat" ke dalam demo kecerdasan buatan baharu Nvidia, GauGAN 2, dan anda akan melihat gambar apa yang kelihatan seperti kepingan besar penebat buih yang bergelut di tasik dengan latar belakang bersalji.

Tambah lebih banyak perkataan, seperti "ZDNet laporan hebat dengan cantik," dan anda akan melihat imej itu berubah menjadi sesuatu yang baharu, beberapa bentuk yang hampir tidak dapat dikenali, mungkin kereta lumba Formula Satu yang telah dicerna, meneruskan apa yang kelihatan seperti jalan raya, di hadapan pemandangan kabur struktur buatan manusia.

GauGAN 2 menghasilkan tafsiran pelik frasa "ZDNet pelaporan hebat dengan cantik."

Gulung dadu dengan butang kecil imej dua dadu, dan frasa yang sama menjadi landskap yang menyeramkan, diselubungi kabus dengan mulut menguap sejenis sifat organik, tetapi sama sekali tidak dapat dikenal pasti mengenai spesies yang tepat.

Satu lagi lemparan dadu menghasilkan landskap-tambah-makhluk yang pelik ini.

Menaip frasa ialah cara terbaharu untuk mengawal GauGAN, algoritma yang dibangunkan oleh gergasi cip grafik Nvidia untuk mempamerkan keadaan seni AI. Program GauGAN asal telah diperkenalkan pada awal 2019 sebagai cara untuk melukis dan meminta program menjana imej foto-realistik secara automatik dengan mengisi lukisan.

Istilah "GAN" dalam nama merujuk kepada kelas program rangkaian saraf yang luas, yang dipanggil rangkaian musuh generatif, yang diperkenalkan pada 2014 oleh Ian Goodfellow dan rakan sekerja. GAN menggunakan dua rangkaian saraf yang beroperasi pada tujuan silang, satu menghasilkan output yang diperhalusi secara berterusan sehingga rangkaian saraf kedua melabelkan output sah. Sifat kompetitif bolak-balik adalah sebab mereka dipanggil "musuh."

Nvidia telah melakukan kerja perintis memperluaskan GAN, termasuk pengenalan pada 2018 "Style-GAN," yang memungkinkan untuk menjana foto palsu orang yang sangat realistik. Dalam kerja itu, rangkaian saraf "mempelajari" aspek muka peringkat tinggi dan juga aspek peringkat rendah, seperti warna kulit.

Dalam GauGAN asal dari 2019, Nvidia menggunakan pendekatan yang serupa, membenarkan seseorang melukis landskap sebagai kawasan, yang dikenali sebagai peta segmentasi. Abstraksi peringkat tinggi itu, yang mengandungi objek asas seperti tasik dan sungai dan ladang, menjadi templat struktur, dan program GauGAN kemudiannya akan mengisi peta segmentasi yang dilukis dengan bentuk foto-realistik.

Versi dua program telah dikemas kini untuk mengendalikan bahasa. Niatnya ialah seseorang akan menggesa GuaGAN 2 dengan frasa yang masuk akal, perkara yang berkaitan dengan landskap, seperti "tebing riak pantai." Program GauGAN 2 akan bertindak balas dengan menjana adegan yang kelihatan realistik yang sepadan dengan input itu.

GauGAN 2 telah dibangunkan dalam fasa "latihan" dengan diberi makan 10 juta imej landskap berkualiti tinggi, kata Nvidia, menggunakan superkomputer Selene yang dibina daripada GPU Nvidia.

Peta pembahagian juga boleh dibuat secara automatik daripada perkataan yang ditaip, membolehkan seseorang kembali dan mengedit susun atur landskap dengan cara yang sama seperti GauGAN asal membenarkan seseorang membuat peta dari awal.

Seperti yang Nvidia menerangkan GauGAN 2 dalam catatan blog, gabungan teks dan imej serta peta pembahagian ialah penembusan dalam AI berbilang modaliti:

GauGAN2 menggabungkan pemetaan segmentasi, lukisan dalam dan penjanaan teks-ke-imej dalam satu model, menjadikannya alat yang berkuasa untuk mencipta seni fotorealistik dengan gabungan perkataan dan lukisan. Demo ini adalah salah satu yang pertama menggabungkan pelbagai modaliti -- teks, pembahagian semantik, lakaran dan gaya -- dalam rangka kerja GAN tunggal. Ini menjadikannya lebih pantas dan lebih mudah untuk menukar visi artis kepada imej yang dijana AI berkualiti tinggi.

Faedah praktikal, kata Nvidia, ialah seseorang boleh menggunakan beberapa perkataan untuk mendapatkan imej asas bersama-sama tanpa sebarang lukisan sama sekali dan kemudian mengubah suai butiran untuk memperhalusi output akhir.

Tetapi menambah perkataan yang tidak ada kaitan dengan landskap, seperti "ZDNet," mula menjana artifak gila yang kadang-kadang mempunyai keanehan yang menjijikkan, dan kadang-kadang keindahan yang mengerikan -- bergantung pada citarasa anda. Dalam terminologi pembelajaran mendalam, imej aneh yang dihasilkan oleh frasa karut terhasil daripada program yang terpaksa bergelut dengan bahasa yang "di luar pengedaran", yang bermaksud tidak ditangkap dalam data latihan yang disalurkan kepada mesin. Berhadapan dengan frasa yang tidak dapat didamaikan, program ini bergelut untuk memadankan imej dengan frasa tersebut.

Seperti yang dapat dilihat dalam satu siri imej, "tebing riak pantai" menghasilkan imej yang sangat setia pada mulanya. Menambah kelayakan dengan perkataan yang tidak sopan -- basikal, New York City, nama Cassandra -- mula berubah dan membentuk landskap dengan cara yang pelik.

Output automatik oleh GauGAN2 frasa "pantai riak tebing."

Output automatik oleh GauGAN2 daripada frasa "pantai riak tebing basikal New York Cassandra menggerudi kapal terbang dengan bijak pneumatik mencolok."

Perkara yang lebih menarik berlaku apabila semua perkataan landskap dikeluarkan, hanya meninggalkan karut. Landskap futuristik yang pelik atau amoeba pelbagai warna mula kelihatan.

Output automatik oleh GauGAN2 untuk frasa "Kapal terbang gerudi Cassandra bijak pneumatik mencolok."

Output automatik oleh GauGAN2 untuk perkataan "mencolok."

Output automatik oleh GauGAN2 untuk perkataan "mencolok"

Output automatik oleh GauGAN2 untuk frasa "megah pneumatik dengan bijak."

Eksperimen ini boleh diambil lebih jauh dengan frasa lanjutan yang menjurus tanpa betul-betul deskriptif. Cuba beri makan di baris pertama puisi TS Eliot The Wasteland, "April adalah bulan yang paling kejam, membiak ungu dari tanah mati."

Hasilnya ialah beberapa imej menarik yang, sebenarnya, agak sesuai. Apabila seseorang membaling dadu, banyak varian landskap yang sesuai muncul, dengan hanya sedikit artifak dalam beberapa kes.

"April adalah bulan yang paling kejam, membiak ungu dari tanah mati," TS Eliot, The Wasteland.

Terima kasih kepada inovasi StyleGAN, GauGAN dapat menggunakan gaya pada imej, untuk pada asasnya mengkondisikan output dalam bentuk beberapa imej lain, agak seperti mash-up.

Penggunaan gaya pada puisi Eliot memutarbelitkan imej landskap yang setia tanpa pengiktirafan. Sekali lagi, pelbagai objek pelik muncul dengan sejenis kualiti organik yang memuakkan kepada sesetengah daripada mereka, yang lain hanyalah serpihan pecah dari apa yang pernah menjadi imej.

Seseorang juga boleh menyerahkan imej dan juga melakukan lukisan bebas dalam GauGAN 2. Menyerahkan gambar lama yang diambil di Þingvellir, tapak parlimen Iceland purba, tidak banyak membantu. Imej itu kebanyakannya kekal tidak berubah, dalam ujian terhad.

Gambar yang diambil di Þingvellir, tapak parlimen Iceland purba, kebanyakannya tidak diubah apabila diserahkan kepada GauGAN2.

Menambah perkataan "Þingvellir," bagaimanapun, menghasilkan landskap yang cukup realistik yang selaras dengan tapak Þingvellir.

Keluaran GuaGAN2 untuk perkataan "Þingvellir" adalah dalam semangat landskap Iceland purba.

Menambah perkataan "gunung berapi" menghasilkan landskap alternatif yang menarik, kurang realistik, lebih nyata.

Keluaran automatik GuaGAN2 untuk "gunung berapi Þingvellir."

Menambah perkataan yang tidak sopan, seperti "Teknologi," menggegarkan lagi landskap, menambah angka karut yang pelik.

Output automatik GauGAN2 untuk frasa "Teknologi Þingvellir."

Daripada menyerahkan foto landskap, seseorang boleh melukis, seperti yang berlaku dalam GauGAN asal. Sekali lagi, sesuatu yang tidak sesuai dengan demo seperti lukisan bukan landskap tetapi kepala seseorang, menghasilkan hasil yang lebih menarik. Lukisan muka boleh dikuliti semula, jika anda mahu, dengan menggunakan fungsi mash-up. Membaling dadu menghasilkan variasi yang menarik.

melukis terus dalam GauGAN2.

Lukisan kepala yang dikuliti semula dengan menggunakan ciri lapisan dalam GauGAN2.

Menggabungkan lukisan dengan perkataan "Þingvellir" menghasilkan perubahan halus, begitu juga dengan penambahan perkataan tambahan seperti "gunung berapi" dan "keretakan." Imej itu telah dikuliti semula untuk mempunyai sejenis tekstur seperti gunung berapi.

Lukisan kepala digabungkan dengan perkataan "Þingvellir volcano rift" dan dikuliti semula dengan menggunakan ciri lapisan dalam GauGAN2.

Ambil perhatian bahawa antara muka pengguna apl boleh menjadi sukar untuk ditatal dalam penyemak imbas desktop. Atas sebab tertentu, ia nampaknya berfungsi lebih baik dalam pelayar tablet, seperti iPad.