Google mengumumkan dua pembaruan signifikan untuk Gemini di macOS pada hari Rabu, yang salah satunya menawarkan kemampuan baru untuk “melihat” tampilan layar Mac pengguna secara gratis. Fitur ini, yang disebut “screen-aware reasoning”, memungkinkan Gemini memahami konten yang ditampilkan di layar Mac Anda, membuka potensi baru untuk asisten AI personal, namun juga menimbulkan implikasi privasi dan keamanan yang perlu dipertimbangkan pengguna.
Salah satu pembaruan yang lebih sederhana adalah peningkatan fitur dikte. Gemini di macOS kini dilengkapi “intelligent dictation” yang mampu memoles teks secara instan di kursor. Fitur ini secara otomatis menghilangkan jeda bicara seperti “umm” dan “ahh”, yang lazimnya tidak akan diketik manual. Pengguna dapat mengaktifkannya dengan menekan tombol Fn dan mulai berbicara, dan Gemini akan memprosesnya di jendela mana pun di Mac mereka. Peningkatan ini, yang sudah ada di platform lain, bertujuan mempermudah pengguna mendraf teks, email, atau dokumen tanpa perlu pengeditan menyeluruh.
Fitur “screen-aware reasoning” adalah inovasi yang lebih ambisius. Dengan izin pengguna, Gemini dapat “memahami” apa yang ada di layar Mac. Tujuannya adalah untuk mendelegasikan tugas-tugas kompleks. Misalnya, pengguna dapat meminta Gemini untuk mengubah catatan di aplikasi Notes menjadi ringkasan eksekutif untuk rapat, dan Gemini akan secara otomatis menganalisis teks tersebut dan mengonfigurasinya. Kemampuan ini memungkinkan pengguna menumpuk serangkaian perintah, seperti membuat draf email makan malam tim, menarik informasi relevan dari berbagai file di Mac, mencari restoran di Google Maps, dan menyajikannya sebagai opsi.
Selain itu, Gemini mampu melakukan koreksi. Jika pengguna memberikan instruksi awal mengenai waktu rapat, namun kemudian mengklarifikasi perubahan, Gemini akan menyesuaikan pemrosesan tugasnya. Fungsionalitas ini jelas meningkatkan kegunaan Gemini di macOS, memperluas jangkauannya melampaui aplikasi Gemini itu sendiri ke seluruh Mac.
Namun, pemberian akses penuh kepada AI untuk melihat seluruh layar komputer pribadi tentu membawa risiko privasi dan keamanan. Meskipun Google menegaskan bahwa ini bukanlah program yang sepenuhnya otonom seperti Gemini Spark yang tersedia di paket berbayar, potensi kerentanan tetap ada. Salah satu risiko yang perlu diwaspadai adalah “prompt injection”, di mana peretas menyembunyikan perintah berbahaya dalam situs web. Jika AI menemukan perintah tersebut saat menjalankan tugas, ia akan menganggapnya sebagai instruksi dari pengguna dan melaksanakannya, yang bisa berujung pada pembukaan situs berbahaya atau bahkan transfer dana dari dompet kripto.
Google menyatakan bahwa risiko ini seharusnya tidak menjadi masalah pada Gemini saat ini, namun secara teoritis bisa terjadi jika pengguna meminta tugas yang mengekspos AI pada prompt injection. Bagi pengguna yang tertarik dengan fitur-fitur terbaru, disarankan untuk mempertimbangkan risiko nyata ini sebelum mengaktifkan fitur baru Gemini di macOS.
