GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
GitHub Copilot Memperkenalkan Computer Use untuk Otomatisasi Desktop
Kehadiran fitur Computer Use menandai kemajuan menarik dalam pemanfaatan GitHub Copilot. Dalam penggunaan yang lebih dikenal, GitHub Copilot banyak dimanfaatkan untuk memberikan saran pemrograman. Dengan hadirnya Computer Use, Copilot memiliki kemampuan bekerja pada aplikasi desktop menggunakan instruksi bahasa alami. Fitur ini memungkinkan AI memahami konteks visual, kemudian menjalankan perintah keyboard sesuai kebutuhan pengguna. Berkat mekanisme interaksi langsung, pekerjaan berulang mampu disederhanakan tanpa selalu membutuhkan skrip khusus.
Fitur interaksi komputer tersebut tersedia dalam GitHub Copilot CLI dan aplikasi GitHub Copilot untuk perangkat desktop yang menggunakan Windows atau macOS. Pada tahap awal, fitur tersebut berstatus public preview. Artinya, fitur yang tersedia masih dapat berubah berdasarkan umpan balik pengguna. Keunggulan yang menonjol adalah kompatibilitas dengan program berbasis antarmuka grafis yang belum mendukung integrasi MCP. Pada lingkungan aplikasi tersebut, Copilot mampu menjalankan interaksi visual seperti penggunaan tombol keyboard untuk menyelesaikan tugas. Namun demikian, fitur ini tetap membutuhkan izin akses yang sesuai.
Langkah Awal Menggunakan Otomatisasi Desktop GitHub Copilot
Ketika ingin mencoba Computer Use, pengguna harus mengetahui bahwa perangkat telah memiliki aplikasi Copilot yang sesuai. Setelah aplikasi dibuka, akses halaman Settings, kemudian temukan halaman Computer Use. Pada bagian tersebut, nyalakan pilihan Enable Computer Use agar Copilot dapat meminta akses aplikasi. Pada pengaturan awal, fitur ini berada dalam keadaan nonaktif. Mekanisme aktivasi tersebut menyediakan kesempatan menentukan izin kepada pengguna sebelum sistem menjalankan kendali antarmuka. Berkat aktivasi manual, pengguna memiliki kesempatan memilih kapan akses Computer Use diaktifkan.
Bagi pengguna macOS, izin sistem tertentu harus diberikan agar Computer Use mampu berinteraksi dengan perangkat lunak desktop. Persyaratan akses ini meliputi Accessibility dan Screen Recording. Accessibility digunakan untuk berinteraksi dengan elemen antarmuka, sedangkan Screen Recording mendukung pembacaan tampilan. Pemilik Mac bisa menjalankan arahan pada halaman Computer Use. Untuk perangkat Windows, langkah memulai tersedia pada menu Computer Use tanpa persyaratan izin macOS tersebut. Meski Windows memiliki mekanisme tersendiri, pelaksanaan tindakan otomatis tetap berada dalam kendali pengguna.
Menggunakan Perintah Computer Use melalui GitHub Copilot CLI
Sebagai alternatif aktivasi, Computer Use juga dapat dijalankan melalui GitHub Copilot CLI. Bagi pengembang yang menggunakan terminal, metode aktivasi ini menghadirkan kendali melalui sesi percakapan terminal. Sesudah mengakses sesi Copilot CLI yang sesuai dengan persyaratan layanan, pengguna bisa memasukkan perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Untuk mengetahui status fitur, jalankan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` dapat digunakan untuk mematikan kemampuan interaksi komputer. Berkat perintah sederhana tersebut, pengguna dapat mengatur kapan otomatisasi aktif sesuai kondisi sesi.
Sesudah kemampuan desktop dinyalakan, pengguna memiliki kesempatan menyampaikan arahan tugas berbentuk percakapan. Sebagai contoh, pengguna memiliki pilihan mengarahkan Copilot untuk membuka aplikasi tertentu, kemudian merangkum data di jendela aplikasi. Ketika pekerjaan membutuhkan pengeditan, Copilot dapat membantu perubahan isi kolom setelah izin yang diperlukan diberikan. Supaya instruksi tidak menimbulkan kebingungan, jelaskan tujuan akhir secara terperinci. Sebagai ilustrasi, pengguna dapat menyampaikan permintaan untuk memperbarui bagian tertentu dalam presentasi dengan ketentuan pekerjaan yang ditentukan. Instruksi terarah tersebut membantu mengurangi kesalahan tindakan.
Contoh Otomatisasi Pekerjaan Desktop dengan GitHub Copilot
Manfaat praktis Computer Use adalah penyederhanaan aktivitas desktop yang memerlukan banyak interaksi. Dalam pekerjaan kantor, pengguna terkadang perlu memindahkan informasi. Melalui Computer Use, sebagian pekerjaan berulang mampu disederhanakan. Sebagai contoh, Copilot bisa diminta membuka aplikasi laporan pengeluaran, kemudian meninjau status pekerjaan. Dengan persetujuan yang sesuai, sistem berpotensi menjalankan pemindahan data ke aplikasi lain. Dengan demikian, pekerjaan yang biasanya membutuhkan banyak klik mampu diselesaikan dengan bantuan otomatisasi.
Computer Use turut relevan bagi organisasi yang memiliki perangkat lunak konvensional. Sejumlah sistem perusahaan memiliki integrasi MCP. Keterbatasan integrasi ini sering membuat pengembangan skrip lebih kompleks. Berkat interaksi berbasis antarmuka, Copilot mampu membantu menyelesaikan aktivitas dengan kontrol aplikasi langsung. Sebagai ilustrasi, pengguna bisa mengarahkan untuk memeriksa status dalam sistem lama. Meski mampu membantu pekerjaan GUI, ketepatan tindakan perlu mempertimbangkan kondisi jendela yang menjadi sasaran pekerjaan.
Keamanan dan Izin Akses Menjadi Prioritas Computer Use
Meski kemampuan AI semakin berkembang, perlindungan informasi pengguna harus dipertahankan sebagai pertimbangan mendasar. Ketika Copilot berinteraksi aplikasi desktop, konten aplikasi berpotensi digunakan sebagai informasi yang dibaca sistem. Sebagai langkah perlindungan, pengguna perlu meninjau ruang lingkup kontrol desktop. Sistem Computer Use menggunakan pengaturan otorisasi sebelum mengendalikan aplikasi sesuai kebijakan penggunaan. Dengan mekanisme tersebut, pengguna bisa mengizinkan tindakan berdasarkan risiko aktivitas.
Di samping persetujuan setiap sesi, GitHub Copilot juga menawarkan pengaturan Always allow untuk aplikasi yang sering digunakan. Jika opsi ini diaktifkan, Copilot dapat menggunakan kembali aplikasi yang sebelumnya telah disetujui tanpa memerlukan izin terpisah pada sesi berikutnya. Namun demikian, pemberian izin permanen perlu dilakukan dengan hati-hati, terutama untuk perangkat lunak bisnis sensitif. Pemilik komputer memiliki kesempatan memeriksa otorisasi yang telah disimpan dan menghapus akses sesuai kebijakan organisasi. Selain itu, proses otomatisasi yang berjalan bisa diinterupsi melalui tombol Stop atau tombol Esc sesuai antarmuka yang digunakan. Dengan demikian, pengguna tetap memiliki kendali.
Otomatisasi Desktop GitHub Copilot Membuka Peluang Produktivitas
Kehadiran Computer Use menandai perluasan kemampuan GitHub Copilot dari pendukung penulisan kode menuju pendukung pekerjaan lintas aplikasi. Melalui kemampuan membaca konteks visual, Copilot dapat membantu pengisian data menggunakan perintah percakapan. Pendekatan otomatisasi tersebut menjadi relevan bagi program berbasis GUI yang sulit diotomatisasi menggunakan cara konvensional. Meski menawarkan fleksibilitas, penerapan sebaiknya disertai penjelasan tugas yang jelas agar risiko kesalahan dapat dibatasi.
Seiring kemajuan kecerdasan buatan, teknologi computer use mampu menghadirkan pendekatan baru dalam pekerjaan kantor. Walaupun kemampuan tersebut terus berkembang, kesalahan membaca antarmuka memerlukan langkah mitigasi. GitHub sendiri menekankan bahwa computer use masih berada dalam public preview. Agar penggunaan lebih efektif, jelaskan aplikasi yang terlibat dan tinjau perubahan yang dibuat. Menurut pengalaman Anda, apakah Computer Use GitHub Copilot akan meningkatkan produktivitas pada masa mendatang? Jangan ragu menyampaikan pandangan mengenai fitur Computer Use.
