GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Fitur Computer Use Memperluas Kemampuan GitHub Copilot
Kehadiran fitur Computer Use menjadi kemajuan menarik dalam otomatisasi pekerjaan berbasis AI. Sebelumnya, GitHub Copilot sering digunakan untuk mendukung pengembangan perangkat lunak. Dengan hadirnya Computer Use, Copilot memiliki kemampuan bekerja pada aplikasi desktop menggunakan instruksi bahasa alami. Kemampuan tersebut memungkinkan AI mengamati elemen antarmuka, kemudian mengklik tombol sesuai instruksi yang telah diberikan. Dengan pendekatan tersebut, pekerjaan berulang berpotensi menjadi lebih praktis tanpa harus membuat otomatisasi manual.
Fitur interaksi komputer tersebut diperkenalkan melalui GitHub Copilot CLI dan aplikasi GitHub Copilot untuk sistem operasi Windows dan macOS. Saat pertama diperkenalkan, fitur tersebut masih berada dalam pengembangan terbuka. Kondisi ini menunjukkan bahwa, kemampuan dan perilakunya mungkin diperbarui berdasarkan evaluasi teknis. Keunggulan yang menonjol adalah kemampuan menangani perangkat lunak konvensional yang belum mendukung integrasi MCP. Untuk perangkat lunak semacam ini, Copilot dapat menggunakan interaksi visual seperti klik dan pengetikan untuk menjalankan alur operasional. Walaupun fleksibel, fitur ini tetap membutuhkan instruksi yang tidak ambigu.
Langkah Awal Menggunakan Otomatisasi Desktop GitHub Copilot
Sebelum menggunakan Computer Use, pengguna perlu memastikan bahwa GitHub Copilot sudah terpasang. Setelah aplikasi dibuka, akses halaman Settings, kemudian pilih kategori Computer Use. Di dalam halaman pengaturan, ubah menjadi aktif pilihan Enable Computer Use agar Copilot dapat meminta akses aplikasi. Pada pengaturan awal, fitur ini berada dalam keadaan nonaktif. Pendekatan tersebut menyediakan perlindungan tambahan kepada pengguna sebelum sistem menjalankan kendali antarmuka. Dengan demikian, pengguna memiliki kesempatan memilih kapan akses Computer Use diaktifkan.
Untuk perangkat yang menjalankan macOS, izin sistem tertentu perlu dipenuhi agar Computer Use dapat berjalan dengan aplikasi lokal. Pengaturan keamanan yang dimaksud mencakup Accessibility dan Screen Recording. Accessibility digunakan untuk mengoperasikan kontrol aplikasi, sedangkan Screen Recording membantu Copilot memahami jendela aplikasi. Pemilik Mac bisa menjalankan petunjuk yang ditampilkan aplikasi. Di sisi lain, langkah memulai tersedia pada menu Computer Use tanpa pengaturan Accessibility yang sama seperti Mac. Namun demikian, kendali atas perangkat lunak tetap mengikuti pengaturan izin.
Menggunakan Perintah Computer Use melalui GitHub Copilot CLI
Selain melalui aplikasi grafis, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Bagi pengembang yang menggunakan terminal, pendekatan tersebut menghadirkan pengoperasian yang praktis. Setelah menjalankan sesi Copilot CLI yang sesuai dengan persyaratan layanan, pengguna perlu menjalankan perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Ketika perlu memastikan status fitur, masukkan perintah `/computer show`. Sebaliknya, perintah `/computer off` berfungsi menghentikan ketersediaan Computer Use. Melalui pengendalian ini, pengguna bisa menentukan ketersediaan kemampuan desktop sesuai jenis tugas yang sedang dijalankan.
Setelah Computer Use aktif, pengguna memiliki kesempatan menyampaikan permintaan pekerjaan yang jelas. Dalam penggunaan praktis, pengguna dapat meminta Copilot untuk membuka aplikasi tertentu, kemudian memeriksa tampilan perangkat lunak. Ketika pekerjaan membutuhkan pengeditan, Copilot berpotensi melakukan perubahan isi kolom setelah izin yang diperlukan diberikan. Supaya instruksi tidak menimbulkan kebingungan, jelaskan tujuan akhir secara terperinci. Dalam sebuah skenario, pengguna dapat menyampaikan permintaan untuk merangkum informasi tanpa mengubah data dengan batasan yang jelas. Instruksi terarah tersebut dapat membatasi perubahan di luar tujuan.
Contoh Otomatisasi Pekerjaan Desktop dengan GitHub Copilot
Salah satu penerapan utama adalah pengelolaan tugas berulang yang melibatkan beberapa aplikasi. Pada lingkungan bisnis, pengguna sering harus membuka berbagai jendela. Melalui Computer Use, aktivitas tertentu mampu disederhanakan. Pada kebutuhan tertentu, Copilot dapat diarahkan untuk memeriksa sistem pengelolaan informasi, kemudian merangkum informasi pada layar. Dengan persetujuan yang sesuai, sistem mampu membantu melakukan pengisian formulir. Melalui alur tersebut, pekerjaan yang biasanya membutuhkan banyak klik dapat membutuhkan lebih sedikit interaksi pengguna.
Computer Use turut relevan bagi organisasi yang memiliki perangkat lunak konvensional. Tidak semua aplikasi memiliki integrasi MCP. Kondisi tersebut dapat menyebabkan pengembangan skrip lebih kompleks. Dengan memanfaatkan konteks visual, Copilot mampu membantu menyelesaikan aktivitas dengan kontrol aplikasi langsung. Sebagai ilustrasi, pengguna memiliki pilihan memberikan tugas untuk mengambil data dari program tanpa API. Namun demikian, kelancaran interaksi dapat dipengaruhi oleh kondisi jendela yang menjadi sasaran pekerjaan.
Pengawasan Pengguna Penting dalam Otomatisasi Berbasis AI
Meskipun Computer Use menawarkan kemudahan, pengamanan akses aplikasi merupakan prioritas utama. Ketika Copilot berinteraksi aplikasi desktop, informasi yang terlihat mampu masuk dalam konteks pemrosesan AI. Sebagai langkah perlindungan, pengguna perlu meninjau aplikasi yang diberikan izin. GitHub Copilot menerapkan mekanisme izin sebelum melakukan interaksi desktop sesuai konfigurasi izin yang berlaku. Melalui pengaturan ini, pengguna bisa mengizinkan tindakan berdasarkan tingkat sensitivitas aplikasi.
Di samping persetujuan setiap sesi, GitHub Copilot memiliki opsi pengaturan Always allow untuk program yang telah dipercaya. Melalui pilihan tersebut, Copilot berpotensi mengendalikan kembali aplikasi yang sebelumnya telah disetujui tanpa mengulang seluruh proses persetujuan. Walaupun lebih praktis, penyimpanan otorisasi aplikasi harus dipertimbangkan secara cermat, terutama untuk aplikasi keuangan. Melalui halaman Computer Use, pengguna bisa mengelola otorisasi yang telah disimpan dan menghapus akses sesuai kebijakan organisasi. Selain itu, tindakan Computer Use aktif memiliki mekanisme penghentian melalui tombol Stop atau tombol Esc sesuai dukungan sesi. Melalui kontrol tersebut, AI tidak harus bekerja tanpa pengawasan.
Otomatisasi Desktop GitHub Copilot Membuka Peluang Produktivitas
Kehadiran Computer Use memperlihatkan kemajuan baru GitHub Copilot dari alat bantu pengembangan perangkat lunak menuju otomatisasi aplikasi desktop. Melalui kemampuan membaca konteks visual, Copilot mampu mendukung navigasi menu menggunakan perintah percakapan. Kemampuan ini memiliki potensi pada program berbasis GUI yang sulit diotomatisasi menggunakan cara konvensional. Namun demikian, penerapan sebaiknya disertai penjelasan tugas yang jelas agar hasil tetap sesuai kebutuhan.
Pada era otomatisasi digital modern, teknologi computer use berpotensi menjadi bagian penting produktivitas. Namun demikian, risiko salah klik harus menjadi perhatian. Pengembang fitur tersebut menekankan bahwa computer use dapat mengalami perubahan selama pengembangan. Supaya otomatisasi lebih terarah, tentukan batasan pekerjaan dan evaluasi pekerjaan sebelum digunakan. Bagaimana menurut Anda, apakah Computer Use GitHub Copilot akan meningkatkan produktivitas pada masa mendatang? Anda dapat berbagi pengalaman mengenai perkembangan otomatisasi berbasis AI.
