Story
Cara agen AI QA berjalan di satu Mac mini
1.792 tes rusak, satu Mac mini, dan agen dengan 24 tool. Cara agen QA PerfectApps memperbaiki tes, memilah kegagalan, dan menyetujui rilis, serta alasan agen ini berjalan di Apple silicon, bukan di VPS Linux.
Diperbarui 2026-09-15
PerfectApps adalah platform aplikasi no-code. Tim QA-nya mengelola lebih dari 2.100 kasus uji otomatis di Cypress dan Selenium. Kini sebagian besar pekerjaan itu dimulai, dianalisis, dan dilaporkan oleh agen AI yang tinggal di satu Mac mini dedicated.
Inilah awal mulanya, apa yang dikerjakannya, dan mengapa pilihan hardware-nya disengaja.
Berawal dari 1.792 tes yang rusak
Perbaikan keamanan wajib menghapus Bootstrap dari seluruh codebase PerfectApps. Struktur halaman berubah di semua tempat sekaligus, dan 1.792 kasus uji rusak pada hari yang sama, di lebih dari 50 area produk.
Tidak ada yang memperkirakan perbaikan manual secara rinci, karena perbaikan itu memang tidak pernah dikerjakan dengan tangan. Perkiraan kasarnya: seluruh tim, empat orang, tidak mengerjakan hal lain hingga dua bulan.
Saat itulah agen ini tidak lagi sekadar ide.
Perbaiki, lalu perluas cakupan, lalu nilai
Perbaiki. Alih-alih memperbaiki 1.792 tes satu per satu, agen menemukan setiap akar masalah sekali saja dan menerapkan perbaikannya ke semua spec yang terdampak. Login dipindahkan ke satu perintah bersama, sehingga satu perubahan menjangkau setiap tes.
Perluas cakupan. Setelah perbaikan berjalan, pendekatan yang sama diarahkan ke area yang belum pernah diuji. Suite bertambah dari 1.400 menjadi 1.955 file spec. Termasuk desainer diagram visual yang digambar di canvas, yang tidak menyediakan apa pun untuk diklik oleh tes. Solusinya adalah berhenti menguji canvas dan memeriksa data yang tersimpan: 51 spec baru, semuanya hijau pada run penuh pertama.
Nilai. Setelah setiap regresi, seseorang harus memeriksa kegagalan dan memutuskan mana yang tes rusak, mana bug sungguhan, dan mana yang sekadar noise. Itu memakan 12 jam untuk tiga orang per rilis. Kini itu tugas agen. Pada satu rilis, agen memeriksa 1.748 hasil tes dan menemukan tepat satu bug produk sungguhan di antara sekitar 300 kegagalan. Sisanya adalah utang migrasi.
Apa yang dikerjakan agen
Agen punya 24 tool dan memutuskan sendiri tool mana yang dipanggil dan dalam urutan apa. Tim berbicara dengannya dalam bahasa Inggris biasa, di Microsoft Teams atau di web.
Satu run rilis melewati pipeline yang tetap:
One release run
- 1SanityA smoke test on production. If it fails, everything stops.
- 2RegressionMore than 2,100 test cases in five parallel lanes, in about 90 minutes.
- 3New testsSpecs for areas without coverage, generated while regression runs.
- 4TriageEvery failure classified as a test issue, a real bug, a flaky test or a known blocker.
- 5ReportA GO or NO-GO verdict, posted to Teams and to the GitHub pull request.
Beberapa contoh perubahannya:
| Tugas | Manual | Dengan agen |
|---|---|---|
| Memilah satu run regresi penuh | 12 jam, 3 orang | Hitungan menit |
| Menulis tes baru dari tiket Jira | 2 sampai 4 jam per tes | Hitungan menit |
| Melaporkan bug setelah regresi, dengan bukti | 30 sampai 60 menit per bug | Otomatis |
| Menyetujui rilis hotfix | Setengah hari | Hitungan menit |
Nilainya bukan pada waktu yang dihemat di satu baris tertentu. Nilainya adalah pekerjaan manual berminggu-minggu tidak lagi muncul sama sekali dalam siklus rilis.
Mengapa Mac mini, bukan server Linux
Agen berjalan secara native di Mac mini dedicated. Tanpa Docker, tanpa Kubernetes, tanpa cluster. Agen terhubung ke dunia luar melalui Cloudflare Tunnel.
Itu sebuah keputusan, diambil setelah membandingkannya dengan VPS Linux:
- Browser berjalan lebih cepat. Di Apple silicon, Chrome dan Cypress berjalan tiga hingga lima kali lebih cepat daripada di VPS.
- Agen bekerja langsung di repositori yang sebenarnya. Agen membaca dan menulis file tes secara langsung, sehingga membuat spec baru tidak memerlukan lapisan API tambahan.
- Tidak ada yang perlu dipalsukan. Mac punya display stack sungguhan, jadi tidak ada server tampilan virtual yang harus terus dijalankan hanya untuk membuka browser.
- Ruang untuk model lokal. Model kecil di Neural Engine Mac dapat menangani routing dan klasifikasi sederhana, sedangkan model cloud yang lebih besar disimpan untuk penalaran yang membutuhkannya.
VPS akan lebih murah 43 dolar per bulan. Itu lebih kecil daripada biaya satu hari kerja engineering yang dibutuhkan untuk pindah.
Artinya jika Anda membangun agen
- Beri agen mesinnya sendiri. Agen butuh browser, sistem file, dan kebebasan untuk berjalan berjam-jam tanpa ada yang mengeluarkannya dari sesi atau memulai ulang mesinnya.
- Mulailah dari pekerjaan yang tidak diinginkan siapa pun. Triase dan perbaikan tes adalah hambatannya, bukan menulis fitur baru.
- Serahkan keputusan akhir kepada manusia. Agen mengklasifikasikan dan memberi rekomendasi. Tim yang memutuskan apakah rilis dikirim.
- Pilih hardware sesuai beban kerja. Jika agen Anda mengendalikan browser atau membuat build untuk platform Apple, Apple silicon cepat balik modal.
Agen QA PerfectApps dibuat untuk penggunaan internal dan berjalan di Mac mini dedicated di MacDuty.
Tersedia hari ini
Mac ini sudah ada di rak sekarang. Pilih satu, lihat apa saja yang termasuk, dan buat akun Anda hanya saat memesan.
Memeriksa rak
Mac mini milik Anda sendiri
Pilih konfigurasi. Jika belum tersedia, tinggalkan email Anda dan kami kabari pada hari Mac itu terpasang di rak.
Tahunan: setidaknya 19% lebih murah daripada membayar bulanan
Berikutnya