AI QAエージェントを1台のMac miniで動かす方法

必須のセキュリティ修正で、PerfectAppsのコードベース全体からBootstrapが取り除かれました。ページ構造があらゆる箇所で一斉に変わり、製品の50以上の領域にわたる1,792件のテストケースが同じ日に壊れました。

手作業での修復は結局行われなかったため、詳しく見積もった人はいません。おおよその見立ては、チーム全員の4人が最大2か月、ほかの仕事を一切せずにかかりきりになる、というものでした。

エージェントが構想で終わらなくなったのは、このときです。

修復。エージェントは1,792件のテストを1件ずつ直すのではなく、根本原因をそれぞれ一度だけ特定し、影響を受けたすべてのspecに修正を適用しました。ログインは1つの共通コマンドにまとめられ、1か所の変更がすべてのテストに反映されるようになりました。

カバー。修復が機能するようになると、同じ手法で、これまで一度もテストされていなかった領域に取り組みました。スイートは1,400から1,955のspecファイルに増えました。その中には、canvas上に描画されるビジュアルなダイアグラムデザイナーも含まれます。そこにはテストがクリックできる要素がありません。解決策は、canvasのテストをやめ、代わりに保存されたデータを確認することでした。新しいspecは51件、最初のフル実行ですべてグリーンでした。

判定。回帰テストのたびに、誰かが失敗を確認し、どれが壊れたテストで、どれが本物のバグで、どれがノイズかを判断する必要がありました。これには1リリースあたり3人で12時間かかっていました。今はエージェントの仕事です。あるリリースでは1,748件のテスト結果を確認し、約300件の失敗の中から本物の製品バグをちょうど1件見つけました。残りは移行に伴う負債でした。

エージェントは24のツールを持ち、どれをどの順番で呼び出すかを自分で決めます。チームはMicrosoft Teamsまたはウェブ上で、普通の英語でエージェントとやり取りします。

リリースの実行は、決まったパイプラインを通ります。

変わったことの例をいくつか挙げます。

価値は、個々の項目で短縮された時間ではありません。何週間もの手作業が、リリースサイクルからまったく消えたことです。

エージェントは専有のMac mini上でネイティブに動いています。Dockerも、Kubernetesも、クラスターもありません。外部とはCloudflare Tunnelを通じてつながります。

これは、Linux VPSと比較したうえでの判断でした。

VPSなら月額43ドル安く済んだはずです。それは移行にかかるエンジニアの1日分の工数より少ない額です。

PerfectAppsのQAエージェントは社内利用のために作られ、MacDutyの専有のMac mini上で稼働しています。