Roblox Studio semakin menjadi ajang uji coba bagi asisten AI agentik yang dirancang untuk membantu kreator membangun game lebih cepat. Meskipun alat-alat ini sudah dapat menulis skrip, menyisipkan aset, dan memodifikasi lingkungan, mengukur seberapa baik kinerja mereka dalam skenario pengembangan nyata menjadi sulit. OpenGameEval bertujuan untuk mengatasi masalah tersebut dengan memperkenalkan kerangka kerja native Roblox Studio untuk mengevaluasi asisten AI dalam kondisi realistis.
Dikembangkan oleh Tiantian Zhang, Kartik Ayyar, Mengsha Sun, dan Lynn Gong, OpenGameEval diposisikan sebagai sistem evaluasi pertama yang dibangun langsung di sekitar alur kerja Roblox Studio. Alih-alih mengisolasi cuplikan kode atau mengandalkan prompt stateless, sistem ini menjalankan model AI di dalam sesi simulasi edit dan play yang sangat mirip dengan cara kreator bekerja.
Mengapa Benchmark Tradisional Kurang Memadai untuk Roblox
Sebagian besar benchmark AI yang ada berfokus pada masalah pengkodean yang sempit dengan input dan output yang jelas. Pengembangan Roblox jarang sesuai dengan cetakan tersebut. Game dibangun di dalam dunia 3D yang persisten di mana skrip berinteraksi dengan hierarki objek, jaringan multiplayer, dan batasan klien-server. Perubahan yang dibuat di satu bagian pengalaman sering kali bergantung pada konteks yang tersebar di berbagai skrip dan instance.
OpenGameEval dibuat sebagai respons terhadap keterbatasan ini. Tujuannya adalah untuk menguji apakah asisten AI dapat bernalar melalui lingkungan Roblox yang aktif, memahami logika yang ada, dan membuat perubahan yang bertahan ketika game benar-benar dijalankan. Pendekatan ini menggeser evaluasi dari kebenaran teoretis ke kegunaan praktis bagi kreator.
Tinjauan Lebih Dekat pada Kerangka Kerja OpenGameEval
Intinya, OpenGameEval mereplikasi lingkungan pengembangan Roblox Studio dengan cara yang dapat direproduksi. Setiap evaluasi mensimulasikan perilaku saat edit dan saat play, memastikan bahwa fisika, jaringan, dan interaksi multiplayer berperilaku persis seperti dalam proyek nyata. Hal ini memungkinkan evaluator untuk mengamati bagaimana perubahan asisten AI memengaruhi pengalaman setelah dijalankan, bukan hanya apakah kode tersebut dapat dikompilasi.
Kerangka kerja ini juga mencakup simulasi input, yang memungkinkan untuk memicu tindakan pemain seperti gerakan, penekanan tombol, dan perubahan kamera selama pengujian. Hal ini sangat penting untuk mengevaluasi fitur-fitur yang hanya menunjukkan masalah melalui interaksi. Semua fungsionalitas ini diekspos melalui API terpadu, sehingga lebih mudah bagi tim riset untuk membandingkan berbagai model bahasa besar pada kumpulan tugas yang sama.
Menguji Skenario Pengembangan Nyata, Bukan Hanya Cuplikan Kode
Dataset benchmark OpenGameEval saat ini mencakup 47 kasus uji yang dibuat secara manual. Masing-masing didasarkan pada tugas pengembangan Roblox yang umum, termasuk mekanika game, pengaturan lingkungan, animasi, antarmuka pengguna, dan suara. Skenario-skenario ini dibangun dan ditinjau oleh para ahli domain untuk memastikan bahwa mereka mencerminkan alur kerja kreator yang sebenarnya.
Berbeda dengan tantangan pengkodean tradisional, tes ini bersifat end-to-end. Asisten AI yang sukses harus menemukan skrip yang relevan, menafsirkan logika yang ada, memutuskan di mana kode baru berada, dan mengimplementasikan perubahan yang berfungsi di klien dan server. Penilaian ditangani melalui unit test yang dapat dieksekusi dan metrik standar seperti pass@k, memungkinkan hasil untuk direproduksi dan dibandingkan antar model.
Bagaimana Konteks Mengubah Kesulitan
Salah satu fitur penentu OpenGameEval adalah fokusnya pada variasi kontekstual. Prompt yang sama dapat dievaluasi di berbagai lingkungan yang berbeda dalam struktur dan kompleksitasnya. Misalnya, tugas yang melibatkan lampu lalu lintas empat arah dapat diuji di tempat kosong, pemandangan pinggiran kota yang ramai, atau pengaturan yang mencakup sinyal lalu lintas dan pejalan kaki. Setiap variasi memaksa asisten AI untuk mengadaptasi penalarannya berdasarkan apa yang sudah ada dalam pengalaman.
Tugas yang lebih kompleks, seperti mengimplementasikan sistem regenerasi kesehatan, mengharuskan model untuk melacak logika kerusakan di berbagai skrip, menentukan apakah perubahan harus dilakukan di server atau klien, dan memastikan waktu dan replikasi berfungsi dengan benar. Skenario-skenario ini dirancang untuk mengungkapkan apakah asisten AI dapat mempertahankan konteks di berbagai langkah daripada mengandalkan pencocokan pola tingkat permukaan.
Hasil Awal Menyoroti Keterbatasan Saat Ini
Hasil awal dari OpenGameEval menunjukkan adanya kesenjangan yang jelas dalam kemampuan AI saat ini. Model cenderung berkinerja baik pada tugas-tugas atomik yang melibatkan manipulasi langsung dari satu instance atau properti. Tindakan seperti menyesuaikan kekuatan lompatan pemain atau mengonfigurasi efek partikel sering kali berhasil dengan keandalan tinggi.
Kinerja menurun tajam ketika tugas memerlukan penalaran kontekstual yang lebih dalam. Skenario yang melibatkan perubahan terkoordinasi di berbagai skrip, penyaringan objek yang relevan dengan cermat, atau pemahaman perilaku multiplayer terus menghasilkan tingkat keberhasilan yang rendah. Hasil ini menggarisbawahi betapa besarnya ruang untuk perbaikan sebelum asisten AI dapat secara andal menangani tugas-tugas pengembangan Roblox yang kompleks dengan sendirinya.
Tanda-tanda Kemajuan yang Stabil
Meskipun ada tantangan ini, OpenGameEval telah menangkap tanda-tanda peningkatan seiring berkembangnya model. Dalam satu tugas yang melibatkan perubahan warna pada logo Roblox, model awal gagal karena objek tidak diberi nama secara eksplisit. Evaluasi yang lebih baru menunjukkan beberapa model berhasil mengidentifikasi objek yang benar dengan memeriksa properti dan posisinya dalam hierarki instance, daripada hanya mengandalkan konvensi penamaan.
Peningkatan bertahap ini menunjukkan bahwa asisten AI perlahan-lahan meningkat dalam penalaran struktural di dalam lingkungan game, meskipun pemahaman kontekstual yang lebih luas tetap tidak konsisten.
Apa Arti OpenGameEval bagi Kreator dan Peneliti
OpenGameEval dirancang untuk melayani kreator Roblox dan komunitas riset AI yang lebih luas. Papan peringkat publik menawarkan visibilitas tentang bagaimana berbagai model berkinerja di berbagai kategori seperti pembuatan kode dan penggunaan alat. Bagi para peneliti, kerangka kerja ini menyediakan cara standar untuk menjalankan evaluasi yang dapat direproduksi di dalam lingkungan mesin game yang sebenarnya.
Ke depannya, tim di balik OpenGameEval berencana untuk memperluas dataset, menyempurnakan alat evaluasi, dan menggabungkan umpan balik dari komunitas kreator. Tujuan jangka panjangnya adalah untuk menetapkan titik referensi bersama untuk mengukur kemajuan dalam AI agentik untuk pengembangan game, termasuk aplikasi di masa depan yang terkait dengan ekonomi kreator bergaya web3.
Lihat Kartu Hadiah Roblox di Amazon di sini.
Pelajari tentang pengalaman Roblox populer lainnya di sini:
Pertanyaan yang Sering Diajukan (FAQ)
Apa itu OpenGameEval?
OpenGameEval adalah kerangka kerja evaluasi dan benchmark open-source yang dirancang untuk menguji asisten AI secara langsung di dalam Roblox Studio. Ini mengukur seberapa baik model berkinerja pada tugas pengembangan nyata daripada masalah pengkodean yang terisolasi.
Bagaimana OpenGameEval berbeda dari benchmark AI lainnya?
Berbeda dengan benchmark tradisional, OpenGameEval menjalankan evaluasi dalam lingkungan Roblox Studio yang disimulasikan. Hal ini memungkinkan untuk menguji penalaran kontekstual, perilaku multiplayer, dan interaksi stateful yang umum dalam pengembangan game.
Jenis tugas apa yang termasuk dalam OpenGameEval?
Benchmark ini mencakup tugas-tugas yang berkaitan dengan mekanika game, scripting, pembangunan lingkungan, animasi, antarmuka pengguna, dan suara. Banyak tugas memerlukan penalaran multistep di berbagai skrip dan objek.
Siapa yang dapat menggunakan OpenGameEval?
Kerangka kerja ini bersifat open source dan ditujukan untuk peneliti AI, pengembang alat, dan tim yang membangun atau mengevaluasi asisten AI untuk Roblox Studio.
Mengapa OpenGameEval penting bagi kreator Roblox?
Dengan menyediakan data kinerja yang transparan dan evaluasi yang realistis, OpenGameEval membantu kreator memahami kekuatan dan keterbatasan asisten AI dan melacak bagaimana alat-alat ini meningkat seiring waktu.
