LegoGPT: AI Mengubah Petunjuk Teks Menjadi Kreasi Lego

Para peneliti di Universitas Carnegie Mellon telah memperkenalkan LegoGPT, sebuah sistem AI baru yang membangun karya Lego dunia nyata dari deskripsi tertulis.

Ini adalah AI pertama sejenisnya yang tidak hanya mengikuti petunjuk teks—seperti “sebuah kapal yang ramping dan panjang”—tetapi juga memastikan bahwa struktur yang dihasilkan secara fisik stabil dan dapat dibangun, bata demi bata.

“Untuk mencapai hal ini, kami membuat dataset besar dan stabil secara fisik dari desain LEGO, bersama dengan keterangan terkait,” jelas tim tersebut dalam makalah penelitian mereka.

LegoGPT dilatih menggunakan lebih dari 47.000 model Lego stabil yang dipasangkan dengan keterangan rinci yang dihasilkan oleh GPT-4o. Ini dibangun dari bentuk 3D, diubah menjadi struktur Lego, lalu diuji untuk stabilitas di dunia nyata menggunakan simulasi fisika.

Setiap struktur juga dijelaskan dari 24 sudut sehingga AI dapat belajar bagaimana berbagai desain harus terlihat dalam kata-kata.

Tim tersebut menggunakan teknik khusus yang disebut “physics-aware rollback”, di mana bagian-bagian tidak stabil dari suatu desain dihilangkan dan dibangun kembali hingga seluruh struktur bisa berdiri. Ini meningkatkan tingkat keberhasilan pembangunan dari 24% menjadi 98,8%.

Model AI ini, berdasarkan Meta’s LLaMA-3.2-Instruct, memprediksi batu bata Lego mana yang harus diletakkan selanjutnya—mirip dengan bagaimana ChatGPT memprediksi kata berikutnya. Setiap batu bata yang disarankan diperiksa untuk penempatan, ukuran, dan potensi tabrakan sebelum ditambahkan ke model.

Karya LegoGPT dapat dibangun oleh manusia dan robot. “Eksperimen kami menunjukkan bahwa LegoGPT menghasilkan desain Lego yang stabil, beragam, dan estetis yang sejalan erat dengan teks input yang diminta,” tulis para peneliti.

Untuk saat ini, LegoGPT hanya menggunakan delapan jenis bata dasar dan bekerja dalam ruang 20×20×20, tetapi tim berharap dapat mengembangkannya.

Dataset lengkap mereka, kode, dan model bisa diakses secara gratis, sehingga orang lain dapat terus membangun penelitian ini. Atau, Anda bisa sekadar bermain-main dengan demonya.