Era lompatan besar kemampuan AI sudah berakhir?

Selama bertahun-tahun, pengamat industri AI menyaksikan perkembangan model AI yang pesat. Perkembangan ini kemudian memicu optimisme bahwa kinerja akan terus meningkat secara eksponensial di masa depan. 

Namun, belakangan ini, muncul kekhawatiran bahwa “hukum penskalaan” AI mungkin telah mencapai titik jenuh. Hal ini terjadi di semua model AI, terutama dalam model bahasa besar (LLM) yang dilatih dengan metode konvensional.

Dilansir dari laman The Information (18/11), sejumlah orang dalam di OpenAI mencatat bahwa Orion — nama kode untuk model terbaru mereka — tidak menunjukkan peningkatan kinerja yang signifikan seperti peralihan dari GPT-3 ke GPT-4. Pada beberapa tugas, model terbaru ini bahkan tidak lebih baik dari pendahulunya.

Ilya Sutskever, salah satu pendiri OpenAI yang meninggalkan perusahaan awal tahun ini mengungkapkan kepada Reuters bahwa era “peningkatan dengan penskalaan” yang dimulai pada 2010-an, mungkin sudah berakhir berkat peningkatan data dan komputasi menghasilkan sebuah lompatan besar.

“Sekarang, kita memasuki era keajaiban dan inovasi,” kata Sutskever. “Menemukan hal baru kini menjadi lebih penting.”

Para ahli berpendapat bahwa kendala utama pengembangan model adalah kurangnya data teks berkualitas untuk pelatihan LLM baru. Sebagian besar data dari internet dan buku-buku terbitan mungkin sudah digunakan. 

Lembaga riset Epoch AI memperkirakan bahwa stok data tekstual publik akan habis digunakan antara 2026 dan 2032, membatasi kemampuan pelatihan lebih lanjut.

Untuk mengatasi keterbatasan data, OpenAI dan perusahaan lain mulai beralih ke pelatihan dengan data sintetis yang dihasilkan oleh model lain. Namun, muncul perdebatan apakah pendekatan ini dapat menyebabkan “keruntuhan model” setelah beberapa siklus pelatihan berulang. 

Sementara itu, ada yang berharap model masa depan dapat lebih mengutamakan kemampuan penalaran ketimbang sekadar menambah data.

Model berbasis spesialisasi menjadi alternatif lain. Microsoft, misalnya, telah mengembangkan model bahasa kecil yang dirancang untuk tugas-tugas khusus. Jika metode pelatihan tradisional mulai stagnan, masa depan AI mungkin akan berfokus pada model spesifik, mirip dengan mahasiswa PhD yang menekuni bidang esoteris untuk menciptakan jalur pengetahuan baru.