Kacau Balau di Bidang AI: Dari Transformers hingga Pertarungan Seratus Model

Bulan lalu, industri AI meletus dengan "perang hewan" yang sengit. Di satu sisi adalah model alpaka yang diluncurkan oleh raksasa teknologi tertentu, yang sangat disukai oleh pengembang karena sifat open source-nya. Di sisi lain adalah model besar bernama "Elang", yang setelah diluncurkan pada bulan Mei, mengalahkan alpaka dan menduduki puncak peringkat LLM open source.

Menariknya, pengembang "Falcon" bukanlah perusahaan teknologi, melainkan sebuah lembaga penelitian yang terletak di Uni Emirat Arab. Menteri Kecerdasan Buatan Uni Emirat Arab kemudian terpilih dalam daftar "100 Orang Paling Berpengaruh di Bidang AI" yang disusun oleh majalah Time.

Saat ini, bidang AI telah memasuki tahap "kekacauan besar". Selama ada cukup dana, negara dan perusahaan mana pun sedang mengembangkan model bahasa besar mereka sendiri. Hanya di negara-negara Teluk, sudah ada lebih dari satu pemain dalam kompetisi ini.

Seorang investor mengeluh: "Dulu saya meremehkan inovasi model bisnis internet, merasa tidak ada batasan. Tak disangka, startup model besar teknologi keras tetap terjebak dalam perang seratus model..."

Apa yang awalnya dianggap sebagai teknologi keras yang sulit, kini berubah menjadi situasi di mana setiap negara memiliki pola yang sama dan berkembang pesat?

Transformer mengubah aturan permainan

Saat ini, negara-negara dan perusahaan-perusahaan dapat mengejar impian model besar, semua berkat makalah terkenal yang diterbitkan pada tahun 2017 berjudul "Attention Is All You Need". Makalah tersebut memperkenalkan algoritma Transformer, yang menjadi titik pemicu untuk gelombang AI kali ini. Model-model besar saat ini, terlepas dari kebangsaannya, dibangun di atas dasar Transformer.

Sebelum ini, "mengajarkan mesin membaca" telah diakui sebagai tantangan akademis. Saat manusia membaca, mereka tidak hanya memperhatikan kata-kata dan kalimat saat ini, tetapi juga memahami dengan mengaitkan konteks. Jaringan saraf awal sulit untuk melakukan hal ini, sampai munculnya jaringan saraf berulang (RNN) pada tahun 2014 yang membawa terobosan.

Namun, RNN memiliki masalah efisiensi yang rendah dan sulit untuk menangani banyak parameter. Kehadiran Transformer telah menyelesaikan masalah ini, dengan menggunakan pengkodean posisi menggantikan desain siklik RNN, memungkinkan perhitungan paralel, dan secara signifikan meningkatkan efisiensi pelatihan. Perubahan ini membawa AI ke era model besar.

Transformer dengan cepat menjadi solusi utama di bidang pemrosesan bahasa alami. Ini mengubah model besar dari penelitian teori menjadi masalah rekayasa murni - selama ada cukup daya komputasi dan data, perusahaan mana pun yang memiliki kemampuan teknis dapat membangun model besar.

Seperti yang dikatakan oleh seorang ilmuwan komputer, AI sedang menjadi teknologi umum, mirip dengan listrik dan internet. Meskipun model besar dari beberapa perusahaan masih unggul, para analis memperkirakan bahwa raksasa teknologi lainnya segera dapat menghasilkan produk yang setara.

Pemikiran di Balik Pertarungan Seratus Model

Hingga Juli tahun ini, jumlah model besar di dalam negeri telah mencapai 130, melebihi Amerika Serikat. Selain Tiongkok dan Amerika, beberapa negara kaya lainnya juga telah meluncurkan model besar mereka sendiri, seperti Jepang, Uni Emirat Arab, India, Korea Selatan, dan sebagainya.

Situasi ini mengingatkan orang pada era gelembung internet. Namun, kemudahan masuk tidak berarti semua orang dapat menjadi raksasa di era AI. Mengambil contoh model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan inti mereka. Sebuah raksasa media sosial sangat memahami hal ini, dan seri model besar sumber terbukanya telah menjadi penanda arah di bidang ini.

Namun, sebagian besar model besar masih memiliki perbedaan yang jelas dalam kinerja dibandingkan produk-produk teratas. Hasil terbaru dari pengujian AgentBench menunjukkan bahwa skor tempat kedua bahkan kurang dari dua pertiga skor tempat pertama. Perbedaan ini berasal dari tim ilmuwan unggul yang dimiliki oleh perusahaan-perusahaan teratas dan pengalaman yang terakumulasi selama bertahun-tahun.

Kemampuan inti dari model besar tidak hanya terletak pada jumlah parameter, tetapi juga pada pembangunan ekosistem ( untuk model sumber terbuka ) atau murni kemampuan inferensi ( untuk model tertutup ). Seiring dengan perkembangan komunitas sumber terbuka, kinerja berbagai model besar mungkin akan menjadi serupa.

Tantangan yang lebih besar terletak pada komersialisasi. Kecuali untuk beberapa pengecualian, sebagian besar perusahaan AI belum menemukan model profitabilitas meskipun telah menginvestasikan biaya besar. Bahkan perusahaan-perusahaan terkemuka di industri ini juga menghadapi kesulitan dalam penetapan harga produk AI.

Biaya daya komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri. Diperkirakan, pengeluaran tahunan perusahaan teknologi global untuk infrastruktur model besar mungkin jauh melebihi pendapatan yang dihasilkan, menciptakan kesenjangan yang besar.

Meskipun produk-produk inovatif dari beberapa perusahaan memicu revolusi AI ini, masih ada keraguan tentang nilai yang dapat diciptakan hanya dengan mengandalkan pelatihan model besar. Dengan meningkatnya persaingan dan semakin banyaknya model sumber terbuka, penyedia model besar murni mungkin menghadapi tekanan yang lebih besar.

Sama seperti kesuksesan iPhone 4 yang tidak hanya terletak pada prosesor, tetapi juga karena kemampuannya untuk menjalankan berbagai aplikasi. Nilai sejati di bidang AI mungkin juga akan terungkap dalam aplikasi konkret.