Beberapa Model OpenAI Lolos Beberapa Uji Untuk NLP

[Ilustrasi Oleh Pixabay]

Organisasi nirlaba yang bergerak dalam penelitian kecerdasan buatan, OpenAI, hari ini memperlihatkan koleksi model kecerdasan buatan yang tidak hanya dapat menghasilkan teks yang koheren dengan kata atau kalimat, tetapi mencapai kinerja canggih (atau hampir canggih) pada berbagai tes NLP (Natural Language Processing).

Selama empat tahun terakhir ini, perusahaan yang didukung oleh tokoh-tokoh teknologi, seperti Reid Hoffman dan Peter Thiel, telah melakukan berbagai macam penelitian pada sistem otonom.

Bahkan, beberapa hasilnya dapat mencapai kinerja dengan tingkat setara manusia super di permainan Pong, Montezuma’s Revenge, Dota, dan belum lagi robot berupa tangan mekanik dengan ketangkasan seperti manusia.

Melalui laporan terbaru yang diterbitkannya, OpenAI bahkan menyebutkan bahwa beberapa model bahasa yang cukup besar, dalam beberapa kasus yang memiliki dua belas kali ukuran model OpenAI sebelumnya, dapat mempelajari tugas-tugas NLP tanpa kumpulan data khusus atau modifikasi.

Capaian ini tak terlepas dari adanya Transformers, yakni jenis arsitektur saraf yang relatif baru yang diperkenalkan dalam makalah 2017, yang ditulis bersama oleh para ilmuwan di Google Brain, divisi penelitian AI Google.

Transformer menambah perhatian pada campuran jaringan neural di dalam model-model tersebut. Tweak arsitektural ini memungkinkan model OpenAI untuk menanyakan pembelajaran di masa lalu untuk informasi yang relevan, seperti nama orang yang disebutkan dalam sebuah cerita atau benda di sebuah ruangan.

Selama eksperimen yang melibatkan transfer domain, di mana model tersebut tidak dilatih sebelumnya tentang set data apa pun khusus untuk pengujian, OpenAI mengatakan bahwa yang terbesar dari empat sistem bahasanya – OpenAI GPT-2 – berhasil mendapatkan status yang cukup bagus dalam tujuh dari delapan tolok ukur.

Tujuh dari delapan tolok ukur tersebut termasuk LAMBADA (tes kemampuan model untuk memodelkan ketergantungan jangka panjang dalam teks), Tantangan Skema Winograd (ukuran kapasitas untuk menyelesaikan ambiguitas dalam teks), dan Penn Treebank ( kumpulan jutaan kata dari teks yang ditandai bagian dari ucapan).

Namun tentu saja, hal ini belum cukup sempurna. Tidak ada model OpenAI yang dapat melihat lebih dari satu halaman data pada suatu waktu, dan mereka tidak sepenuhnya konsisten, di mana mereka kadang-kadang menipu angka atau mengganti topik dengan cara yang tidak masuk akal.

OpenAI cukup sadar akan hal ini, untuk itu mari kita tunggu saja bagaimana peningkatan model OpenAI tersebut beberapa waktu ke depan.

[Sumber: Venturebeat]