[ilustrasi Oleh Pixabay]

Guna membantu pengembang membangun, menguji, dan menyesuaikan keterampilan Alexa dengan lebih baik, Amazon kembali meluncurkan tiga buah fitur baru dalam layanannya, yang meliputi Natural Language Understanding (NLU) Evaluation Tool, Utterance Conflict Detection, dan antarmuka pemrograman Get Metrics API yang baru.

NLU Evaluation Tool merupakan set perlengkapan yang memungkinkan pengembang untuk menjalankan uji coba batch, yang berguna untuk menginterpretasikan keterampilan, apakah mereka sesuai dengan harapan atau tidak.

Perlengkapan ini akan membantu pengembang dalam membangun kumpulan-kumpulan ucapan agar selanjutnya bisa diuji. Hal ini diperlukan untuk mencegah pengujian yang berlebihan, serta membantu pengujian regresi dan pengukuran akurasi yang juga terdapat di dalam set perlengkapan ini.

Ketika jumlah contoh ucapan terlalu banyak, maka membutuhkan proses pelatihan yang lebih banyak yang bisa cenderung berlebihan, serta dapat mengurangi tingkat akurasi dari pengujian itu sendiri.

Namun dengan fitur pengujian dalam bentuk batch di dalam NLU Evaluation Tool, pengembang dapat menguji apa yang mereka harapkan dari pengguna dengan menggunakan sampel pengujian yang lebih akurat.

Tes regresi yang ada di dalam NLU Evaluation Tool juga dapat berjalan, sehingga memungkinkan pengembang untuk menguji fitur yang baru ditambahkan, guna memastikan bahwa pengalaman pelanggan tidak berkurang.

Serta, pengembang bisa memanfaatkan pengukuran akurasi dalam NLU Evaluation Tool untuk mengukur keakuratan keterampilan NLU dalam menggunakan ucapan langsung dari anonim dan kemudian mengukur dampaknya terhadap perubahan.

Sementara itu, Utterance Conflict Detection adalah sebuah fitur yang bisa digunakan oleh para pengembang untuk memetakan ucapan yang tidak sengaja ke dalam beberapa tujuan ucapan. Hal ini bertujuan untuk mengurangi ketidakakuratan yang disebabkan oleh ketidakcocokan antara tujuan dengan ucapan.

Utterance Conflict Detection secara otomatis akan berjalan pada setiap model, sehingga pengembang dapat menggunakannya sebelum menerbitkan kemampuan atau versi tertentu. Dengan membatasi pemetaan seperti ini, model diharapkan hanya akan menangani lebih sedikit konflik yang tidak diinginkan.

Tak kalah menarik, antarmuka Get Metrics API yang baru merupakan antarmuka pemrograman aplikasi, yang akan memberi pengembang sebuah kemampuan untuk membuat laporan, yang pastinya bisa sangat berguna untuk meninjau kualitas dan penggunaan model.

Antarmuka baru ini bisa digunakan menganalisis metrik kunci, seperti pelanggan yang unik, pemberdayaan total, sesi total, ucapan total, dan masih banyak lagi, melalui alat yang dikembangkan oleh pihak ketiga.

[Sumber: ProgramableWeb]