Google Meluncurkan Library Baru yang Disebut TensorFlow.Text

[Ilustrasi Oleh Pixabay]

Setelah mengumumkan ketersediaan versi beta dari TensorFlow 2.0, Google kini mengumumkan library baru yang disebut dengan TensorFlow.Text untuk membantu para pengembang dalam menyelesaikan tugas tertentu dengan mesin pembelajaran.

Library baru khusus dengan TensorFlow ini berisi berbagai macam model bahasa pra-pemrosesan, yang bisa digunakan dengan menggunakan Python Package Index (PyPI). Library ini pun juga datang dengan kemampuan untuk memisahkan dan menganalisis teks, seperti kata-kata, angka, maupun tanda baca.

TensorFlow.Text juga dapat mengenali spasi, skrip unicode, dan urutan fragmen kata yang telah ditentukan sebelumnya seperti sufiks atau awalan, yang oleh Google disebut wordpieces. Wordpieces umumnya digunakan dalam pendekatan seperti BERT.

Bagi yang belum tahu, BERT merupakan sebuah teknik pra-pelatihan untuk model bahasa dari Google. Teknik ini telah diterbitkan oleh Google pada musim gugur tahun lalu secara open-source.

Berdasarkan ulasan pengumuman yang ditulis di halaman Medium, library baru untuk TensorFlow ini juga dilengkapi dengan operasi khusus untuk normalisasi, n-gram, dan batasan urutan untuk pelabelan.

Secara khusus, token TensorFlow.Text juga disebutkan bahwa menggunakan RaggedTensors, yakni sebuah tensor baru yang dirancang untuk mengenali teks. Google mengenalkan tensor baru ini bersamaan dengan Unicode dan versi alpha dari TensorFlow 2.0 pada awal Tahun 2019 ini dalam acara TensorFlow Dev Summit.

Sementara itu, versi terbaru dari framework open-source Google, TensorFlow 2.0 merupakan framework yang menggunakan jumlah API yang lebih sedikit, integrasi mendalam dengan Keras, dan berbagai macam perbaikan runtime untuk Eksekusi Eager.

Melengkapi framework terbaru ini, Google pun telah melengkapinya dengan berbagai macam library, seperti TensorFlow Graphics yang baru diluncurkan bulan lalu untuk membawa kemampuan deep learning dalam mengolah grafik dan model tiga dimensi.

Sebelumnya pun, framework open-source Google ini juga telah dilengkapi dengan TensorFlow Lite yang dirancang secara khusus untuk perangkat embedded, untuk memberdayakan hal-hal seperti deteksi ucapan di GBoard dan deteksi tepi di Foto Google.

Bulan Maret 2019 lalu, Google juga telah meluncurkan TensorFlow Privacy serta TensorFlow Federated, yakni metode pembelajaran mesin yang dapat digunakan untuk memastikan perlindungan privasi pengguna yang lebih baik di dalam sebuah perangkat.

[Sumber: Venturebeat]