Nvidia meluncurkan layanan baru untuk melatih model bahasa besar

Seiring dengan meningkatnya minat seputar model AI besar — terutama model bahasa besar (LLM) seperti GPT-3 OpenAI — , Nvidia ingin menguangkan dengan layanan baru yang dikelola sepenuhnya dan didukung cloud yang ditujukan untuk pengembang perangkat lunak perusahaan. Hari ini di konferensi GTC musim gugur 2022 perusahaan, Nvidia mengumumkan Layanan NeMo LLM dan Layanan BioNeMo LLM, yang seolah-olah membuatnya lebih mudah untuk mengadaptasi LLM dan menerapkan aplikasi bertenaga AI untuk berbagai kasus penggunaan termasuk pembuatan dan ringkasan teks, prediksi struktur protein, dan banyak lagi.

Penawaran baru ini adalah bagian dari NeMo Nvidia, toolkit open source untuk AI percakapan, dan mereka dirancang untuk meminimalkan — atau bahkan menghilangkan — kebutuhan pengembang untuk membangun LLM dari awal. LLM seringkali mahal untuk dikembangkan dan dilatih, dengan satu model terbaru — PaLM Google — dengan biaya sekitar $9 juta hingga $23 juta dengan memanfaatkan sumber daya komputasi awan yang tersedia untuk umum.

Dengan menggunakan NeMo LLM Service, pengembang dapat membuat model mulai dari ukuran 3 miliar hingga 530 miliar parameter dengan data khusus dalam hitungan menit hingga jam, klaim Nvidia. (Parameter adalah bagian dari model yang dipelajari dari data pelatihan historis — dengan kata lain, variabel yang menginformasikan prediksi model, seperti teks yang dihasilkannya.) Model dapat disesuaikan menggunakan teknik yang disebut pembelajaran cepat, yang menurut Nvidia memungkinkan pengembang untuk menyesuaikan model yang dilatih dengan miliaran titik data untuk aplikasi khusus industri tertentu — misalnya chatbot layanan pelanggan — menggunakan beberapa ratus contoh.

Pengembang dapat menyesuaikan model untuk beberapa kasus penggunaan di lingkungan "taman bermain" tanpa kode, yang juga menawarkan fitur untuk eksperimen. Setelah siap untuk disebarkan, model yang disetel dapat berjalan pada instans cloud, sistem lokal, atau melalui API.

Layanan BioNeMo LLM mirip dengan Layanan LLM, tetapi dengan penyesuaian untuk pelanggan ilmu hayati. Bagian dari platform Clara Discovery Nvidia dan segera tersedia dalam akses awal di Nvidia GPU Cloud, ini mencakup dua model bahasa untuk aplikasi kimia dan biologi serta dukungan untuk data protein, DNA, dan kimia, kata Nvidia.

BioNeMo LLM akan mencakup empat model bahasa yang telah dilatih sebelumnya untuk memulai, termasuk model dari divisi R&D AI Meta, Meta AI Labs, yang memproses urutan asam amino untuk menghasilkan representasi yang dapat digunakan untuk memprediksi sifat dan fungsi protein. Nvidia mengatakan bahwa di masa depan, para peneliti yang menggunakan Layanan BioNeMo LLM akan dapat menyesuaikan LLM untuk akurasi yang lebih tinggi.

Penelitian terbaru menunjukkan bahwa LLM sangat baik dalam memprediksi proses biologis tertentu. Itu karena struktur seperti protein dapat dimodelkan sebagai semacam bahasa — satu dengan kamus (asam amino) yang dirangkai untuk membentuk kalimat (protein). Misalnya, divisi R&D Salesforce beberapa tahun yang lalu menciptakan model LLM yang disebut ProGen yang dapat menghasilkan urutan protein yang layak secara struktural dan fungsional.

Baik Layanan BioNeMo LLM dan Layanan LLM menyertakan opsi untuk menggunakan model siap pakai dan kustom melalui API cloud. Penggunaan layanan juga memberi pelanggan akses ke kerangka kerja NeMo Megatron, sekarang dalam versi beta terbuka, yang memungkinkan pengembang untuk membangun berbagai model LLM multibahasa termasuk model bahasa tipe GPT-3.

Nvidia mengatakan bahwa merek otomotif, komputasi, pendidikan, perawatan kesehatan, dan telekomunikasi saat ini menggunakan NeMo Megatron untuk meluncurkan layanan bertenaga AI dalam bahasa Cina, Inggris, Korea, dan Swedia.

Layanan NeMo LLM dan BioNeMo serta API cloud diharapkan akan tersedia di akses awal mulai bulan depan. Sedangkan untuk framework NeMo Megatron, developer dapat mencobanya melalui platform piloting LaunchPad Nvidia tanpa biaya apapun.