GPT-3 adalah platform pembelajaran mesin (machine learning) yang memungkinkan pengembang untuk melatih dan menerapkan model AI. Platform ini dikatakan scalable dan efisien dengan kemampuan untuk menangani sejumlah besar data. Bahkan GPT-3 diharapkan akan menjadi kekuatan utama dalam pengembangan kecerdasan buatan, karena memiliki potensi untuk membuat AI lebih mudah diakses oleh pengembang yang lebih luas.
GPT-3 diluncurkan pada 11 Juni 2020. GPT-3 merupakan Natural Language Processing Transformer (NLP) terbesar yang dapat secara akurat dan efektif mereproduksi pola pikir dan penalaran manusia. Teks-teks yang dihasilkan tersusun dengan sangat baik sehingga pembaca tidak dapat lagi membedakannya dari teks-teks yang ditulis oleh manusia.
Kenapa disebut sebagai yang terbesar (saat itu)? Itu karena GPT-3 didasarkan pada 175 miliar parameter sehingga jauh lebih akurat daripada pendahulunya. Misalnya, GPT-2 hanya memiliki 1,5 miliar parameter, dan Microsoft Turing NLG memiliki 17 miliar. Dengan demikian, kekuatan GPT-3 secara signifikan melampaui seluruh alternatif yang ada.
Sejak diluncurkan, GPT-3 menghasilkan rata-rata 4,5 juta kata per hari dan digunakan oleh lebih dari 300 aplikasi.
Apa Itu GPT-3?
GPT-3 adalah model bahasa autoregresif yang dikembangkan dan diluncurkan oleh OpenAI. OpenAI merupakan lembaga yang dipimpin oleh Sam Altman, Marc Benioff, Elon Musk, dan Reid Hoffman. Iya, Anda tidak salah baca, memang Elon Musk yang itu. Cukup menarik bukan?
GPT-3 dirancang untuk dapat menghasilkan teks, sehingga dapat digunakan untuk hal-hal seperti terjemahan mesin atau peringkasan otomatis. Namun, yang membuat GPT-3 unik adalah ia juga dirancang untuk dapat menalar dan memahami dunia. Ini berarti dapat digunakan untuk tugas yang lebih kompleks, seperti memberikan dukungan pelanggan atau bahkan menulis kode.
Aplikasi potensial untuk GPT-3 hampir tidak terbatas. Namun, ada beberapa kekhawatiran tentang dampak potensialnya terhadap masyarakat. Misalnya, ada risiko bahwa itu dapat digunakan untuk membuat artikel berita palsu atau untuk menghasilkan konten spam. Ada juga risiko bahwa itu dapat digunakan untuk tujuan jahat, seperti membuat ulasan palsu atau menyebarkan informasi yang salah.
Terlepas dari risiko ini, GPT-3 memiliki potensi untuk merevolusi kecerdasan buatan dan mengubah dunia seperti yang kita kenal.
GPT-3 adalah platform pembelajaran mesin baru yang menawarkan kemampuan yang belum pernah ada sebelumnya untuk pemrosesan bahasa alami. GPT-3 dapat digunakan untuk membangun aplikasi yang dapat memahami dan merespons bahasa manusia, menjadikannya alat penting bagi pengembang mana pun yang ingin membuat aplikasi kecerdasan buatan generasi berikutnya.
Perkembangan GPT-3
Semua bermula dari dirilisnya sebuah paper oleh OpenAI pada bulan Juni 2018 berjudul “Improving Language Understanding by Generative Pre-Training“. Ini merupakan model GPT pertama yaitu GPT-1. Dalam makalah ini disampaikan bahwa kombinasi arsitektur transformator dengan pra-pelatihan tanpa pengawasan (unsupervised pre-training) menghasilkan hasil yang menjanjikan.
Kemudian pada bulan Februari 2019 mereka menerbitkan makalah kedua, Language Models are Unsupervised Multitask Learners, mereka memperkenalkan GPT-2 sebagai perkembangan lebih lanjut dari GPT-1. Meskipun GPT-2 berbeda jauh tapi sebenarnya mereka sangat mirip. Hanya ada satu perbedaan besar di antara keduanya yaitu GPT-2 dapat melakukan banyak tugas . Mereka berhasil membuktikan bahwa model bahasa semi-diawasi dapat melakukan dengan baik pada beberapa tugas “tanpa pelatihan khusus tugas.” Model ini mencapai hasil yang luar biasa dalam pengaturan transfer tugas zero-shot.
Selanjutnya, pada Mei 2020, OpenAI kembali menerbitkan paper berjudul Language Models are Few-Shot Learners , menghadirkan generasi ketiga dari GPT yaitu GPT-3.
Apa Yang Bisa Dilakukan GPT-3?
Dari contoh yang diberikan, paling tidak ada 49 tugas yang mampu diselesaikan oleh GPT-3 saat artikel ini ditulis.
- Tanya Jawab yaitu menjawab pertanyaan berdasarkan pengetahuan yang ada.
- Koreksi tata bahasa, mengoreksi kalimat ke dalam bahasa Inggris standar.
- Ringkas untuk anak kelas 2, menerjemahkan teks yang sulit menjadi konsep yang lebih sederhana.
- Bahasa alami untuk OpenAI API, buat kode untuk dipanggil ke OpenAI API menggunakan instruksi bahasa alami.
- Teks ke perintah, menerjemahkan teks ke dalam perintah terprogram.
- Bahasa Inggris ke bahasa lain, menerjemahkan teks bahasa Inggris ke dalam bahasa Prancis, Spanyol, dan Jepang.
- Bahasa alami untuk Stripe API, buat kode untuk memanggil Stripe API menggunakan bahasa alami.
- Terjemahan SQL, terjemahkan bahasa alami ke kueri SQL.
- Mengurai data tidak terstruktur, buat tabel dari teks bentuk panjang
- Klasifikasi, mengklasifikasikan item ke dalam kategori melalui contoh.
- Python ke bahasa alami, menjelaskan sepotong kode Python dalam bahasa yang dapat dimengerti manusia.
- Film ke Emoji, mengubah judul film menjadi emoji.
- Hitung Kompleksitas Waktu, menemukan kompleksitas waktu dari suatu fungsi.
- Terjemahkan bahasa pemrograman, menterjemahkan dari satu bahasa pemrograman ke bahasa lain
- Pengklasifikasi tweet tingkat lanjut, mendeteksi sentimen tingkat lanjut untuk sepotong teks.
- Jelaskan kode, menjelaskan sepotong kode yang rumit.
- Kata kunci, mengekstrak kata kunci dari blok teks.
- Jawaban faktual, membimbing model menuju jawaban faktual dengan menunjukkan bagaimana menanggapi pertanyaan yang berada di luar basis pengetahuannya. Menggunakan sebuah ‘?’ untuk menunjukkan respons terhadap kata dan frasa yang tidak diketahuinya memberikan respons alami yang tampaknya berfungsi lebih baik daripada balasan yang lebih abstrak.
- Iklan dari deskripsi produk, mengubah deskripsi produk menjadi salinan iklan.
- Generator nama produk, membuat nama produk dari contoh kata. Dipengaruhi oleh permintaan komunitas.
- TL; DR ringkasan, meringkas teks dengan menambahkan ‘tl;dr:’ di akhir bagian teks. Ini menunjukkan bahwa API memahami cara melakukan sejumlah tugas tanpa instruksi.
- Pemecah bug python, menemukan dan perbaiki bug dalam kode sumber.
- Pembuat spreadsheet, membuat spreadsheet dari berbagai jenis data. Ini adalah prompt yang panjang tetapi sangat serbaguna. Output dapat disalin+ditempelkan ke file teks dan disimpan sebagai .csv dengan pemisah pipa.
- Chatbot pembantu JavaScript, Bot bergaya pesan yang menjawab pertanyaan JavaScript
- Tutor model bahasa ML/AI, Bot yang menjawab pertanyaan tentang model bahasa
- Pembuat daftar buku fiksi ilmiah, Buat daftar item untuk topik tertentu.
- Pengklasifikasi Tweet, Deteksi sentimen dasar untuk sepotong teks.
- Ekstraktor kode bandara, Ekstrak kode bandara dari teks.
- permintaan SQL. Buat kueri SQL sederhana.
- Ekstrak informasi kontak, Ekstrak informasi kontak dari blok teks.
- JavaScript ke Python, Ubah ekspresi JavaScript sederhana menjadi Python.
- Obrolan teman, Meniru percakapan pesan teks.
- Suasana hati untuk mewarnai, Ubah deskripsi teks menjadi warna.
- Tulis docstring Python, Contoh cara membuat docstring untuk fungsi Python yang diberikan. Kami menentukan versi Python, menempelkan kode, dan kemudian meminta dalam komentar untuk docstring, dan memberikan awal karakteristik docstring (“””).
- Pembuat analogi, Buat analogi. Dimodifikasi dari permintaan komunitas untuk meminta lebih sedikit contoh.
- JavaScript fungsi satu baris, Ubah fungsi JavaScript menjadi satu liner.
- Pembuat cerita horor mikro, Membuat dua sampai tiga kalimat cerita horor pendek dari masukan topik.
- Konverter orang ketiga, Mengubah POV orang pertama menjadi orang ketiga. Ini dimodifikasi dari permintaan komunitas untuk menggunakan lebih sedikit contoh.
- Catatan untuk ringkasan, Ubah catatan rapat menjadi ringkasan.
- Generator ide kebugaran VR, Buat ide untuk game kebugaran dan realitas virtual.
- Peringkat ESRB, Kategorikan teks berdasarkan peringkat ESRB.
- Garis besar esai, Buat garis besar untuk topik penelitian.
- Pembuat resep (makan dengan risiko Anda sendiri), Buat resep dari daftar bahan.
- Mengobrol, Percakapan terbuka dengan asisten AI.
- Marv bot obrolan sarkastik, Marv adalah chatbot faktual yang juga sarkastik.
- Arah belokan demi belokan, Ubah bahasa alami menjadi petunjuk arah belokan demi belokan.
- Pembuat ulasan restoran, Ubah beberapa kata menjadi ulasan restoran.
- Buat catatan belajar, Berikan topik dan dapatkan catatan belajar.
- Pertanyaan wawancara, Buat pertanyaan wawancara.