Eksperimen Prompt Engineering: Teknik dan Hasilnya

Prompt engineering adalah praktik merancang input teks secara strategis untuk memperoleh respons optimal dari model bahasa besar. Eksperimen dalam bidang ini menguji berbagai teknik prompting seperti zero-shot, few-shot, dan chain-of-thought untuk mengukur dampaknya terhadap akurasi dan kualitas output model AI.

Prompt engineering berkembang seiring dengan kemajuan model bahasa besar yang dimulai dari GPT-2 hingga GPT-4 dan model-model open-source seperti LLaMA. Para peneliti di Anthropic, OpenAI, dan berbagai universitas melakukan eksperimen sistematis untuk memahami bagaimana struktur prompt memengaruhi perilaku model. Eksperimen awal menunjukkan bahwa pemilihan kata, konteks, dan format instruksi secara signifikan mengubah respons yang dihasilkan. Teknik prompting kemudian dikategorikan berdasarkan jumlah contoh yang diberikan dan keberadaan langkah-langkah penalaran dalam prompt.

Zero-shot prompting adalah teknik paling sederhana di mana model diberi instruksi langsung tanpa contoh tambahan. Eksperimen menunjukkan teknik ini cukup efektif untuk tugas-tugas umum namun memiliki keterbatasan dalam soal matematika kompleks dan tugas yang memerlukan pemahaman kontekstual mendalam. Few-shot prompting menambahkan beberapa contoh input-output dalam prompt untuk memberikan pola kepada model. Hasil eksperimen membuktikan bahwa even dua hingga tiga contoh berkualitas dapat meningkatkan akurasi secara substansial dibandingkan zero-shot pada tugas klasifikasi dan transformasi teks.

Bagaimana chain-of-thought prompting meningkatkan penalaran model? Teknik ini menambahkan frasa ajakan seperti "mari berpikir langkah demi langkah" atau "explain your reasoning" dalam prompt. Eksperimen yang dilakukan oleh Google Research pada tahun 2022 menunjukkan bahwa teknik ini meningkatkan akurasi model pada benchmark matematika secara signifikan. Model tidak hanya memberikan jawaban tetapi juga menampilkan langkah-langkah penalaran yang logis. Pendekatan serupa diterapkan dalam tree-of-thought dan self-consistency untuk tugas yang lebih kompleks.

Bagaimana hasil eksperimen tree-of-thought berbeda dari prompting standar? Teknik ini mendorong model untuk mengeksplorasi berbagai kemungkinan solusi sebelum mengambil kesimpulan. Eksperimen menunjukkan peningkatan performa pada tugas perencanaan dan pemecahan masalah yang memerlukan pertimbangan multiple jalur. Self-consistency melengkapi teknik ini dengan meminta model menghasilkan beberapa jalur penalaran dan memilih jawaban yang paling konsisten. Kombinasi kedua teknik ini menunjukkan hasil yang lebih baik pada benchmark penalaran kompleks dibandingkan chain-of-thought tunggal.

Eksperimen lebih lanjut mengeksplorasi teknik-teknik khusus seperti retrieval-augmented prompting yang menggabungkan prompt dengan informasi yang diambil dari basis pengetahuan eksternal. Teknik ini terbukti efektif untuk tugas yang memerlukan fakta terkini atau pengetahuan domain spesifik. Prompting dengan peran seperti "anda adalah ahli matematika" atau "jelaskan kepada anak usia 10 tahun" juga diuji untuk mengarahkan gaya respons model. Hasil eksperimen menunjukkan bahwa penetapan peran dapat memengaruhi kedalaman dan kompleksitas penjelasan yang diberikan.

Beberapa temuan penting dari eksperimen prompt engineering meliputi keberagaman respons model terhadap perubahan minor dalam prompt, sensitivitas terhadap urutan contoh dalam few-shot, dan pentingnya kejelasan instruksi. Para peneliti juga menemukan bahwa teknik yang efektif untuk satu model belum tentu optimal untuk model lain karena perbedaan arsitektur dan data pelatihan. Optimalisasi prompt kini menjadi bidang penelitian tersendiri yang menggabungkan heuristik经验的 dengan pendekatan berbasis machine learning untuk menemukan prompt terbaik secara otomatis.

• Prompt engineering berfokus pada perancangan input strategis untuk model bahasa besar
• Teknik prompting berkembang dari zero-shot menuju metode yang lebih kompleks seperti chain-of-thought
• Eksperimen dilakukan secara sistematis dengan benchmark standar untuk mengukur efektivitas
• Hasil eksperimen menunjukkan bahwa teknik prompting dapat meningkatkan akurasi secara signifikan
• Pemilihan teknik bergantung pada jenis tugas, model yang digunakan, dan sumber daya komputasi

Artikel ini disusun ulang oleh redaksi dari pantauan agregator berita. Sumber asli tidak tercatat saat artikel diterbitkan.