AUTOMASI PEMBANGKIT LIRIK LAGU DALAM BAHASA INDONESIA: IMPLEMENTASI GPT-NEO DALAM PEMROSESAN BAHASA KREATIF

Abstract

Kemajuan dalam pemrosesan bahasa alami (NLP) dan model pembelajaran mesin telah membuka peluang baru dalam pembuatan teks kreatif, termasuk lirik lagu. Penelitian ini mengevaluasi kemampuan model Generative Pre-trained Transformer (GPT-Neo) versi kecil (EleutherAI/gpt-neo-125m) untuk menghasilkan lirik lagu Bahasa Indonesia secara otomatis. Model ini dilatih ulang (fine-tuning) menggunakan dataset lirik lagu Indonesia yang telah diproses, dengan konfigurasi batch size 8, learning rate 5e-5, dan 50 epoch. Evaluasi dilakukan menggunakan metrik kuantitatif, termasuk BLEU score untuk menilai kelancaran dan koherensi teks. Hasil menunjukkan bahwa model mampu menghasilkan lirik yang koheren, relevan, dan menyerupai pola linguistik lirik Indonesia, dengan rata-rata BLEU score sebesar 0.72. Namun, model menghadapi tantangan dalam menjaga konsistensi tema pada lirik yang lebih panjang dan menangani variasi input seperti inkonsistensi tata bahasa. Meskipun demikian, hasil ini menunjukkan potensi besar GPT-Neo sebagai alat pembangkit teks kreatif yang relevan secara budaya. Penelitian ini memberikan dasar kuat untuk pengembangan lebih lanjut, terutama dalam meningkatkan kemampuan model untuk menangkap kompleksitas emosi dan tema dalam lirik lagu.

 Kata Kunci: GPT-Neo, EleutherAI/gpt-neo-125m, lirik lagu Indonesia, pembangkitan teks, model bahasa, evaluasi BLEU.

ABSTRACT 

Advancements in natural language processing (NLP) and machine learning models have opened new opportunities for generating creative texts, including song lyrics. This study evaluates the capability of the compact Generative Pre-trained Transformer model (GPT-Neo, EleutherAI/gpt-neo-125m) to generate Indonesian song lyrics autonomously. The model was fine-tuned using a curated dataset of Indonesian song lyrics, with configurations including a batch size of 8, a learning rate of 5e-5, and 50 epochs. The evaluation employed quantitative metrics, such as BLEU score to assess fluency and coherenceResults indicate that the model can produce coherent, contextually relevant lyrics that emulate the linguistic patterns of Indonesian songs, achieving an average BLEU score of 0.72. However, the model faces challenges in maintaining thematic consistency in longer lyrics and handling input variations, such as grammatical inconsistencies. Nevertheless, these findings highlight GPT-Neo's significant potential as a culturally relevant creative text-generation tool. This study provides a solid foundation for further development, particularly in enhancing the model's ability to capture emotional depth and thematic complexity in song lyrics.

 Keywords: GPT-Neo, EleutherAI/gpt-neo-125m, Indonesian song lyrics, text generation, language model, BLEU evaluation.