Evaluating Artificial Intelligence Text Generation on Forest and Land Fires (Karhutla) in Indonesia: An Integrated SFL and RST Approach

Abstract

The rapid proliferation of generative artificial intelligence in academic and professional writing necessitates rigorous evaluative instruments to assess automated text quality beyond surface-level fluency. Traditional readability metrics frequently fail to capture the underlying cognitive and semantic architectures governing effective communication. To address this methodological gap, this study investigates the linguistic and argumentative sophistication of texts generated by artificial intelligence models. The primary objective is to evaluate and compare the semantic structures, reasoning flows, pragmatic appropriateness, and rhetorical organization of outputs from ChatGPT, Gemini, and Claude regarding environmental topics. Adopting a quantitative comparative design, the study utilizes an integrated evaluation matrix combining Systemic Functional Linguistics and Rhetorical Structure Theory. Text corpora were analyzed and processed using JASP for repeated measures analysis of variance and post-hoc comparisons. The key findings reveal statistically significant performance variances among the generative models. Specifically, models that incorporate granular empirical grounding and sophisticated concessive framing achieve superior scores in ideational representation and hierarchical rhetorical structuring. Conversely, generalized outputs exhibit limitations in macro-discourse cohesion. These findings highlight the necessity of employing linguistically grounded frameworks for text evaluation. The theoretical and practical implications suggest that the proposed matrix serves as a robust diagnostic tool for researchers, educators, and developers aiming to align automated content generation with human communicative standards.

Pesatnya perkembangan kecerdasan buatan generatif (Generative Artificial Intelligence) dalam penulisan akademik dan profesional menuntut adanya instrumen evaluasi yang ketat untuk menilai kualitas teks yang dihasilkan secara otomatis, tidak hanya berdasarkan kelancaran bahasa pada tingkat permukaan. Metrik keterbacaan tradisional sering kali gagal menangkap struktur kognitif dan semantik yang mendasari komunikasi yang efektif. Untuk mengatasi kesenjangan metodologis tersebut, penelitian ini mengkaji kecanggihan linguistik dan argumentatif teks yang dihasilkan oleh model kecerdasan buatan. Tujuan utama penelitian ini adalah mengevaluasi dan membandingkan struktur semantik, alur penalaran, ketepatan pragmatik, dan organisasi retoris dari teks yang dihasilkan oleh ChatGPT, Gemini, dan Claude dalam membahas topik lingkungan. Dengan menggunakan desain penelitian komparatif kuantitatif, penelitian ini menerapkan matriks evaluasi terpadu yang menggabungkan Linguistik Fungsional Sistemik (Systemic Functional Linguistics) dan Teori Struktur Retoris (Rhetorical Structure Theory). Korpus teks dianalisis dan diolah menggunakan perangkat lunak JASP untuk melakukan analisis varians pengukuran berulang (repeated measures analysis of variance) serta perbandingan pascauji (post-hoc comparisons). Temuan utama menunjukkan adanya perbedaan kinerja yang signifikan secara statistik di antara model-model generatif tersebut. Secara khusus, model yang mengintegrasikan landasan empiris secara terperinci dan konstruksi konsesif yang kompleks memperoleh skor lebih tinggi dalam representasi ideasional dan penyusunan struktur retoris secara hierarkis. Sebaliknya, keluaran teks yang bersifat umum menunjukkan keterbatasan dalam hal kohesi wacana pada tingkat makro. Temuan ini menegaskan pentingnya penggunaan kerangka evaluasi yang berlandaskan teori linguistik dalam menilai kualitas teks. Implikasi teoretis dan praktis penelitian ini menunjukkan bahwa matriks evaluasi yang diusulkan dapat berfungsi sebagai instrumen diagnostik yang andal bagi peneliti, pendidik, dan pengembang dalam upaya menyelaraskan proses pembuatan konten otomatis dengan standar komunikasi manusia.

إن الانتشار المتسارع للذكاء الاصطناعي التوليدي في مجال الكتابة الأكاديمية والمهنية يستلزم تطوير أدوات تقييم دقيقة لقياس جودة النصوص المُنتَجة آليًا، بما يتجاوز مستوى الطلاقة اللغوية السطحية. فكثيرًا ما تعجز مقاييس المقروئية التقليدية عن الكشف عن البنى المعرفية والدلالية الكامنة التي تحكم فعالية التواصل. ولمعالجة هذه الفجوة المنهجية، تبحث هذه الدراسة في مدى التعقيد اللغوي والحجاجي للنصوص التي تنتجها نماذج الذكاء الاصطناعي. ويتمثل الهدف الرئيس للدراسة في تقييم البنى الدلالية، ومسارات الاستدلال، والملاءمة التداولية، والتنظيم البلاغي، ومقارنتها في المخرجات التي تنتجها نماذج ChatGPT وGemini وClaude عند تناول الموضوعات البيئية. واعتمادًا على تصميم مقارن ذي منهج كمي، تستخدم الدراسة مصفوفة تقييم متكاملة تجمع بين اللسانيات الوظيفية النسقية ونظرية البنية البلاغية. وقد جرى تحليل المدونات النصية ومعالجتها باستخدام برنامج JASP لإجراء تحليل التباين للقياسات المتكررة والمقارنات البعدية. وتكشف النتائج الرئيسة عن وجود فروق ذات دلالة إحصائية في الأداء بين النماذج التوليدية. وعلى وجه التحديد، تحقق النماذج التي توظف مرتكزات تجريبية دقيقة وصياغات استدراكية متقدمة درجات أعلى في التمثيل الفكري وبناء التنظيم البلاغي الهرمي. وفي المقابل، تُظهر المخرجات ذات الطابع العام محدودية في تحقيق التماسك على مستوى الخطاب الكلي. وتؤكد هذه النتائج ضرورة توظيف أطر تقييم تستند إلى أسس لسانية في تقويم النصوص. وتشير الآثار النظرية والتطبيقية للدراسة إلى أن مصفوفة التقييم المقترحة يمكن أن تمثل أداة تشخيصية موثوقة للباحثين والمربين والمطورين، بما يسهم في مواءمة إنتاج المحتوى الآلي مع المعايير التواصلية البشرية.