A prompted path to training ChatGPT for targeted feedback on B1-level paragraph writing in relation to student uptake
Gespeichert in:
| Titel: | A prompted path to training ChatGPT for targeted feedback on B1-level paragraph writing in relation to student uptake |
|---|---|
| Autoren: | Yıldırımer, Gülçin |
| Weitere Verfasser: | Hatipoğlu, Çiler, Department of English Language Teaching, OpenMETU |
| Verlagsinformationen: | Middle East Technical University, 2025. |
| Publikationsjahr: | 2025 |
| Schlagwörter: | student uptake, ChatGPT, prompt engineering, AI-generated feedback, EFL writing |
| Beschreibung: | Bu çalışma, eğitilmiş ChatGPT’nin B1 düzeyindeki İngilizce öğrenicilerinin paragraflarına verdiği geri bildirimin genel performansını ve öğrencilerin yapay zekâ tarafından üretilen bu geri bildirimi kullanma biçimlerini incelemeyi amaçlamaktadır. ChatGPT 4o, beş aşamalı bir istem mühendisliği süreciyle sistematik olarak eğitilmiş ve öğrenci yazılarındaki hem yerel (dil kullanımı ve yazım kuralları) hem de genel (içerik ve organizasyon) hatalara yönelik yapılandırılmış geri bildirim sunacak şekilde geliştirilmiştir. Çalışma 24 öğrenci ile yapılmıştır. Araştırmanın verileri; öğrenci paragrafları, ChatGPT tarafından verilen geri bildirimler ve sesli düşünme tekniği oturumları aracılığıyla toplanmıştır. Çalışmada, öncelikle eğitilmiş ChatGPT’nin yerel ve genel yazma hatalarını tanımlama ve onlara geri bildirim verme konusundaki performansı, ardından öğrencilerin bu geri bildirimi paragraflarındaki düzeltmeleri yaparken ne ölçüde kullandıkları ve kullanılmayan geri bildirimlerin nedenleri incelenmiştir. Bulgular, ChatGPT’nin B1 seviyesindeki öğrencilerin hem yerel hem de genel hataları için destekleyici ve ölçüt temelli bir şekilde yapılandırılmış geri bildirim sağladığını ve verilen geri bildirimin yüksek oranda doğru olduğunu göstermiştir. Öğrenciler en çok yerel hatalara yönelik geri bildirimden faydalanırken, genel düzeydeki geri bildirimlerden daha sınırlı düzeyde yararlanmışlardır. Ayrıca, sesli düşünme tekniği yoluyla toplanan veriler yapılmayan düzeltmelerin başlıca nedenlerinin “anlama güçlükleri” ve “ChatGPT’nin değerlendirmesiyle anlaşmazlık” olduğunu ortaya koymuştur. Bu araştırma, yapay zeka destekli yazma geri bildiriminin anlaşılmasına katkı sağlamayı ve bu tür geri bildirimin yabancı dil yazma pedagojisine entegrasyonuna yönelik pratik öneriler sunmayı amaçlamaktadır. This study aimed to explore the general performance of trained ChatGPT in providing feedback on B1-level EFL students' paragraph writing and examine students' uptake patterns of AI-generated feedback. ChatGPT 4o was systematically trained through a five-phase prompt engineering process to provide structured feedback on both local and global errors in student paragraphs. Data were collected from 24 participants through student paragraphs, ChatGPT-generated feedback, and think-aloud protocols. The study examined (1) the overall performance of trained ChatGPT in identifying and addressing both local (language use and mechanics) and global (content and organization) writing issues, (2) the extent to which learners utilized this feedback in their revisions, alongside the reasons for unattempted revisions. The findings revealed that the trained ChatGPT consistently provided criteria-based, structured feedback addressing both local and global writing aspects with an appropriate supportive tone for B1 learners. The model also demonstrated high accuracy in feedback provision; however, there were also instances of inaccurate or unidentified feedback. Moreover, students engaged most with feedback provided for local issues, while uptake of global feedback was comparatively limited. In addition, think-aloud protocols identified two primary reasons for unattempted revisions: comprehension difficulties and disagreement with ChatGPT’s assessment. This research aims to contribute to understanding AI-assisted writing feedback and provide practical insights into integrating AI feedback into L2 writing pedagogy. |
| Publikationsart: | Master thesis |
| Dateibeschreibung: | application/pdf |
| Zugangs-URL: | https://hdl.handle.net/11511/115651 |
| Rights: | CC BY NC ND |
| Dokumentencode: | edsair.od......9954..7ca3977968ab9be61735984588bc25fc |
| Datenbank: | OpenAIRE |
Nájsť tento článok vo Web of Science | Abstract: | Bu çalışma, eğitilmiş ChatGPT’nin B1 düzeyindeki İngilizce öğrenicilerinin paragraflarına verdiği geri bildirimin genel performansını ve öğrencilerin yapay zekâ tarafından üretilen bu geri bildirimi kullanma biçimlerini incelemeyi amaçlamaktadır. ChatGPT 4o, beş aşamalı bir istem mühendisliği süreciyle sistematik olarak eğitilmiş ve öğrenci yazılarındaki hem yerel (dil kullanımı ve yazım kuralları) hem de genel (içerik ve organizasyon) hatalara yönelik yapılandırılmış geri bildirim sunacak şekilde geliştirilmiştir. Çalışma 24 öğrenci ile yapılmıştır. Araştırmanın verileri; öğrenci paragrafları, ChatGPT tarafından verilen geri bildirimler ve sesli düşünme tekniği oturumları aracılığıyla toplanmıştır. Çalışmada, öncelikle eğitilmiş ChatGPT’nin yerel ve genel yazma hatalarını tanımlama ve onlara geri bildirim verme konusundaki performansı, ardından öğrencilerin bu geri bildirimi paragraflarındaki düzeltmeleri yaparken ne ölçüde kullandıkları ve kullanılmayan geri bildirimlerin nedenleri incelenmiştir. Bulgular, ChatGPT’nin B1 seviyesindeki öğrencilerin hem yerel hem de genel hataları için destekleyici ve ölçüt temelli bir şekilde yapılandırılmış geri bildirim sağladığını ve verilen geri bildirimin yüksek oranda doğru olduğunu göstermiştir. Öğrenciler en çok yerel hatalara yönelik geri bildirimden faydalanırken, genel düzeydeki geri bildirimlerden daha sınırlı düzeyde yararlanmışlardır. Ayrıca, sesli düşünme tekniği yoluyla toplanan veriler yapılmayan düzeltmelerin başlıca nedenlerinin “anlama güçlükleri” ve “ChatGPT’nin değerlendirmesiyle anlaşmazlık” olduğunu ortaya koymuştur. Bu araştırma, yapay zeka destekli yazma geri bildiriminin anlaşılmasına katkı sağlamayı ve bu tür geri bildirimin yabancı dil yazma pedagojisine entegrasyonuna yönelik pratik öneriler sunmayı amaçlamaktadır.<br />This study aimed to explore the general performance of trained ChatGPT in providing feedback on B1-level EFL students' paragraph writing and examine students' uptake patterns of AI-generated feedback. ChatGPT 4o was systematically trained through a five-phase prompt engineering process to provide structured feedback on both local and global errors in student paragraphs. Data were collected from 24 participants through student paragraphs, ChatGPT-generated feedback, and think-aloud protocols. The study examined (1) the overall performance of trained ChatGPT in identifying and addressing both local (language use and mechanics) and global (content and organization) writing issues, (2) the extent to which learners utilized this feedback in their revisions, alongside the reasons for unattempted revisions. The findings revealed that the trained ChatGPT consistently provided criteria-based, structured feedback addressing both local and global writing aspects with an appropriate supportive tone for B1 learners. The model also demonstrated high accuracy in feedback provision; however, there were also instances of inaccurate or unidentified feedback. Moreover, students engaged most with feedback provided for local issues, while uptake of global feedback was comparatively limited. In addition, think-aloud protocols identified two primary reasons for unattempted revisions: comprehension difficulties and disagreement with ChatGPT’s assessment. This research aims to contribute to understanding AI-assisted writing feedback and provide practical insights into integrating AI feedback into L2 writing pedagogy. |
|---|