"The Difference of Speed" Using a Data Mining System to Model Aspects of Writing Fluency in ESL Students of Huachiew Chalearmprakiet University

Abstract

This research study aimed to develop an optimal metric of writing fluency and determine whether regular practice in semi-structured writing about journal topics could help L2 students at HCU to write more fluently. The study used a data mining software platform called RapidMiner, and applied the statistical method of linear regression. The data collection was from a class of fourth year English-Chinese majors, who were studying Report Writing in English. The pre-test on28 October 2013 required writing two paragraphs about journal topics, chosen from two lists.After the pre-test, the students followed an 8-week program that involved weekly writing about other journal topics from the same two lists. Finally, in the post-test on 6 January 2014, they were given two new lists, which they had not seen previously. The following attributes were obtained from the students’ writing: the speed of writing (words per minute), total length (word count) of both paragraphs, time taken, the number of errors of each type, the error rate per 100 words for each type, the “lexical richness or range” and “FLO1” rating. “FLO1” and “FLO3” wereterms created by the researcher.FLO1 refers to: “The rating of an L2 writer’s writing by an L1 writeri, who uses various attributes to measure that writing’s quality, excluding the attribute of writing speed.” FLO3 is a metric of writing quality that, like FLO1, uses various attributes to measure writing quality. However, unlike FLO1, the attributes used by FLO3 include the actual writing speed. The value of FLO3 in the pre-test and post-test was determined for each student, by following a process of three steps. The first step was using a formula to adjust the word count of those students who wrote for longer than10 minutes. The second step was applying linear regression to refine and develop the model of FLO1. The result of this step was an optimal model of FLO1. The label or target attribute (“FLO1 = x/200”) remained unchanged as the label in the optimal model. Six regular attributes, including “TOTAL LENGTH (word count)” and five different types of errors, were retained in the optimal model. The third step was applying this model to data that had been adjusted to reflect the speed of writing, namely an adjusted word count as explained in the first step. The output of applying the model was predictions of the “label.” These predictions reflected the speed of writing and thus became the values of FLO3.Then the results of the pre-test and post-test were compiled, using the values of the FLO3 predictions calculated by the linear regression operator, the FLO1 ratings (x/200) from the raters, speeds (wpm) and total effects (= error rate multiplied by its regression coefficient) forfive different types of errors. For each attribute, in the pre-and post-test, means were calculated and compared. The following values decreased in the post-test: the class’s average overall error rate, the class’s average total effect for these five error types, and the class’s average FLO1 rating. The following values increased in the post-test: the class’s average writing speed and the class’s average FLO3 rating. Finally, the quartile results were analyzed in order to compare the three metrics. FLO3 was shown to be a more useful metric than both FLO1 and pure speed for assessing the semi-structured writing of the pre- and post-test since it better captured the two most critical aspects of the change in the students’ writing from the pre- to the post-test, namely speed and accuracy.

งานวิจัยนี้มีจุดมุ่งหมายที่จะพัฒนาการวัดผลที่ดีที่สุด สําหรับความคล่องในการเขียนและกําหนดว่าการฝึกเขียนเป็นประจําแบบกึ่งโครงสร้างเกี่ยวกับหัวข้อการเขียนที่กําหนดให้สามารถช่วยผู้เรียนภาษาอังกฤษเป็นภาษาที่สองเขียนได้คล่องขึ้นหรือไม่ งานวิจัยนี้ใช้ข้อมูลที่เป็น Mining software platform ซึ่งมีชื่อเรียกว่า Rapid Miner และประยุกต์สถิติการวิเคราะห์การถดถอยเชิงเส้นผู้วิจัยเก็บข้อมูลจากงานเขียนของนักศึกษาชั้นปีที่ 4 สาขาวิชาภาษาอังกฤษ-ภาษาจีน ที่ลงทะเบียนเรียนในรายวิชาการเขียนรายงาน โดยกําหนดให้นักศึกษาแต่ละคนเขียนย่อหน้าคนละ 2 ย่อหน่า มีการทดสอบก่อนเรียนเมื่อวันที่ 28 ตุลาคม 2556 โดยกําหนดให้เลือกหัวข้อการเขียนที่ผู้วิจัยกําหนดให้หลังจากนั้น 8 สัปดาห์ ผู้เรียนเขียนเรื่องเดิมอีกครั้ง และทดสอบหลังเรียนในวันที่ 6 มกราคม 2557 นักศึกษาได้รับรายชื่อหัวข้อการเขียนใหม่ที่ ไม่เคยฝักเขียนมาก่อนจํานวน 2 หัวข้อ จากงานเขียนของนักศึกษาผู้วิจัยพบความเร็วในการเขียน (คําต่อนาที) ความยาวในการเขียน (จํานวนคํา ) ของทั้ง 2 ย่อหน่า การใช้เวลาในการเขียนข้อผิดที่พบในแต่ละประเภท จํานวนข้อผิดต่อจํานวนคําหนึ่งร้อยคํา การใช้คําศัพท์ที่เพิ่มมากขึ้น และการให้คะแนนจากเจ้าของภาษาในการวัดคุณภาพงานเขียนเพิ่มขึ้น ในงานวิจัยนี้ผู่วิจัยได่กําหนด รหัส FL01 และ FL03 ซึ่ง FL01 หมายความว่าเจ้าของภาษาใช้เกณฑ์ที่หลากหลาย ในการวัดคุณภาพงานเขียนโดยไม่รวมความเร็วในการเขียนส่วน FL03 หมายความว่าเจ้าของภาษาใช้เกณฑ์ที่หลากหลาย ในการวัดคุณภาพงานเขียน โดยรวมความเร็วในการเขียน โดยมีการกําหนดคำ FL03 สําหรับนักศึกษาแต่ละคนใน การทดสอบก่อนเรียนและการทดสอบหลังเรียนตามกระบวนการซึ่ง ประกอบด้วย 3 ขั้นตอนคือ ขั้นตอนแรกเป็นการใช้สูตร เพื่อปรับการนับคํา สําหรับนักศึกษาที่ใช้เวลาในการเขียนเกิน 10 นาทีขั้นตอนที่สองคือ การประยุกต์การวิเคราะห์การถดถอยเชิงเส่น เพื่อนําไปปรับปรุงรูปแบบ ของ FL01 เป็น FL01=X/200 ขั้นตอนที่สามคือ การประยุกต์รูปแบบนี้กับข้อมูลที่มีการปรับเพื่อสะท้อนความเร็วในการเขียนผู้วิจัยได้รวบรวมผลการทดสอบก่อนเรียน และผลการทดสอบหลังเรียนมาวิเคราะห์คํานวณโดยการวิเคราะห์ถดถอยเชิงเส้น นอกจากนี้ผู้วิจัยได้เปรียบเทียบลักษณะข้อผิดที่แตกต่างกัน 5 รูปแบบในการทดสอบก่อนและหลังเรียน ซึ่งพบว่ามีจํานวนลดลงในการทดสอบหลังเรียน ส่วนค่าเฉลี่ยของงานเขียนของนักศึกษาทั้งชั้นเรียนในด้านความเร็ว ในการเขียนเพิ่มขึ้นจะเห็นได้ว่า FL03 เป็นประโยชน์ต่อการประเมินงานเขียน แบบกึ่งโครงสร้างเนื่องจากสามารถระบุลักษณะที่สําคัญสองประการในงานเขียนของนักศึกษาซึ่งก็คือความเร็วและความถูกต้องในการเขียนในการทดสอบทั้งก่อนเรียนและหลังเรียน