Grammatical Error Correction Test Set

  Authors

Símonarson, Haukur Barri ; et al.show everyone

Símonarson, Haukur Barri ; Ingólfsdóttir, Svanhvít Lilja ; Arnardóttir, Þórunn ; Guðmundsdóttir, Dagbjört ; Georgsdóttir, Ella María ; Friðjónsdóttir, Guðrún Lilja

  Item identifier

http://hdl.handle.net/20.500.12537/320

 Date issued

2023-12-31

 Type

corpus, text

 Size

377949 words

 Language(s)

Icelandic

 Description

The Grammatical Error Correction Test Set contains test data for spell and grammar checking with a focus on semantic analysis. The test data is divided into three different formats, type 1, 2 and 3. For every original file corrected, three files are included in the test data when possible: _original, _corrected and _metadata. The original and metadata files are always .txt files, but the format of the corrected file differs between types. Texts corrected are from the News2 subcorpus of the Icelandic Gigaword Corpus (http://hdl.handle.net/20.500.12537/238) and the Icelandic Common Crawl Corpus (IC3) (https://huggingface.co/datasets/mideind/icelandic-common-crawl-corpus-IC3). The News2 corpus is published under an IGC-Corpus License, which does not allow third-party publishing, so original texts corrected are not published. Titles of the original corpus files are provided for every IGC text in the test data along with a script which fetches and prints out the original IGC text with relevant corrections in the test data. Original texts from IC3 are published as part of this data. Each type serves a different purpose in evaluating a spell and grammar checking system. Type 1, with span marking, can be used to evaluate how well a model detects spans which may contain errors. This can be used for evaluating error detection accuracy, i.e. grammatical error detection, and general error-finding capabilities of large language models. Type 2, with errors marked and corrected, can be used to evaluate grammatical error detection and correction, i.e. both error detection and error correction accuracy. This data can be used to calculate automatic evaluation scores, such as GLEU. Type 3, with errors marked and corrected, enables the computation of error detection and error correction accuracy. This type has the additional information of an explanation to a correction and a severity score, which can be used when training and evaluating future large language models. Texts in the test set focus on the following error categories: - Idiomatic expressions. - Frequent errors, e.g. word space errors, punctuation, capitalization and wrong prepositions used. - Context in the text, e.g. consistent choice of words or correct personal pronouns used throughout the text. - Errors relating to cohesion or coherence. - Semantic analysis, i.e. errors that depend on meaning. Size Type 1: - IC3 texts are 160 and original files consist of 74,308 words. - IGC-News2 texts are 189 and original files consist of 122,989 words. Type 2: - IC3 texts are 98 and original files consist of 47,872 words. - IGC-News2 texts are 257 and original files consist of 101,325 words. Type 3: - IC3 files are 131 and original files consist of 31,455 words. For more information, see the README file attached to the resource. Prófunarmengi fyrir textaleiðréttingar inniheldur prófunargögn fyrir stafsetningar- og málfræðileiðréttingu með áherslu á merkingargreiningu. Prófunarmenginu er skipt eftir þremur mismunandi sniðum: tegund 1, 2 og 3. Fyrir hvert upprunalegt skjal sem er leiðrétt fylgja þrjár skrár þegar hægt er: „_original“, „_corrected“ og „_metadata“. Upprunalega skjalið og lýsigagnaskjal eru alltaf .txt-skrár en snið leiðréttu skráarinnar er mismunandi eftir tegundum. Leiðréttir textar eru fengnir úr News2-undirmálheild Risamálheildarinnar (http://hdl.handle.net/20.500.12537/238) og úr íslensku Common Crawl-málheildinni (IC3) (https://huggingface.co/datasets/mideind/icelandic-common-crawl-corpus-IC3). News2-málheildin er gefin út undir IGC-Corpus-leyfi sem leyfir ekki endurútgáfu gagnanna þannig að upprunalegir textar málheildarinnar eru ekki gefnir út hér. Heiti upprunalegra skráa í málheildinni eru gefin fyrir hvern texta í prófunarmenginu sem fenginn er úr Risamálheildinni ásamt skriftu sem sækir og prentar út upprunalegan texta Risamálheildarinnar með leiðréttingum úr prófunargögnunum. Upprunalegir textar fengnir úr IC3 eru gefnir út með prófunarmenginu. Hver tegund af gögnum þjónar mismunandi tilgangi við mat á stafsetningar- og málfræðileiðréttingu. Í tegund 1 eru spannir merktar og þau gögn geta því verið notuð til þess að meta hversu vel líkan finnur spannir sem geta innihaldið villur. Gögnin má nota til þess að reikna út nákvæmni villuuppgötvunar líkans en einnig til að meta almenna getu risamállíkana í að finna mögulegar villur í texta. Í tegund 2 eru villur merktar og leiðréttar og þau gögn geta því verið notuð til þess að meta hversu gott líkan er í að bæði finna og leiðrétta villur. Þessi gögn er hægt að nota til þess að reikna út sjálfvirk matsskor eins og GLEU. Tegund 3 gerir útreikning á villuuppgötvun og villuleiðréttingu mögulegan. Þessi tegund inniheldur einnig útskýringar á leiðréttingum og alvarleikaskor, sem má nota bæði til þess að þjálfa og meta risamállíkön framtíðarinnar. Textar prófunarmengisins einblína á eftirfarandi villuflokka: - Föst orðasambönd. - Algeng málfarsatriði. - Samhengi í skjali. - Villur í samloðun/samfellu. - Merkingargreining. Umfang Tegund 1: - IC3-textar eru 160 talsins og upprunalegar skrár innihalda 74.308 orð. - News2-textar eru 189 talsins og upprunalegar skrár innihalda 122.989 orð. Tegund 2: - IC3-textar eru 98 talsins og upprunalegar skrár innihalda 47.872 orð. - News2-textar eru 257 talsins og upprunalegar skrár innihalda 101.325 orð. Tegund 3: - IC3-textar eru 131 talsins og upprunalegar skrár innihalda 31.455 orð. Frekari upplýsingar má finna í README-skránni sem fylgir gögnunum.

 Publisher

University of Iceland

 Acknowledgement

Ministry of Education, Science and Culture (Mennta- og menningamálaráðuneytið)

Project code: Semantic analysis for spell and grammar checking (L13)

Project name: Language Technology for Icelandic 2019-2023

 Subject(s)

test set grammatical error correction semantic analysis spelling errors grammar errors

 Collection(s)

Clarin IS

Show full item record