Icelandic WinoGrande v1.0

  Authors

Snæbjarnarson, Vésteinn ; et al.show everyone

Snæbjarnarson, Vésteinn ; Símonarson, Haukur Barri ; Ragnarsson, Pétur Orri ; Ingólfsdóttir, Svanhvít Lilja ; Jónsson, Haukur Páll ; Þorsteinsson, Vilhjálmur ; Einarsson, Hafsteinn

  Item identifier

http://hdl.handle.net/20.500.12537/170

 Referenced by

https://arxiv.org/abs/2201.05601

 Date issued

2022-01-17

 Type

corpus, text

 Size

1095 sentences

 Language(s)

Icelandic

 Description

The Icelandic WinoGrande dataset v. 1.0 The WinoGrande dataset (Sakaguchi et al., 2020), used for evaluating common sense capabilities of neural language models, is inspired by the original WinoGrad dataset (Levesque et al., 2012), but its problems are designed to minimize biases which the models may rely on when solving them. We systematically go through the WinoGrande test set (1767 examples) and translate and adapt sentences to work in Icelandic. While the English WinoGrande problems are not always constructed as pairs, in our adaptation, we create sentence pairs where it is feasible. We also found some of the examples to be specific to culture, subjective, or otherwise inapplicable for translation. Those examples were either adjusted or skipped. The result is a dataset of 1095 examples. The size of the Icelandic dataset is closest in size to the small variant of the English dataset (640 examples). Included in the dataset is a five-fold split and a python script that should be used to generate train and development sets. — Íslenska WinoGrande málheildin útg. 1.0 WinoGrande málheildin (Sakaguchi et al., 2020) nýtist við mat á almennum málskilningi mállíkana. Málheildin er innblásin af upphaflegu WinoGrad málheildinni (Leveseque et al., 2012), en sérstaklega hefur verið tekið á verkefnunum til að minnka möguleikann á að hægt sé að leysa þau vegna bjaga í setningunum. Við förum kerfisbundið yfir prófunarhluta WinoGrande málheildarinnar (1767 dæmi), þýðum og staðfærum setningar til að vera gjaldgengar á íslensku. Þótt ensku WinoGrande dæmin séu ekki alltaf sett fram í pörum þá höfum við leitast við að svo sé í íslensku aðlöguninni. Við staðfærðum og aðlögum jafnframt þau dæmi sem vísa sérstaklega í menningarleg atriði. Þeim dæmum sem einhverra hluta vegna þýðast illa yfir í íslensku er sleppt eða var efnislega breytt. Málheildin inniheldur 1095 setningar sem er næst því að vera sambærilegt að stærð og ,,small’’ hluti ensku málheildarinnar (640 dæmi). Við gefum gögnin út í fimm hlutum ásamt skriftu sem skiptir þeim upp í prófunar- og þjálfunargögn.

 Publisher

Miðeind ehf

 Subject(s)

natural language understanding nlu winogrande coreference resolution

 Collection(s)

Clarin IS

Show full item record