Sýna einfalda færslu atriðis
| dc.contributor.author |
Jórunnardóttir, Alfa Magdalena B |
| dc.contributor.author |
Árnason, Stefán Atli |
| dc.contributor.author |
Siggeirsdóttir, Thelma Karen |
| dc.contributor.author |
Ingvarsson Juto, Garðar |
| dc.contributor.author |
Ingólfsdóttir, Svanhvít Lilja |
| dc.contributor.author |
Helgason, Þorvaldur Páll |
| dc.contributor.author |
Óladóttir, Hulda |
| dc.date.accessioned |
2026-11-02T13:16:32Z |
| dc.date.available |
2026-11-02T13:16:32Z |
| dc.date.issued |
2026-09-09 |
| dc.identifier.uri |
http://hdl.handle.net/20.500.12537/412 |
| dc.description |
Idiom completion benchmark is a benchmark for evaluating the capabilities of language models when it comes to Icelandic language and culture. The benchmark is used on the Miðeind leaderboard (stigatafla.is), where examples from the benchmark and further information can be found.
The benchmark contains 753 entries where one word has been removed from a well-known Icelandic idiom. The benchmark involves getting a model to fill in the blank.
The benchmark can be accessed for research purposes by contacting the project contacts or at stigatafla@mideind.is.
Eyðufylling orðatiltækja er mælipróf til að meta færni mállíkana þegar kemur að íslensku máli og menningu. Mæliprófið er notað á stigatöflu Miðeindar (stigatafla.is), þar sem finna má dæmi úr mæliprófinu og frekari upplýsingar.
Í mæliprófinu eru 753 færslur þar sem eitt orð hefur verið fjarlægt úr þekktu íslensku orðatiltæki. Mæliprófið felst í því að fá líkan til að fylla í eyðuna.
Mæliprófið er ekki gefið út opið til að forðast að það endi í þjálfunargögnum líkananna. Hægt er að nálgast mæliprófið til rannsókna með því að hafa samband við tengiliði verkefnis eða á stigatafla@mideind.is. |
| dc.language.iso |
isl |
| dc.publisher |
Miðeind ehf. |
| dc.source.uri |
https://stigatafla.is/ |
| dc.subject |
benchmark |
| dc.title |
Idiom completion benchmark |
| dc.type |
corpus |
| metashare.ResourceInfo#ContentInfo.mediaType |
text |
| has.files |
no |
| branding |
Clarin IS Repository |
| demo.uri |
https://stigatafla.is/ |
| contact.person |
Hulda Óladóttir hulda@mideind.is Miðeind ehf. |
| contact.person |
Alfa Magdalena B Jórunnardóttir amb53@hi.is N/A |
| contact.person |
Stefán Atli Árnason stebbiatliarna@gmail.com N/A |
| contact.person |
Thelma Karen Siggeirsdóttir tks15@hi.is N/A |
| sponsor |
Icelandic Student Innovation Fund 2603-0554 Erfiðari mælipróf fyrir íslensku nationalFunds |
| size.info |
753 entries |
| files.size |
0 |
| files.count |
0 |
Sýna einfalda færslu atriðis
