Idiom meaning benchmark

  Authors

Jórunnardóttir, Alfa Magdalena B ; et al.show everyone

Jórunnardóttir, Alfa Magdalena B ; Árnason, Stefán Atli ; Siggeirsdóttir, Thelma Karen ; Ingvarsson Juto, Garðar ; Ingólfsdóttir, Svanhvít Lilja ; Helgason, Þorvaldur Páll ; Óladóttir, Hulda

  Item identifier

http://hdl.handle.net/20.500.12537/411

 Demo URL

https://stigatafla.is/

 Date issued

2026-09-09

 Type

corpus, text

 Size

784 entries

 Language(s)

Icelandic

 Description

Idiom meaning benchmark is a benchmark for evaluating the capabilities of language models when it comes to Icelandic language and culture. The benchmark is used on the Miðeind leaderboard (stigatafla.is), where examples from the benchmark and further information can be found. The benchmark contains 784 entries with an Icelandic idiom. The benchmark involves getting a model to explain in one sentence what the idiom means. The benchmark can be accessed for research purposes by contacting the project contacts or at stigatafla@mideind.is. Útskýring merkingar orðatiltækja er mælipróf til að meta færni mállíkana þegar kemur að íslensku máli og menningu. Mæliprófið er notað á stigatöflu Miðeindar (stigatafla.is), þar sem finna má dæmi úr mæliprófinu og frekari upplýsingar. Í mæliprófinu eru 784 færslur með íslensku orðatiltæki. Mæliprófið felst í því að fá líkan til að útskýra í einni setningu hvað orðatiltækið merkir. Mæliprófið er ekki gefið út opið til að forðast að það endi í þjálfunargögnum líkananna. Hægt er að nálgast mæliprófið til rannsókna með því að hafa samband við tengiliði verkefnis eða á stigatafla@mideind.is.

 Publisher

Miðeind ehf.

 Acknowledgement

Icelandic Student Innovation Fund

Project code: 2603-0554

Project name: Erfiðari mælipróf fyrir íslensku

 Subject(s)

benchmark

 Collection(s)

Clarin IS

Sýna fulla færslu atriðis