Flora and fauna benchmark

Authors: Jórunnardóttir, Alfa Magdalena B ; et al.show everyone
Jórunnardóttir, Alfa Magdalena B ; Árnason, Stefán Atli ; Siggeirsdóttir, Thelma Karen ; Ingvarsson Juto, Garðar ; Ingólfsdóttir, Svanhvít Lilja ; Helgason, Þorvaldur Páll ; Óladóttir, Hulda

Description: Flora and fauna benchmark is a benchmark for evaluating the capabilities of language models when it comes to Icelandic language and culture. The benchmark is used on the Miðeind leaderboard (stigatafla.is), where examples from the benchmark and further information can be found. The benchmark contains 1,017 entries, where each entry includes the English and Latin name of an animal or plant species found in Iceland. The benchmark involves getting a model to translate the name into the accepted Icelandic name. The benchmark can be accessed for research purposes by contacting the project contacts or at stigatafla@mideind.is. Flóra og fána er mælipróf til að meta færni mállíkana þegar kemur að íslensku máli og menningu. Mæliprófið er notað á stigatöflu Miðeindar (stigatafla.is), þar sem finna má dæmi úr mæliprófinu og frekari upplýsingar. Í mæliprófinu eru 1.017 færslur þar sem hver færsla inniheldur enskt og latneskt heiti dýra- eða gróðurtegundar sem finnst á Íslandi. Mæliprófið felst í því að fá líkan til að þýða heitið yfir á viðtekin íslensk heiti. Mæliprófið er ekki gefið út opið til að forðast að það endi í þjálfunargögnum líkananna. Hægt er að nálgast mæliprófið til rannsókna með því að hafa samband við tengiliði verkefnis eða á stigatafla@mideind.is.

Partners, Coordination, Funding