Icelandic Linguistic Benchmark for LLMs 24.09

  Authors

Ármannsson, Bjarki ; Ingimundarson, Finnur Ágúst and Sigurðsson, Einar Freyr

  Item identifier

http://hdl.handle.net/20.500.12537/342

 Date issued

2024-09-25

 Type

corpus, text

 Language(s)

Icelandic

 Description

This package contains a benchmarking data set to evaluate the grammatical knowledge and linguistic ability of Large Language Models (LLMs) for Icelandic. It is meant to help LLM developers to improve their model's Icelandic proficiency in a measurable way. The published benchmark set contains 1160 hand-written items spread over 19 subcategories of syntax, morphology and semantics, tested with 5 different methods. We also include a set of translation tasks to test a model's language understanding and grammatical capabilities in producing Icelandic text. See README for further information. Þessi pakki hefur að geyma prófunargögn til að meta málkunnáttu og málfræðilega getu stórra mállíkana fyrir íslensku. Þeim er ætlað að nýtast þeim sem þróa stór mállíkön við að bæta íslenskukunnáttu líkana sinna á mælanlegan hátt. Prófunargögnin samanstanda af 1160 handskrifuðum færslum sem ná yfir nítján undirflokka í setningafræðilegum, orðhlutafræðilegum og merkingarfræðilegum atriðum. Fimm ólíkar prófunaraðferðir eru notaðar við mat á getu líkans. Pakkinn inniheldur einnig þýðingarpróf sem eiga að meta málskilning líkansins og málhæfni við að mynda texta á íslensku. Nánari upplýsingar má finna í README skránni.

 Publisher

The Árni Magnússon Institute for Icelandic Studies

 Acknowledgement

Ministry of Culture and Business Affairs

Project code: Benchmarking data sets for LLMs (G12)

Project name: Language Technology for Icelandic

 Subject(s)

Large Language Models LLMs Linguistic Benchmarks Grammaticality tests Anaphora resolution Word formation Coreference resolution Wug tests Fragment answering Word sense disambiguation

 Collection(s)

Clarin IS

Show full item record