Icelandic Linguistic Benchmark for LLMs 24.10

Authors: Ármannsson, Bjarki ; Ingimundarson, Finnur Ágúst and Sigurðsson, Einar Freyr

Description: This package contains a benchmarking data set to evaluate the grammatical knowledge and linguistic ability of Large Language Models (LLMs) for Icelandic. It is meant to help LLM developers to improve their model's Icelandic proficiency in a measurable way. The published benchmark set contains 1160 hand-written items spread over 19 subcategories of syntax, morphology and semantics, tested with 5 different methods. We also include a set of translation tasks to test a model's language understanding and grammatical capabilities in producing Icelandic text. See README for further information. Þessi pakki hefur að geyma prófunargögn til að meta málkunnáttu og málfræðilega getu stórra mállíkana fyrir íslensku. Þeim er ætlað að nýtast þeim sem þróa stór mállíkön við að bæta íslenskukunnáttu líkana sinna á mælanlegan hátt. Prófunargögnin samanstanda af 1160 handskrifuðum færslum sem ná yfir nítján undirflokka í setningafræðilegum, orðhlutafræðilegum og merkingarfræðilegum atriðum. Fimm ólíkar prófunaraðferðir eru notaðar við mat á getu líkans. Pakkinn inniheldur einnig þýðingarpróf sem eiga að meta málskilning líkansins og málhæfni við að mynda texta á íslensku. Nánari upplýsingar má finna í README skránni.