Icelandic-English Classification Training Set for Parallel Sentence Alignment Filtering (21.10)

  Authors

Steingrímsson, Steinþór

  Item identifier

http://hdl.handle.net/20.500.12537/152

 Date issued

2021-10-01

 Type

corpus, text

 Size

51000 sentences

 Language(s)

English , Icelandic

 Description

This is a training set for a classifier, using one or more of the following scores to select good quality parallel segments in comparable corpora or for filtering parallel corpora: LASER, LaBSE and WAScore. The package contains 51 thousand sentence pairs in the news domain, of which 1000 are true parallel segments and 50 thousand randomly selected. Þetta er þjáfunarsett fyrir flokkara, sem notar eitt eða fleiri af eftirtöldum skorum til að velja góðar samhliða setningar frá lakara setningum í sambærilegum málheildum, eða til að sía samhliða málheildir: LASER, LaBSE og WAScore. Pakkinn inniheldur 51 þúsund setningapör úr fréttatextum. Af þeim eru 1000 samhliða setningapör en setningarnar í hinum 50 þúsund pörunum eru slembivaldar úr fréttamálheildum.

 Publisher

The Árni Magnússon Institute for Icelandic Studies

 Subject(s)

comparable corpora parallel corpora parallel data machine translation filtering classification labse laser wascore

 Collection(s)

Clarin IS

Show full item record