Icelandic Gigaword Corpus 1 (IGC1) - version 2 (2018)

  Authors

Steingrímsson, Steinþór and Barkarson, Starkaður

  Item identifier

http://hdl.handle.net/20.500.12537/88

 Project URL

http://igc.arnastofnun.is

 Demo URL

https://malheildir.arnastofnun.is

 Referenced by

https://www.aclweb.org/anthology/L18-1690/

 Date issued

2020-01-29

 Type

corpus, text

 Size

799180517 words, 884656949 tokens

 Language(s)

Icelandic

 Description

The Icelandic Gigaword corpus (IGC) is a tagged and lemmatized corpus. Version 2 (2018) consists of approximately 1,400 million running words of text (punctation marks not included). Each running word is accompanied by a morphosyntactic tag and lemma and each text is accompanied by bibliographic information. The corpus is intended for linguistic research and for use in Language Technology projects. The latest texts in this version are from 2018. To enable the use of the corpus in Language Technology projects it is considered important to secure copyright clearance for the texts to be used. Originally the idea was to secure permission from copyright owners to give access to the texts with Creative Commons licenses. All copyright holders could not agree to those terms. The corpus is therefore divided into two parts, IGC1 and IGC2. IGC1 contains texts that can be used with a special license developed for the Tagged Icelandic Corpus (MIM). IGC2 contains official texts and texts that can be used with a CC BY license. All copyright holders have agreed that their material may be used free of licensing charges. Copyright owners that did not accept the CC BY license signed a special declaration developed for the Tagged Icelandic Corpus with necessary amendments for the IGC1. Size of IGC1 is: 799,180,517 (Custom license). Size of IGC2 is: 595,251,597 (CC BY 4.0). ------ Risamálheildin er mörkuð og lemmuð málheild. Í útgáfu 2 (2018) eru um 1.400 milljónir lesmálsorða (greinarmerki ekki meðtalin) í textum sem eru geymdir í stöðluðu sniði í rafrænu formi. Orð í textunum eru greind málfræðilega og hverjum texta fylgja bókfræðilegar upplýsingar um verkið sem textinn er úr. Málheildin er ætluð fyrir málrannsóknir og til notkunar í máltækniverkefnum. Nýjustu textarnir í þessari útgáfu eru frá árinu 2018. Til þess að unnt sé að nota málheildina í máltækniverkefnum er lögð áhersla á að afla leyfa frá rétthöfum fyrir notkun textanna. Upphaflega var miðað við að afla leyfa frá rétthöfum til þess að veita aðgang að textunum með leyfi sem samtökin Creative Commons hafa skilgreint. Ekki gátu allir rétthafar samþykkt þá skilmála. Textum málheildarinnar er því skipt í tvo hluta, RMH1 og RMH2. Í RMH1 eru textar sem veittur er aðgangur að með sérstöku leyfi sem byggist á leyfi sem var útbúið fyrir texta Markaðrar íslenskrar málheildar (MÍM). Í RMH2 eru opinberir textar og textar sem leyfður er aðgangur að með CC BY leyfi . Allir rétthafar hafa samþykkt að veita afnotarétt af textum sínum án þess að greiðsla komi fyrir. Þegar Mörkuð íslensk málheild var gerð var útbúin sérstök samþykkisyfirlýsing með aðstoð lögfræðings sem var notuð með nauðsynlegum breytingum við gerð RMH og rétthafar sem samþykktu ekki CC BY leyfið undirrituðu. Stærð RMH 1: 799,180,517 (MÍM leyfi) Stærð RMH 2: 595.251.597 (CC BY 4.0).

 Publisher

The Árni Magnússon Institute for Icelandic Studies

 Subject(s)

text corpus gigaword corpus lemmatized pos-tagged tei

 Collection(s)

Clarin IS

 

This item is replaced by a newer submission:

http://hdl.handle.net/20.500.12537/41

List all versions  

Sýna fulla færslu atriðis