IceNeuralParsingPipeline 20.04

  Authors

Arnardóttir, Þórunn and Ingason, Anton Karl

  Item identifier

http://hdl.handle.net/20.500.12537/17

 Project URL

https://github.com/antonkarl/iceParsingPipeline

 Date issued

2020-04-22

 Type

toolService

 Language(s)

Icelandic

 Description

 

The Icelandic Neural Parsing Pipeline (IceNeuralParsingPipeline) includes all steps necessary for parsing plain Icelandic text, i.e. preprocessing, parsing and post processing. The preprocessing step consists of tokenization, both punctuation and matrix clause splitting. The parsing step consists of an Icelandic model of the Berkeley Neural Parser, trained on IcePaHC, which reports an 84.74 F1 score. The output's annotation scheme is the same as IcePaHC's, except that neither empty phrases, e.g. traces and zero subjects, nor lemmas are shown. The post processing step includes minor steps for cleaning and formatting the parsed text.

 

Íslenska taugaþáttunarpípan (IceNeuralParsingPipeline) er þáttunarpípa sem inniheldur öll skref sem eru nauðsynleg til að þátta hreinan íslenskan texta, þ.e. skref fyrir forvinnslu, þáttun og eftirvinnslu texta. Forvinnsluskrefið samanstendur af tókun, bæði eftir greinarmerkjum og aðalsetningum. Þáttunarskrefið inniheldur íslenskt líkan af Berkeley-taugaþáttaranum sem var þjálfað á IcePaHC-trjábankanum og skilar 84,74% f-mælingu. Þáttunarskema úttaksins er líkt og skema IcePaHC, en hvorki tómir liðir, þ.e. spor eða núllfrumlög, né uppflettimyndir eru sýndar. Eftirvinnsluskrefið inniheldur minniháttar skref til að hreinsa og breyta sniði þáttaða textans.

 

 Publisher

Háskóli Íslands

 Subject(s)

parsing neural parsing parsing pipelines berkeley neural parser

 Collection(s)

Clarin IS

Show full item record