# Tákngreiningargögn fyrir Íslenskt táknmál (ÍTM)

Þetta gagnasafn tákngreiningargagna fyrir íslenskt táknmál (ÍTM) var búið til árið 2026 af Finni Ágústi Ingimundarsyni (FÁI) í samstarfi við Samskiptamiðstöð heyrnarlausra og heyrnarskertra [SHH](https://island.is/s/shh) og var liður í meistaritgerð hans í máltækni við háskólann í Zürich.

Gagnasafnið var búið til með því að nýta aðgengileg, tvímála orðabókargögn fyrir ÍTM og íslensku, nánar tiltekið gögn úr orðabókarhluta [SignWiki Ísland](https://is.signwiki.org/index.php/Forsíða). Þar hafa gögnin verið birt með Creative Commons leyfi og er notkun þeirra heimil nema í hagnaðarskyni.

SHH útvegaði gögnin til safnsins og þau voru forunnin, yfirfarin og flokkuð. Gögnin voru síðar notuð til að meta tvær opnar hugbúnaðarlausnir fyrir sjálfvirka greiningu á einstökum táknum í ÍTM:

1. [OpenHands](https://github.com/AI4Bharat/OpenHands)
    - Uppfærða og aðlagaða útgáfu fyrir ÍTM-gögnin má nálgast [hér](https://github.com/ZurichNLP/openhands-itm).
2. [SPOTER](https://github.com/maty-bohacek/spoter)
    - Aðlagaða útgáfu sem styður pose-gagnasniðið (og ÍTM-gögnin) má nálgast [hér](https://github.com/ZurichNLP/spoter-pose)

Sjá "Heimildir" neðar í þessu skjali fyrir frekari upplýsingar um ritgerðina og grein, þar sem niðurstöðunum er lýst.

## Innihald

Gögnin eru gefin út á eftirfarandi sniði

**1. Myndbönd:**
    - Myndbönd á MP4-sniði og 30 römmum á sekúndu.
**2. Pósur/Líkamshnit á .pkl-sniði**
    - Þetta snið samræmist því sem notað er í [OpenHands](https://github.com/AI4Bharat/OpenHands)
**3. Pósur/Líkamshnit á [.pose-sniði](https://github.com/sign-language-processing/pose) úr þremur ólíkum líkamshnitametlum (e. pose estimators)**
    - [AlphaPose](https://github.com/MVIG-SJTU/AlphaPose)
    - [MediaPipe](https://github.com/google-ai-edge/mediapipe)
    - [SDPose](https://github.com/T-S-Liang/SDPose-OOD)

Skráarheitin fylgja öll sama kerfi (að skráarendingunum frátöldum) og í JSON-skránum sem fylgja eru öll skráarheiti birt án skráarendinga. 

## Tölfræði um gögnin

### Yfirlit

| | Fjöldi / Lengd |
|---|---|
| Myndbönd | 1,845 |
| Lengd | 1:44:29 |
| Flokkar | 849 |
| Táknarar | 33 |

### Fjöldi dæma í hverjum flokki

| Dæmi | Fjöldi | Hlutfall |
|---|---|---|
| 2 | 732 | 86.22% |
| 3 | 95 | 11.19% |
| 4 | 18 | 2.12% |
| 5 | 2 | 0.24% |
| 6 | 1 | 0.12% |
| 8 | 1 | 0.12% |

### Gagnaskipting

| Skipting | Fjöldi |
|---|---|
| Train | 917 |
| Val | 79 |
| Test | 849 |
| **Total** | 1,845 |

### Gerðir gagnasafnsins

Tvær minni gerðir gagnasafnins eru einnig aðgengilegar:

- **Snyrt**: Flokkar sem hafa þrjú eða fleiri dæmi (117 flokkar)
    - `itm_data_trimmed.json`
- **Minnst**: Flokkar sem hafa fjögur eða fleiri dæmi (22 flokkar)
    - `itm_data_minimal.json`

Jafnvægið er meira í þessum tveimur minni gerðum en fullri gerð gagnasafnsins, þar sem aðeins 79 af 849 flokkum hafa prófunardæmi fyrir þjálfun (e. validation).

## Uppsetning JSON-skránna

**Dæmi um uppsetningu JSON-skránna:**

```json
[
  {
    "word_label": "heild",
    "clean_text": "heild",
    "no_hands": 2,
    "fingerspelled": null,
    "instances": [
        {
            "video_id": "heild_s4_v1",
            "signer_id": 4,
            "status": "Deaf",
            "hand": null,
            "split": "test",
            "duration": 3.33,
            "fps": 30.0
        },
    ]
  }
]
```

## Heimildir

Niðurstöðurnar má finna í eftirfarandi tveimur heimildum:

**1. Meistararitgerð FÁI**

```bibtex
@mastersthesis{ingimundarson-islr-itm,
    author = {Finnur {\'A}g{\'u}st Ingimundarson},
    title = {{Isolated Sign Language Recognition for Icelandic Sign Language (ITM): Experiments in a Low-resource Setting}},
    school = {University of Zurich},
    year = {2026},
    url= {https://doi.org/10.5167/uzh-436015}
}
```

Þýðingu af ágripi ritgerðarinnar á ÍTM má nálgast [hér](https://www.zora.uzh.ch/bitstreams/5395c2be-c8e9-4b29-9d72-ebdbd8a5163f/download)


**2. Grein sem unnin var upp úr ritgerðinni og kynnt var á WLSP, vinnustofu um táknmálstækni á EMNLP 2026:**

```bibtex
@misc{ingimundarson2026isolatedsignlanguagerecognition,
      title={Isolated Sign Language Recognition for Icelandic Sign Language: Experiments in a Low-resource Setting}, 
      author={Finnur Ágúst Ingimundarson and Guðný Björk Þorvaldsdóttir and Mathias Müller and Sarah Ebling},
      year={2026},
      eprint={2609.25862},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2609.25862}
}
```

## Leyfi

Gögnin eru gefin út með CC-BY-NC-leyfi.