ModiKo

Sprechen – Schreiben – Visualisieren. Formen, Funktionen und Störungen von Modalitätsinterdependenzen und Konzeptgenesen in professionellen Interaktionssituationen

Professionelle mündliche Interaktionsereignisse weisen häufig Modalitätsinterdependenzen (MID) auf, d.h. Kombinationen von Modalitäten wie Sprechen, Schreiben, Visualisieren. MID wurden bislang erst in Teilen untersucht. Es fehlen Ansätze, Methoden und Tools für die systematische Beschreibung und Analyse ihrer Formen und Funktionen. Ihre Entwicklung ist Gegenstand des DFG-Projektes, das in Kooperation mit dem IDS Mannheim durchgeführt wird. Den Fokus bilden MID in professionellen situationsübergreifenden Interaktionen (industrielle Prozessmodellierung), die kooperative Konzeptgenesen aufweisen. Gegenstand der Toolentwicklung ist ein Annotationstool für heterogene Datenbestände (Text, Scan, Audio), das es erlaubt, verschiedene Datenformate (.txt, .jpg, .mpg) über mehrere Ebenen zu annotieren, Annotationen datenformatübergreifend in Bezug zu setzen und darzustellen.


 

Publikationen

In Vorbereitung

  • Trevisan, Bianka/Reimer, Eva/Ullrich, Anna Valentine/Jakobs, Eva-Maria: Mehrebenen-Annotation multimodaler Daten.

2016

  • Trevisan, Bianka/Reimer, Eva/Digmayer, Claas/Ullrich, Anna Valentine/Jakobs, Eva-Maria (2016): Digital Humanities und Linguistik: Herausforderungen und ihre Potentiale am Beispiel der Annotation multimodaler Daten. In: Konferenzabstracts der 3. Tagung des Verbands Digital Humanities im deutschsprachigen Raum e.V. (DHd 2016), 07.03.-12.03.2016, Leipzig (D): 382-385.
  • Ullrich, Anna Valentine/Jakobs, Eva-Maria/Eraßme, Denise (2016): „ich schreib das mal hier rein ähm“. Modality-taking – Schreibhinweise in professionellen mündlichen Interaktionssituationen. In: Glottotheory 7 (1), 67-88

2015

  • Eraßme, Denise/Trevsian, Bianka/Reimer, Eva/Jakobs, Eva-Maria (2015): Kooperative Konzeptgenesen in professionellen Interaktionen. Posterbeitrag in: Journal of Multimodal Communication Studies, 1-2, 2015.
  • Reimer, Eva/Trevisan, Bianka/Eraßme, Denise/Schmidt, Thomas/Jakobs, Eva-Maria (2015): Annotating Modality Interdependencies. In: Proceedings of the Int. Conference of the German Society of Computational Linguistics and Language Technology, 30.09.-02.10.2015, University of Duisburg-Essen: 110-111.
Förderer
DFG

Fördersumme: 352.584 Euro (Aachen)

Laufzeit: 01.04.2014 - 31.03.2017

Ansprechpartner: Dr. phil. Anna Valentine Ullrich

RWTH Aachen