Marc Kupietz & Beata Trawiński

Neue Perspektiven für kontrastive Korpuslinguistik: Das Europäische Referenzkorpus EuReCo

IVG-Kongress, Sektion C11: Kontrastive Korpuslinguistik, Palermo, 2021-07-26

Ziele des Vortrags sind …

• die Anforderungen an Sprachkorpora für die kontrastive Linguistik (und den Sprachvergleich generell) aufzuzeigen

• auf Problematiken der vorhandenen Lösungen und Ressourcen hinzuweisen

• neue Perspektiven zu skizzieren, die das Europäische Referenzkorpus EuReCo für kontrastive Korpuslinguistik eröffnet

Hintergrund

• große Bedeutung von Korpora für die linguistische Forschung, sowohl im einzelsprachlichen als auch sprachübergreifenden Kontext

• die Anzahl der linguistischen Studien, die auf Korpusdaten basieren, steigt

• die Anzahl (und die Größe) von Korpora wächst

• der Linguist steht oft vor der Wahl zwischen mehreren unterschiedlichen Korpustypen

• verschiedene Optionen für die sprachübergreifende Forschung →

Korpora für den Sprachvergleich

Korpora für den Sprachvergleich

Einsprachige Korpora

• Texte in nur einer Sprache

• in der Regel originalsprachig, daher von hoher Qualität

• seit den 1960er-Jahren ( DeReKo seit 1964)

• Beispiele für große nationale Referenzkorpora:

  • DeReKo , ANC, BNC, CNC, NKJP, RNC, HNC, CoRoLa ...

• in der Regel linguistisch annotiert (sprachspezifisch)

Einsprachige Korpora

in sprachvergleichender Forschung

• als Belegquelle, auch für quantitative Untersuchungen, z. B.

  • Augustin (2017): Verschmelzung von Präposition und Artikel im Deutschen ( DeReKo ) und Italienischen (CORIS: Corpus di italiano scritto, PAISÀ-Korpus)

  • Taborek (2018, 2020): Funktionsverbgefüge im Deutschen ( DeReKo ) und Polnischen (NKJP)

• GDE-N: DeReKo , BNC, COCA, GloWBe, FRANTEXT, ABU, NKJP, HNC (Gunkel et al. 2017)

• GDE-V: einsprachige Korpora für einzelne Fallstudien

Methodische Frage

• Inwiefern sind einzelsprachliche Ergebnisse kontrastiver Studien, die monolinguale Korpora heranziehen, vergleichbar?

  • Die Ergebnisse sind auf einer Metaebene (theoretischer Ebene / Ebene der Generalisierungen) vergleichbar.

  • Auf der empirischen Ebene (Datenebene) sind sie weniger vergleichbar.

  • Grund: Diversität von monolingualen Korpora

Beispiel: Die einsprachigen Korpora in der Studie

… zum DE, SW, NL – Hartmann/Mucha/Trawiński/Wöllstein (im Erscheinen)

Zusammenfassung: Einsprachige Korpora

• geringe Übereinstimmung bezüglich der Größe, Texttypen, Themen etc. (auch morphosyntaktischer Annotation)

• 

• jedoch hohe sprachliche Qualität

• 
  

  

Parallele Korpora

• Parallelkorpora bestehen aus Originaltexten in einer Sprache (Quellsprache) und ihren Übersetzungen in anderen Sprachen (Zielsprachen)

• Texte in allen Sprachen auf Satzebene aligniert

• teilweise linguistisch annotiert (sprachspezifisches PoS-Tagging)

• seit den 1990er-Jahren

Große mehrsprachige Parallelkorpora

Vorteile von Parallelkorpora

• Paralleldaten: Sequenzen von sprachlichen Einheiten (Wörter, Sätze) in zwei oder mehreren Sprachen,

  • die Übersetzungsäquivalente voneinander sind und als solche die gleiche Bedeutung transportieren

  • in den gleichen Kontexten verwendet werden

  • in den gleichen Texttypen aus den gleichen Zeiträumen etc. vorkommen

• perfekte Grundlage für die Ermittlung der funktionalen Äquivalenz zwischen sprachlichen Strukturen (James 1980, Chesterman 1998) → tertium comparationis

• Einblicke in sprachübergreifende Ähnlichkeiten und Unterschiede, die bei der Arbeit mit einsprachigen Korpora übersehen werden könnten

Linguistische Arbeiten

kontrastiv, sprachtypologisch, translatorisch

• Johansson (2007), Altenberg und Granger (2002), Granger (2010), Languages in Contrast (International Journal for Contrastive Linguistics) etc.

• Cysouw und Wälchli (2007) etc.

• Granger et al. (2003) etc.

Probleme mit Parallelkorpora

• relativ geringe Größe

  • je mehr Sprachen, desto kleiner und weniger differenziert ist das Korpus

• unausgewogen in Bezug auf Originaltexte und Übersetzungen

• spezifische Eigenschaften von Übersetzungen (ein dritter Code)

Beispiel: Die Paralleldaten in der Studie

… zum Imperativ im DE, EN, PL, CZ – Trawiński (2016a, b)

Merkmale von Übersetzungen: Laviosa (1998)

• relativ geringer Anteil von lexikalischen Wörter gegenüber Funktionswörtern

• relativ hoher Anteil von hochfrequenten Wörtern gegenüber niedrigfrequenten Wörtern

• häufige Wiederholung von häufigsten Wörtern

• niedrige Varietät bei häufigsten Wörtern

Merkmale von Übersetzungen: Backer (1995)

• Vereinfachung

  • Übersetzungen neigen dazu, eine einfachere Sprache zu verwenden

• Verdeutlichung

  • Übersetzungen zeigen die Tendenz, Dinge zu verdeutlichen

• Normalisierung

  • Übersetzungen neigen dazu, typische Mustern der Zielsprache zu verfolgen und diese dadurch übermäßig zu gebrauchen

Merkmale von Übersetzungen: Teich (2003)

• shining-through (Übersetzungen lassen die Quellsprache durchscheinen)

• Normalisierung (Übersetzungen gehorchen der zielsprachigen Norm mehr als vergleichbare zielsprachige Originaltexte)

• Fallstudien für das Sprachenpaar Deutsch-Englisch: Passiv, Transitivität etc.

Zusammenfassung: Parallele Korpora

• hohe Vergleichbarkeit in Bezug auf Größe und Inhalt (aber nicht in Bezug auf morphosyntaktische Annotation)

  • 

• geringere Qualität des linguistischen Materials

  • 

Bedarf an vergleichbaren Korpora

• monolinguale und parallele Korpora allein eignen sich nicht für feiner granulare linguistische Forschung

  • da es ihnen entweder an Vergleichbarkeit oder an linguistischer Qualität mangelt

• mögliche Abhilfe:

  • Kombination aus parallelen und einsprachigen Korpora verwenden

  • Nachteile:

    • (quantitative) Befunde nicht unmittelbar einschätzbar

    • datengeleitete Modelle u. U. irreführend

• Desiderat: vergleichbare Korpora hoher Qualität
  

  

Vergleichbare Korpora

Definition (McEnery & Xiao 2007)

• »a comparable corpus can be defined as a corpus containing components that are collected using the same sampling frame and similar balance and representativeness […], e.g. the same proportions of the texts of the same genres in the same domains in a range of different languages in the same sampling period«

• frühes prominentes Beispiel:

  • International Corpus of English (ICE) (Greenbaum 1991)

Praktische Vergleichbarkeit

ebenfalls relevant

• durch reichhaltige Metadaten

  • deren Kategorien aufeinander abbildbar sein sollten

• durch linguistische Annotationen

  • die idealerweise auch aufeinander abbildbar sein sollten
    ➞ Universal Dependencies

• durch entsprechende Recherche-Tools

  • die alle diese Möglichkeiten nutzbar machen

Gibt es vergleichbare Korpora?

… mit breitem Abdeckungspektrum, die auch Deutsch beinhalten?

• in Zukunft:

  • International Comparable Corpus (ICC)
    (Kirk et al. 2017, Čermáková et al. 2021)

  • 2017 gestartet Initiative mit IDS-Beteiligung

  • Ziel: Aufbau vieler kleiner Korpora mit kontrollierter Zusammensetzung nach dem Vorbild des ICE

• derzeit nur Webkorpora:

  • Aranea - Familie vergleichbarer Gigaword-Webkorpora (Benko 2014)

Aranea im Einsatz

mit der NoSketch-Engine

Aranea

Familie vergleichbarer Gigaword-Webkorpora (Benko 2014)

• enthält mehr als 20 Sprachen

• große Korpora kontrollierter Größe:
  120M und 1.2G Wörter

• Nachteil:

  • die Vergleichbarkeit der Zusammensetzung ist nicht kontrolliert
    

    

  • und kann nicht leicht kontrolliert werden, da Texten aus dem Web notorisch die erforderlichen Metadaten fehlen

• die Verfügbarkeit vergleichbarer Universa-Korpora, die auch Deutsch enthalten, ist nicht ideal.

EuReCo - European Reference Corpus

• 2013 vom IDS und den Akademien in Polen, Rumänien und Ungarn gegründete offene Initiative

• Pilotprojekte (Humboldt-Institutspartnerschaften):

  • DRuKoLA: Rumänisch-Deutsch (2016-2018): CoRoLa (Tufiş et al. 2019)

  • DeutUng: Ungarisch-Deutsch (2017-2021): HNC (Váradi 2002)

• EuReCo -Kern: 2 zugrundeliegende Ideen bzw. Annahmen

1. Dedizierte Vergleichskorpora ökon. unpraktikabel

• selbst einsprachige Universalkorpora sind oft nicht realisierbar

  • oder werden nicht dauerhaft gepflegt / erweitert

• mehrsprachige dedizierte Vergleichskorporpora würden die ohnehin unrealistischen Kosten vervielfachen

• dedizierte Vergleichskorpora können nicht von Grund auf neu aufgebaut und dauerhaft gepflegt werden

Vergleichskorpora auf Basis vorhandener Korpora!

EuReCo's Ansatz

• es existieren einige National/Referenzkorpora für Sprachen in Europa

  • BNC, CNC, CoRoLa, DeReKo , HNC, NKJP, …

• diese werden z. T. gepflegt und erweitert

  • oder es gibt zumindest eine nachhaltige Institution, die sich verantwortlich fühlt

• lieber vorhandene Korpora benutzen als neue aufbauen

Erwartete Vorteile des EuReCo-Ansatzes

• ökonomischer, skalierbarer und nachhaltiger

  • zumal man auch von laufenden und zukünftigen Erweiterungen und Verbesserungen dieser Korpora profitieren kann

• hohe linguistische Qualität und ausreichende Größe bei Nationalkorpora zu erwarten

• 

2. Allgemeine Vergleichbarkeit ist nicht erreichbar

• Korpora können bei sinnvoller Größe und Streuung nicht allgemein perfekt vergleichbar sein

  • es wird sich immer ein Kriterium geben, anhand dessen die Korpora nicht vergleichbar sind

  • ob eine Ungleichverteilung bzgl. einer Variable relevant ist, hängt von der spezifischen Fragestellung ab

• allgemein vergleichbare Korpora sind kein sinnvolles Ziel

• bei einigen Fragestellungen ist Vergleichbarkeit nicht relevant

  • stattdessen oft: Größe

2b. Allgemeine Repräsentativität ist nicht möglich

• wichtiger: einzelsprachliche Korpora können nicht allgemein repräsentativ sein

  • da Grundgesamtheit=Sprache nicht allgemein definierbar ist

  • ob ein Korpus ausreichend repräsentativ ist, hängt von Fragestellung und Sprachdomäne ab

• allgemein vergleichbare und jeweils repräsentative Korpora sind keine sinnvolle Zielsetzung

EuReCo: dynamisch definierbare, virt. Vergleichskorpora!

in Analogie zu DeReKo's Urstichproben-Ansatz (Kupietz 2016)

• sind EuReCo -Nutzer*innen dazu eingeladen …

• vordefinierte (Vergleichs-)korpora zu verwenden oder

• sich selbst bzgl. der jeweiligen Fragestellung
  geeignet repräsentative und vergleichbare Korpora
  zu definieren

Grundlegender Ansatz

(Cosma et al. 2016) vgl. McEnery & Xiao (2007)

• man zieht Sub-Korpora aus den einsprachigen Korpora

• so dass diese bzgl. Metadaten-Variablen wie:

  • Themenbereich

  • Texttyp

  • Veröffentlichungsdatum

  • …

• möglichst ähnliche Text-/Tokenverteilungen aufweisen

Verfeinerung: Iterativ (und fragestellungsspezifisch)

zur schrittweisen Annäherung an ausreichende Vergleichbarkeit

1. man beginnt wie beschrieben

2. führt vergleichende Fallstudien durch

3. falls die Befunde Artefakte von Vergleichbarkeitskriterien zu sein scheinen, verfeinert man die Abbildung und mit 2 neu beginnen

4. 

Grundsätzlich mit KorAP-VC-Builder möglich

aufgrund fehlender Downsamplingfunktion aber noch nicht praktikabel

Erstes Rumänisch-Deutsches EuReCO-Vergleichskorpus

Kupietz et al. 2020

• kontrollierte Variable: thematische Domäne

• für das Rumänische: CoRoLa komplett

• für das Deutsche:

  • Zufallsstichprobe aus DeReKo

  • mit gleicher Text/Token-Verteilung zu thematischen Domänen
    wie CoRoLa

  • aktuelle Version über KorAP abfragbar

Thematische Zusammensetzung des Korpus

(nach oberster Ebene der DeReKo-Taxonomie)

Zusammensetzung nach Veröffentlichungsjahr

DeReKo/Deutsch-Anteil: nicht kontrolliertes Ergebnis der Stichprobenziehung

Vergleichskorpus mit KorAP verwendbar

➞ KorAP auf DRuKoLa-VC – ➞ KorAP auf CoRoLa: https://korap.racai.ro/

Auch HNC teilweise über KorAP abfragbar

https://korap.nlp.nytud.hu/

Exemplarische Vergleichsstudien

z.B. zu Korrelaten (Molnar 2015, Hartmann et al. 2017, Kupietz et al 2020)

Vergleich von syntagmatischen Mustern

und Verwendungskontexten: Deutsch-Rumänisch

• anhand von Kookkurrenzanalysen (Taborek 2018, 2020)

• z. B. zu Funktionsverbgefügen

  • in Abhängigkeit von textexternen Variablen

• gleichzeitig dabei auch:

  • Untersuchung von »Vergleichbarkeit«

  • Erweiterung der KorAP-Unterstützung

  • ggf. Weiterentwicklung der Methodik zu syntagm. Mustern (Belica & Perkuhn 2015) ➞ Abhängigkeit von textexternen Variablen

Kokkurrenzanalyse mit KorAP's R-Bibliothek

noch nicht im UI unterstützt, aber mit R-Bibliothek (Kupietz et al. 2020b) sehr flexibel

library(RKorAPClient)
source("demo/ca.R")
corola <- new("KorAPConnection", KorAPUrl = "https://korap.racai.ro/")
dereko <- new("KorAPConnection", verbose = T)
vc_drukola <- "referTo drukola.20180909.1b_words"
 
in_NN_setzen <- collocationAnalysis(
  dereko,
  node = "focus(in [tt/p=NN] {[tt/l=setzen]})",
  vc = vc_drukola,
  leftContextSize = 1, # bezieht sich auf {} in focus()
  rightContextSize = 0
)
 
pune_in_NN <- collocationAnalysis(
  corola,
  node = "focus({[drukola/l=pune] în} [drukola/p=noun])",
  leftContextSize = 0,
  rightContextSize = 1
)
 
 

Beispiel-FVG-Vergleich Rumänisch-Deutsch

➞ Kohäsionsstärken stark abhängig von Domäne

Kollokatrangfolgen zu »pune în …« in Domäne = / ≠ Recht: ϱ(N=39) << 0,58

Eine vorläufige Erkenntnis

• beim Vergleich syntagmatischer Muster spielt die Korpus-Zusammensetzung selbst eine größere Rolle als die Vergleichbarkeit

• leicht andere Situation als im Varietätenvergleich (vgl. Heid 2011)

Zusammenfassung

• wir brauchen Korpora für den Sprachvergleich

• je nach Fragestellung sind parallele, einsprachige, vergleichbare Korpora oder eine Kombination aus diesen geeignet

• großes, übergreifendes Ziel:

  • 

• EuReCo bietet einen realistischen Lösungsansatz

  • durch die virtuelle Vereinigung bestehender großer Korpora

  • nutzer-definierte, dynamische Konstruktion vergleichbarer Korpora

Geplante nächste EuReCo-Schritte

• vollständige HNC-Integration (bis Ende 2021)

• ICC-Integration

• Integration weiterer großer Korpora

  • NKJP anvisiert!

• KorAP-Weiterentwicklung

Vergleichbarkeit?

• ob Korpora ausreichend vergleichbar sind, kann nicht allgemein entschieden werden, sondern ist u.a. von der Fragestellung abhängig

• dynamisch definierbare virtuelle Vergleichskorpora, sind dazu ein guter Lösungsansatz

  • zumal dabei auch die Zusammensetzung insgesamt anpassen kann

• wichtig ist vor allem auch die tatsächliche Vergleichbarkeit mithilfe eines (einheitlichen) Werkzeugs und (abbildbaren) Metadaten und Annotationen

Referenzen

Mehrsprachige Korpora

Es ist oft gesagt worden, dass wir durch Korpora Muster in der Sprache beobachten können, die wir vorher nicht kannten (...) Meine Behauptung ist, dass dies insbesondere für mehrsprachige Korpora gilt. Wir können sehen, wie sich Sprachen unterscheiden, was sie gemeinsam haben und - vielleicht irgendwann - was Sprache im Allgemeinen charakterisiert.

Johansson (2007)

Fallstudie:

(Nicht-)finite Komplementierung und Kontrolle

• vergleichende Studie: Deutsch-Schwedisch-Niederländisch

  • Hartmann/Mucha/Trawiński/Wöllstein (in Vorbereitung)

  • Ausgangsbasis: Wöllstein (2015), Brandt/Trawiński/Wöllstein (2016), Brand (2019)

• Gegenstand:

  • Strukturen mit Verben, die propositionale / verbhaltige finite und nicht-finite Komplemente selegieren

• Fragestellung:

  • Gibt es eine Korrelation zwischen Präferenzen für (nicht-)finite Komplementierung und Kontrollverhältnissen?

Fallstudie: Hintergrundannahmen

• Referentielle Kohäsion und Ereignisintegration (Givón 1990:527)

  • The more the two events coded in the main and complement clauses share their referents, the more likely they are to be semantically integrated as a single event; and the less likely is the complement clause to be coded as an independent finite clause.

• In Bezug auf das Deutsche (Rapp et al. 2017:197):

  • Je mehr das einbettende Verb lexikalisch zu semantischer Kontrolle tendiert, desto häufiger treten zu-Infinitive auf.

  • Je weniger das einbettende Verb lexikalisch zu semantischer Kontrolle tendiert, desto häufiger treten dass-Sätze auf.

Fallstudie: Die Korpora

• Korpora:

  • DeReKo / KoGra-DB (IDS Mannheim, Kupietz et al. 2010)

    • → Deutsch

  • Språkbanken / Moderna (Göteborg, Borin et al. 2012)

    • → Schwedisch

  • LASSY Large (Groningen / Lueven, van Noord et al. 2013)

    • → Niederländisch

• Untersuchungsgegenstand: Distribution von verschiedenen Verbklassen mit verschiedenen Komplementtypen:

  • mit finiten Komplementen

  • mit infiniten Komplementen mit einem Komplementierer

  • mit infiniten Komplementen ohne einen Komplementierer

Ergebnisse für das Deutsche

Verbkategorien 1: Schwedisch

Verbkategorien 2: Schwedisch

Verbkategorien 3: Schwedisch

Ergebnisse für das Schwedische

Ergebnisse für das Niederländische

Zusammenfassung und Fazit

• Die Korpusuntersuchungen zeigen, dass es eine Korrelation zwischen Selektionspräferenzen und Kontrollverhältnissen gibt

  • die Ergebnisse bestätigen die Hypothese der referentiellen Kohäsion und Ereignisintegration

  • und zeigen, dass diese eine sprachübergreifende Gültigkeit hat

• Methodische Frage: Sind die Ergebnisse für das Deutsche, das Schwedische und das Niederländische vergleichbar?

• Die Antwort: ja und nein

  • die Ergebnisse sind auf einer Metaebene (Ebene der Generalisierungen) vergleichbar

  • auf der empirischen Ebene (Datenebene) sind sie weniger vergleichbar

Beispiel: Die einsprachigen Korpora in der Studie

… zum DE, SW, NL – Hartmann/Mucha/Trawiński/Wöllstein (im Erscheinen)

Kleine parallele Ressourcen (Auswahl)

Kontrastive und typologische Studien

• Bengt Altenberg (1999). Adverbial connectors in English and Swedish: Semantic and lexical correspondences. In Hasselgård & Oksefjell (eds.) Out of Corpora. Amsterdam: Rodopi, 249-268.

• Hilde Hasselgård (2007). Using the ENPC and the ESPC as a parallel translation corpus: adverbs of frequency and usuality. Nordic Journal of English Studies 6:1.

• Sandrine Zufferey & Bruno Cartoni (2012). English and French causal connectives in contrast. Languages in Contrast, Volume 12, Issue 2, 2012, pages 232 –250.

Typologische Studien

Diskussionen

Fallbeispiel: Imperativ

• Die zugrunde liegende Annahme: Imperative werden kanonisch in Äußerungen verwendet, die direkte Befehle, Bitten, Anweisungen, Ratschläge usw. ausdrücken.

• erfordern ein Agens: eine Entität, die zum bewussten und vorsätzlichen Handeln fähig ist

  • → wir können nur jemanden auffordern, etwas zu tun, der über das Handeln eine direkte Kontrolle hat (Potsdam 1996, Jensen 2003)

• Erwartete Korpusdistribution: Imperativ-Markierungen kommen bei agentivischen Verben signifikant häufiger vor als bei nicht-agentivischen Verben

Fallbeispiel: Imperativ

• Zwei Ziele:

  • die Agentivitätshypothese auf der Basis von Korpusdaten zu überprüfen

  • die sprachübergreifende Gültigkeit der Hypothese zu überprüfen

• 4 Sprachen: Englisch, Deutsch, Polnisch und Tschechisch

  • Spielt der Verwandschaftsgrad eine Rolle?

Datenquelle: InterCorp 6. über KonText

Vorgehen

• Extraktion von imperativischen Wortformen mit Hilfe von CQP-Abfragen

• Identifizierung und Auswahl von 50 häufigsten Lemmata (Minimalfrequenz 10) aus allen den Imperativformen zugrunde liegenden Lemmata

• Abbildung aller ausgewählten Lemmata (sprachspezifisch) auf abstrakte Ereigniskonzepte, die auf FrameNet-Frame-Index basieren (Baker et al., 1998)

Die relevanten Konzepte

Verteilung über Konzepte

Die Gesamtverteilung

• Die Ergebnisse bestätigen die Hypothese der Agentivität:

  • Imperativ-Markierungen werden deutlich häufiger bei agentivischen als bei nicht-agentivischen Verben verwendet.

Sprachvergleich

Fallbeispiel: Passiv (Teich 2003)

• Passiv ist im Englischen typischer als im Deutschen

• Passivalternativen (man, sich lassen, -bar sein) sind im Deutschen typischer als im Englischen

Fallbeispiel: Passiv (Teich 2003)

• Hypothesen für E-ORI-G-TL

• In Übersetzungen vom Englischen ins Deutsche liegt shining-through im Passivbereich vor, wenn in G-TL signifikant mehr Passive auftreten als in vergleichbaren deutschen Texten (G-ORI)

• In Übersetzungen vom Englischen ins Deutsche liegt Normalisierung im Passivbereich vor, wenn in G-TL signifikant mehr Passivalternativen auftreten als in vergleichbaren deutschen Texten (G-ORI)

Fallbeispiel: Passiv (Teich 2003)

• Hypothesen für G-ORI-E-TL

• In Übersetzungen vom Deutschen ins Englische liegt shining-through im Passivbereich vor, wenn in E-TL signifikant mehr Passivalternativen auftreten als in vergleichbaren englischen Texten (E-ORI)

• In Übersetzungen vom Deutschen ins Englische liegt Normalisierung im Passivbereich vor, wenn in E-TL signifikant mehr Passive auftreten als in vergleichbaren englischen Texten (E-ORI)

Fallbeispiel: Passiv (Teich 2003)

• Schwaches shining-through in G-TL

• Keine Normalisierungs-Effekte in G-TL

Fallstudie: Passivalternativen (Teich 2003)

• kein shining-through in E-TL

• Normalisierung in E-TL

Mögliche Anfragen

[drukola/m=pos:particle & drukola/m=type:negative] {,5} decît

Thematische Zusammensetzung des Korpus

nach CoRoLa-Taxonomie

Flache quantitative Merkmale

Flache quantitative Merkmale: Wortarten

Grafiken alle mit KorAP-R-Client-Package generiert

library(RKorAPClient)
library(tidyverse)
library(highcharter)
library(kableExtra)
 
D <- new("KorAPConnection", verbose=T)
B <- D
DRuKoLAVC <- "referTo+drukola.20180909.1b_words"
baseVC = "corpusSigle=/U[0-9][0-9]/ | corpusSigle=/W.D17/"
R <- new("KorAPConnection", KorAPUrl = "http://89.38.230.10:5555/", verbose=T)
Dsize <- corpusStats(D, vc=DRuKoLAVC)@tokens
Rsize <- corpusStats(R)@tokens
Bsize <- corpusStats(D, vc=baseVC)@tokens
queryResultToHtml <- function(r) {
  link <- slice(r, which.min(f))$webUIRequestUrl # use the query with less results
  text_spec(round(r[1,]$f,2), color="blue", link=link, tooltip = r[1,]$query %>% str_replace_all('"', '&#34;')) %>% str_replace(">", 'target="korap">')
}
 
add_comp <- function(.data, cat, n1, n2, b1) {
 
 
 
 

Herausforderungen bei der Konstruktion

von »drukola-1b«

• automatische und dynamische Konstruktion des Vergleichskorpus noch nicht mit KorAP möglich

  • Downsampling-Funktion fehlt noch

• Texttypen unterschiedlich klassifiziert und sehr unterschiedlich verteilt

• Thementaxonomien jeweils 2 Ebenen aber unterschiedlich definiert

  • DeReKo basierend auf Open Directory Project (dmoz) (Weiß 2005, Klosa et al. 2012)

  • CoRoLa (Tufiş et al 2016) basierend auf Universal Decimal Classification (UDC) und Wikipedia top-level Domains (Gîfu et al. 2019)

Konstruktion von »DRuKoLA-1b«

• Übersetzung der Thementaxonomie von CoRoLA auf die von DeReKo

  • z.B. Religion ➞ Staat/Gesellschaft:Kirche, Art and Culture ➞ Kultur, Medicine ➞ Gesundheit-Ernährung:Gesundheit

• für 89% der CoRoLa-Texte konnten Abbildungen gefunden werden

  • einige Kategorien unvollständig, andere ungenau abgebildet

• DeReKo groß genug, um CoRoLa's Themenverteilung vollständig zu imitieren

• statt jeweils as CoRoLa und DeReKo eine Stichprobe zu ziehen, wurde nur aus DeReKo eine Stichprobe gezogen