Avi Shmidman ; Moshe Koppel ; Ely Porat - Identification of Parallel Passages Across a Large Hebrew/Aramaic Corpus

jdmdh:1388 - Journal of Data Mining & Digital Humanities, 11 mars 2018, Numéro spécial sur le traitement assisté par ordinateur de l‘intertextualité dans les langues anciennes - https://doi.org/10.46298/jdmdh.1388
Identification of Parallel Passages Across a Large Hebrew/Aramaic CorpusArticle

Auteurs : Avi Shmidman ; Moshe Koppel ; Ely Porat

    We propose a method for efficiently finding all parallel passages in a large corpus, even if the passages are not quite identical due to rephrasing and orthographic variation. The key ideas are the representation of each word in the corpus by its two most infrequent letters, finding matched pairs of strings of four or five words that differ by at most one word and then identifying clusters of such matched pairs. Using this method, over 4600 parallel pairs of passages were identified in the Babylonian Talmud, a Hebrew-Aramaic corpus of over 1.8 million words, in just over 30 seconds. Empirical comparisons on sample data indicate that the coverage obtained by our method is essentially the same as that obtained using slow exhaustive methods.


    Volume : Numéro spécial sur le traitement assisté par ordinateur de l‘intertextualité dans les langues anciennes
    Rubrique : Vers un écosystème numérique : NLP. Infrastructure de corpus. Méthodes de récupération des textes et de calcul des similarités de textes
    Publié le : 11 mars 2018
    Accepté le : 10 mars 2018
    Soumis le : 1 mars 2016
    Mots-clés : Computer Science - Computation and Language

    2 Documents citant cet article

    Statistiques de consultation

    Cette page a été consultée 2433 fois.
    Le PDF de cet article a été téléchargé 761 fois.