INVESTIGATING TYPE-TOKEN REGRESSION AND ITS POTENTIAL FOR AUTOMATED TEXT DISCRIMINATION

Authors

  • Pascual Cantos Gómez

Keywords:

Corpus linguistics, type-token regression, text typology, automated text classification

Abstract

The motivation of the present paper is base don the intuition that the sole use of data on lexical relative to text samples of variations languages, authors, linguistic domains, etc. might be a potential indicator for automated text discrimination. In order to look for a reliable and valid lexical density index, we shall review and clarify the mathematical relationship between types (word forms) and tokens (words) by discussing and constructing adequeate regression models that might help to differentiate text types from each other. Additionally we shall use multivariate statistical models (cluster analysis and discriminant analysis) to complement the mathematical lexical density regression model (TYT-formula).

Author Biography

Pascual Cantos Gómez

Departaniento de Filología Inglesa Universidad de Murcia

Downloads

Issue

Vol. 9 No. 1 (2000)

Section

Artículos

License

Las obras que se publican en esta revista están sujetas a los siguientes términos:

1. El Servicio de Publicaciones de la Universidad de Murcia (la editorial) conserva los derechos patrimoniales (copyright) de las obras publicadas, y favorece y permite la reutilización de las mismas bajo la licencia de uso indicada en el punto 2.

2. Las obras se publican en la edición electrónica de la revista bajo una licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 3.0 España (texto legal). Se pueden copiar, usar, difundir, transmitir y exponer públicamente, siempre que: i) se cite la autoría y la fuente original de su publicación (revista, editorial y URL de la obra); ii) no se usen para fines comerciales; iii) se mencione la existencia y especificaciones de esta licencia de uso.

Licencia Creative Commons

3. Condiciones de auto-archivo. Se permite y se anima a los autores a difundir electrónicamente las versiones pre-print (versión antes de ser evaluada) y/o post-print (versión evaluada y aceptada para su publicación) de sus obras antes de su publicación, ya que favorece su circulación y difusión más temprana y con ello un posible aumento en su citación y alcance entre la comunidad académica. Color RoMEO: verde.