Este repositorio contiene el código fuente en JAVA de un indexador de documentos científicos.
En esta parte del proyecto el objetivo principal es la creación de los distintos Analyzers, de tal forma que se pueda realizar correcto parseo de los artículos. En concreto se ha creado un Analyzer para la tokenización y normalización. Esta clase se encuentra en:
A su vez, se ha desarrollado un algoritmo para la extracción de los datos que nosotros creemos que son los necesarios para componer los índices normales y los índices de facetas. Este algoritmo se encuentra en la siguiente dirección:
https://github.com/ivancete/InformationRetrieval-Indexer/blob/master/src/AnalyzerStep.java