Fork me on GitHub

Outils pour utilisateurs

Outils du site


ezpaarse:doc:presentation

Présentation du projet ezPAARSE

Le projet ezPAARSE est le résultat d'un partenariat entre l'INIST-CNRS, l'Université de Lorraine et COUPERIN.

Son objectif et de proposer un socle générique pour le traitement des logs d'accès aux ressources électroniques. Il devra être capable de se paramétrer et de s'intégrer avec les besoins des différents utilisateurs. Les utilisateurs sont potentiellement tous les SCD des universités. Dans un premier temps ce sera l'INIST-CNRS et l'Université de Lorraine.

AnalogIST héberge une instance nationale d'EZPAARSE. Ce projet traite des statistiques locales qui sont des éléments d'aide à la décision pour la conduite des politiques documentaires et scientifiques.

A travers ce partenariat, les gains en termes de maintenance pour l'INIST-CNRS et les futurs utilisateurs sont forts :

  • mutualiser les efforts sur le développement et la maintenance des parseurs
  • mutualiser les efforts sur la maintenance des bases de connaissance (ex : id éditeur / issn)

Via une convention, il a été convenu qu'ezPAARSE sera développé sous la forme d'un logiciel libre pour faciliter la diffusion et les contributions au code source (principalement les parseurs).

La définition d'un « workflow » pour les contributions est envisagée dans la liste des besoins (cf annexes) et un point de vigilance est soulevé concernant la validation des contributions car il faut garantir un certain niveau de qualité.

Pratique des tests unitaires systématique pour garantir le niveau de qualité.

Au niveau fonctionnel et technique plusieurs points sont identifiés à différents niveaux :

  • Permettre des déploiements faciles d'instances d'ezPAARSE dans différents environnements techniques (systèmes informatiques des SCD)
  • Gestion de la durée de rétention pour éviter des surcharges au niveau de l'espace disque
  • Gestion par streaming pour permettre l'ingestion de gros fichiers
  • Gestion des entrées/sorties par API Web
  • Capacité de communication entre des instances d'ezPAARSE
  • Gestion multi-langage des parseurs
  • Système anti-régression des parseurs

Les briques techniques suivantes sont proposées pour l'implémentation :

  • NodeJS (streaming)
  • Javascript, PHP, perl, python (parseurs)
  • MySQL (stockage)
  • Lindory ou Git/GitHub (SOA + référentiels)
  • Crontab, batchs (traitements de masse asynchrones)

Si vous êtes informaticien, vous pouvez télécharger et installer ezPAARSE sur votre propre serveur en suivant la procédure d'installation.

ezpaarse/doc/presentation.txt · Dernière modification: 2013/02/21 08:52 par gully