Geosur Catalogage

Outil utilisé

Pour le catalogage, nous déployons Geonetwork un logiciel open source avec une interface ergonomique.

En septembre 2015 nous étions déjà capable de moissonner des informations provenant de divers laboratoires réparties à La Réunion.

Voici ci-dessous l'infrastructure partielle de données spatialisées de Geosur. Dasn le cas suivant il s'agit du moissonnage de métadonnées avec la station d'observation du SEAS-OI (lien interne) et la plate-forme Sextant (lien externe).

L'objectif est que tout organisme sous la tutelle de l'OSU-Réunion ainsi que ceux en collaboration avec celui-ci puissent avoir leurs métadonnées fédérées par cet outil afin qu'elles soient consultable par tous.

Par contre, la donnée en elle-même appartient au propriétaire et donc ne devra pas être téléchargeable par n'importe quel utilisateur voulant s'en approprier. Un système d'authentification est de vigueur pour y remédier.

Moissonnage

Avant tout il est important d'expliquer ce qu'on appelle moisson de données. Il s'agit naturellement de récolte de donner mais la particularité dans notre cas est de suivre la norme OGC (Open Geospatial Consortium) afin de rendre interopérable les différentes enseignes dont nous souhaitons récupérer leurs informations.

Le moissonnage est un mécanisme permettant de collecter des métadonnées sur un catalogue distant et de les rapatrier dans un catalogue local pour un accès plus rapide. Cette action de moissonnage est une action périodique, par exemple, une fois par semaine. Le moissonnage n'est pas un import simple : les métadonnées locale et celle du catalogue distant sont synchronisées.

Ce mécanisme permet d'optimiser les temps d'accès par rapport à la recherche distribuée. Il est en effet possible de ne moissonner qu'une partie d'un autre catalogue (selon certains critères) et non pas sa totalité.

Dans ce moissonnage il est égalemebnt possible de faire de la recherche distribuée, dite avec rebond. Concrètement, le client interroge un service CSW qui lui-même interroge un ou plusieurs services CSW sous-jacents en passant les mêmes critères de recherche. Le client reçoit ensuite une unique réponse issue de la somme des réponses des services sous-jacents. Evidemment, cette approche pose des questions ergonomiques et fonctionnelles (peut-on, voire doit-on, fusionner des résultats de recherche avec des systèmes de tri différents ?)

Ce mécanisme peut être récursif (les services CSW sous-jacents appelant eux-même des services CSW), voire circulaire. Pour éviter ce risque, le paramètre HOPCOUNT permet de limiter le nombre de rebonds autorisés. La recherche distribuée peut s'avérer lente et résulter de réponses “vides” lorsqu'un serveur de répond pas ou dans le cas d'un problème sur le réseau.

Pour cela, un service WEB de catalogage de données normé OGC sera utilisée : CSW (Catalog Service for the Web).

Service Web

Définition

En géomatique un WebService propose un Service qui va permettre la prise en charge distante de données, soit pour l'affichage simple de carte (WMS), soit pour du stockage de données (WCS et WFS) soit pour du traitement distant pour éviter d'utiliser du temps d'utilisation du processeur et de la mémoire. En d'autre terme, une requête est effectuée à un serveur distant qui va réaliser la requête et renvoyer sa réponse sous forme de fichier XML, voire dans certain cas particulier un fichier image. Ces serveurs fonctionnent d'une manière équivalente à tout serveur : HTTP, SMTP, … Du côté des services spatiaux, notre client envoit une requête pour connaitre les possibilités du serveur (GetCapabilities), il peut demander une description supplémentaire pour une couche particulière puis demande les données, le traitement, (GetMap ou GetFeatureInfo dans le cas d'un WMS). Après chaque requête le client reçoit une réponse sous forme de fichier XML ou image dans le cas des WebService de l'OGC.

En géomatique, un WebService est un service qui propose des cartes (WMS, WTS), des données brutes (WFS, WCS, GML, GeoRSS), des données sur les données ou méta-données (CAT), des informations sur la sémiologie (SLD), sur les données d'une carte (WMC), etc.

Utilisation

Dans le but de notre récolte de données nous employons un service Web. La question que l'on pourrait se poser est la suivante : pourquoi utiliser ce type de service ?

L'apport des services web (ou webservice) peut être classé en trois catégories :

• mutualisation des compétences : travail collaboratif ;
• mutualisation des données : utilisation de données communes à l'ensemble des utilisateurs, plutôt que de copier des répertoires sur chaque poste ;
• mutualisation des ressources : décharger les ressources sur un serveurs commun pour éviter d'acheter x poste très puissant et souvent onéreux pour chaque géomaticien.

Le fait que les webservices soient des standards apporte aussi une interopérabilité client-serveur, et une interopérabilité historique. Nous pouvons migrer nos serveurs et nos clients d'une manière asynchrone : la transition sera plus fluide et donc moins problématique.

Ainsi nous évitons de multiplier les serveurs de données évitant des problèmes de gestion (quelle serveur a quelle version de donnés ?)

Concernant l'architecture, plusieurs architectures réseaux peuvent être mises en place. Chaque architecture répondra à une problématique, mais ce qu'il faut comprendre est que les webservices permettent de s'adapter facile et de faire évoluer l'architecture en souplesse.

CSW

Définition

Il emploie un standard de l'OGC qu'est le Catalog Services (CS) et permettant d'interagir avec un ou plusieurs catalogues de ressources spatialisées, généralement de manière distante via le Web.

La notion de ressources spatialisées peut correspondre à des données cartographiques et services web OGC mais aussi des référentiels spatiaux ou des capteurs (SensorML par exemple). Concernant les services WEB OGC nous nous préoccuperons que des services suivants :

• WMS (Web Map Service) : cartes de données géoréférencées pour les données raster
• WFS (Web Feature Service) : cartes de données géoréférencées pour les données vecteurs
• WMTS (Web Map Tile Service) : comme WMS mais avec des images précalculées (tuiles) appartenant à des dallages prédéfinis.
• WCS (Web Coverage Service) : interface permettant d'effectuer des recherches internet sur des données cartographiées.

Le catalogue regroupe l’ensemble des descriptions des ressources que le gestionnaire du catalogue (qui peut être directement le producteur de données ou un acteur tiers) souhaite référencer. Cette description constitue une notice avec des champs obligatoires et facultatifs (un titre, un responsable,…), généralement normée sous forme de métadonnées. La spécification de l’OGC impose au minimum une interaction dans le standard international Dublin Core (toute notice devra être disponible en Dublin Core). Dans le cadre de ce document et en accord avec les exigences européennes de la Directive INSPIRE, la seconde famille de standards de description des notices est les normes de métadonnées de l’ISO/TC 211 (ISO EN 19115, ISO 19119 et ISO19139).

Fonctionnement

Les types d'usage du CSW s'inscrivent dans deux grandes familles :

Découverte des ressources (exemples : données cartographiques et services web) disponibles dans le catalogue :

• Recherche de données cartographiques ou services via un critère ouvert “à la google” ou de critères avancées (sur le titre, le système de coordonnées, le type de données,…)

L'intérêt est de rechercher dans une zone (spatio-temporelle), suivant une thématique (océano, géo, météo) ou par rapport à un besoin de livraison d’un flux de données (timeliness de la réponse, cohérence de la série temporelle, pérennité de la donnée).

Gestion des métadonnées du catalogue via le service web, dénommé dans ce cas CSW-T (Transactionnel) :

• l’ajout, la modification et la suppression de tout ou partie d’une métadonnée par un utilisateur ou un logiciel à distance ;
  • Usage : mise à jour d’une métadonnée suite à la mise à jour de la ressource spatialisée décrite.
• l’envoi d’un ordre de moissonnage par le catalogue afin que ce dernier récupère ou génère un nouveau référencement.
  • Usage : envoi d’une adresse WMS qui permet au catalogue de récupérer les informations décrites dans l’opération GetCapabilities du service WMS et de générer une notice.

Il est à noter que la deuxième famille doit être généralement mise en œuvre selon des protocoles Internet sécurisés afin d’éviter une corruption du catalogue. Non décrits actuellement dans le standard de l’OGC, il existe plusieurs modalités d’implémentation complexifiant l’interopérabilité du CSW-T.

Principales opérations

Les principales opérations sont les suivantes:

• GetCapabitlities (obligatoire) : permet de retourner les métadonnées du service CSW en décomposant les informations

• GetRecords (obligatoire) : Permet de réaliser une recherche de métadonnées dans le catalogue et de récupérer les informations de métadonnées répondant aux critères. Les différents paramètres de l’opération GetRecords permettent au client de « définir » différents types d’informations

• GetRecordById (Obligatoire) : permet d’accéder à une métadonnée précise à partir de son identifiant. Les paramètres d’appel de l’opération sont très similaires à ceux de GetRecords

• DescribeRecord (Obligatoire) : permet au client de découvrir les informations relatives aux standards utilisés par le catalogue. L’opération retourne généralement le schéma de métadonnée utilisé par le catalogue.

Dans le cas du profil ISO AP, l’opération retourne le schéma XML de l’ISO 19139 pour les métadonnées de données (ISO 19115) et les métadonnées de services (ISO 19119).

• Harvest (CSW-T, facultatif) : permet d’ajouter une ou plusieurs métadonnées dans le catalogue en fournissant une adresse URL qui sera « moissonnée » (récupérée) par le catalogue. La méthode est dite de type ‘PULL’ (le serveur « va chercher » des notices fournies par le client).

Profils d'application

La spécification de l’OGC CSW décrit les interfaces afin de découvrir, accéder, maintenir et organiser un catalogue de ressources spatialisées. Mais, elle ne décrit ni le contenu du catalogue (quels standards de métadonnées), ni les critères détaillés de recherche, ni les formats de réponse du service. Or, ces points sont essentiels pour garantir l’interopérabilité entre les différents catalogues.

Les profils (ISO 19106) répondent à cet objectif. Aujourd’hui deux profils dominent en Europe :

• le profil ISO 19115/19119 Application Profile (ISO AP) répond spécifiquement aux référencements de données et services géospatiaux. Dans ce cas, les normes ISO 19* sont utilisées. Ce dernier est proposé par les guides techniques de la Directive INSPIRE ;
• le profil ebRIM permet le référencement de n’importe quel type de ressources grâce à un modèle de données modulaire et ouvert. Ce dernier est organisé autour d’un modèle générique défini par l’OASIS (ebXML Registry Information Model).

Source

• Catalog Service for the Web : https://en.wikipedia.org/wiki/Catalog_Service_for_the_Web
• Description d'un catalogue de ressources spatialisées: http://georezo.net/wiki/main/standards/csw
• Les standards de l'OGC : http://georezo.net/wiki/main/standards/ogc_introduction