Linked Data Event Streams

META Nummer 2023/1

Linked Data Event Streams

Geschreven door Sam Donvil
Gepubliceerd op 07.02.2023

Linked Data Event Streams (LDES) is een API-technologie (application programming interface) die door IDLab van de Universiteit Gent (UGent) ontwikkeld werd om datasets die onderhevig zijn aan verandering als machineleesbare linked open data te publiceren op het web. De toepassing ervan in een erfgoedcontext werd voor het eerst getest in het project Collectie van de Gentenaar (CoGhent).

API’s en datadumps

Op welke manier geef je toegang tot je erfgoeddata? Via de standaard API van je collectiebeheersysteem of met behulp van een datadump? Zo’n API is een soort doorgeefluik waarlangs gebruikers je databank voor specifieke doeleinden kunnen bevragen. De ontwikkelaars van LDES stellen dat geen van beide oplossingen een goed antwoord biedt op de diverse noden van de gebruikers van je data.

De kans is klein dat de API van je collectiebeheersysteem zelf alle noden van verschillende types datagebruikers oplost. Bovendien bieden niet alle collectiebeheersystemen linked data aan, en is het zelf omzetten van je data naar linked data en ze publiceren als datadump misschien wel eenvoudiger. Maar datadumps zijn mogelijk ook geen goede oplossing. Eenmaal de data gepubliceerd zijn, verouderen ze immers snel. Al heeft een datadump wel het voordeel dat een combinatie met eender welke andere dataset mogelijk is, omdat de verwerking volledig lokaal bij de datagebruiker gebeurt.

LDES als alternatief

LDES probeert het beste van beide aanpakken te combineren door via de LDES-service continu up-to-date (linked) datadumps te publiceren die elke gebruiker op zijn eigen computer kan verwerken. In de systeemarchitectuur van CoGhent worden de collectiedata bij de bron via de API van het collectiebeheersysteem (Adlib) uitgelezen.

IMPORTANT
.

Een extract, transform, load (ETL) pipeline extraheert dagelijks de laatste versie van de data uit het collectiebeheersysteem en transcodeert ze aan de hand van een mapping naar linked data, die vervolgens in een databank opgeladen worden. Op die databank draait de LDES-service waarlangs gebruikers de data kunnen opvragen of waarop ze applicaties kunnen bouwen.

Enkele voordelen van LDES

Data in erfgoedcollecties zijn onderhevig aan verandering. Het kan interessant zijn om de historiek en herkomst van je dataset te capteren en alle versies onveranderlijk aan te bieden. Dat is mogelijk met LDES, omdat die bestaat uit een set van onveranderlijke versies van een record en de datagebruiker alle versies van de stream kan opvragen.

De datagebruiker kan bovendien de LDES-service samen met andere databronnen (van bijvoorbeeld andere instellingen, overheidsdiensten enzovoort) gecombineerd bevragen in de voor LDES ontwikkelde Comunica-omgeving.

Verder laat de LDES-technologie jou als data-uitgever toe om de druk op je servercapaciteit te verlagen. LDES maakt immers gebruik van Linked Data Fragments. Fragmentatie laat toe om grotere datasets op te vragen en te doorzoeken door zoekvragen op te splitsen in meerdere eenvoudigere query’s. Net als bij een website worden de data in documenten gepubliceerd, en het opvragen ervan vraagt weinig capaciteit van je server.

Meer informatie vind je op:

> Specificatie: semiceu.github.io/LinkedDataEventStreams/eventstreams.html 
> Documentatie: github.com/SEMICeu/LinkedDataEventStreams 
> Korte uitleg: academy.europa.eu/courses/publishing-data-with-linked-data-event-streams-why-and-how en youtube.com/watch?v=yDY31KalkM4 
> SPARQL-querying demo: youtube.com/watch?v=us-eksPFfGE&t=3s 

Waarom lid van de VVBAD worden?

  • Deel zijn van het netwerk van experten en collega's
  • Mee de belangen van de informatiesector behartigen
  • Korting krijgen op de activiteiten van de VVBAD
  • Toegang krijgen tot vakinformatie
  • Participeren in de verenigingsbesturen
Word lid
© Vlaamse Vereniging voor Bibliotheek, Archief & Documentatie vzw
Statiestraat 179 | B-2600 Berchem (Antwerpen)
Tel: (+32) 03 281 44 57 | email: vvbad@vvbad.be