Artificiële intelligentie voor cultureel erfgoed

META Nummer 2020/6

Artificiële intelligentie voor cultureel erfgoed

Geschreven door Alexander Derveaux, Henk Vanstappen, Nastasia Vanderperren
Gepubliceerd op 23.08.2020
IMPORTANT
FOMU Gezichtsherkenning (detail).

Het Fotomuseum Antwerpen (FOMU) heeft het afgelopen jaar het onderzoeksproject Operationalisering van beeldherkenning in de registratiepraktijk uitgevoerd. Dat had betrekking op geautomatiseerde beeldherkenning als alternatief voor of aanvulling op de handmatige beschrijving van objecten uit de collectie.

Het vertrekpunt was de enorme omvang van de FOMU-collectie; deze bevat meer dan drie miljoen objecten. De registratie van dat cultureel erfgoed is een zeer arbeidsintensief proces. Artificiële intelligentie (AI) biedt mogelijke oplossingen om voorwerpen, personen en zelfs emoties geautomatiseerd te herkennen.

De technologie is intussen ook beschikbaar voor (erfgoed)organisaties via online beeldherkenningsdiensten, oftewel visual recognition services (VRS). Voorbeelden hiervan zijn Google Vision, Clarifai en Microsoft Azure.

Met steun van de Vlaamse overheid werd er gezocht naar een methodologie om beeldmateriaal te laten taggen of categoriseren met behulp van deze online beeldherkenningsdiensten, en de resultaten ervan te integreren in de registratiesystemen (onder andere Adlib en Memorix Maior).

Om een goed beeld te krijgen van de mogelijkheden van deze technologie werden vier uiteenlopende pilootprojecten van de contentpartners uitgewerkt. Deze partners waren het FOMU, het Stadsarchief Brugge en de Erfgoedcel Brugge, Modemuseum Antwerpen (MoMu), en het Netwerk Oorlogsbronnen.

Het FOMU werkte daarvoor tevens samen met digitaal erfgoedexpert meemoo en technische coördinator Datable.

De vier pilootprojecten: 

  • personen van de post-Cobrabeweging herkennen op foto’s (FOMU);  
  • types documenten en formulieren uit de Tweede Wereldoorlog herkennen (Netwerk Oorlogsbronnen);
  • foto’s categoriseren volgens de thema’s van Beeldbank Brugge (Erfgoedcel Brugge en Stadsarchief Brugge); 
  • esthetisch ‘mooie’ foto’s identificeren voor communicatiedoeleinden (MoMu). 
IMPORTANT
Herkend gezicht (Azure) met JSON response-Filip Tas, Claesen, 1966, Collectie FOMU, B_2007_3906_0222_0012 ©Filip Tas/SABAM 2020.

Methodologie

In elk pilootproject werd er eerst een set testbeelden verzameld om te onderzoeken welke beeldherkenningsdiensten werkten en welke het effectiefst zijn. Hierbij werd ook onderzocht of het interessant kan zijn om de beeldherkenningsdienst te trainen.

Zodra de resultaten voldoende bleken, werd er een architectuur opgezet met verschillende softwarecomponenten voor het automatiseren van de methodologie. Daarna werd de automatische tagging geëvalueerd en geïmplementeerd in de collectiebeheersystemen.

Resultaten

De meerwaarde van online beeldherkenningsdiensten ten opzichte van manuele registratie zat in de efficiëntie bij grote (en uniforme) volumes zoals bij het Netwerk Oorlogsbronnen.

Aan de hand van minimale training werd hier op korte tijd een perfect resultaat neergezet, en was een beeldherkenningsdienst dus veel goedkoper én sneller dan een manuele registrator.

In andere gevallen vereisten het trainen, het opstellen van workflows per pilootproject en het valideren nog steeds een grote menselijke tussenkomst. Volledige automatisering is daar dus niet aan de orde, maar het samenspel van mens en machine levert wel een meerwaarde op.

Zo was er bijvoorbeeld tijdswinst bij het FOMU doordat de beeldherkenningsdienst foto’s groepeerde waarop dezelfde persoon voorkwam, waarna vrijwilligers vervolgens aangaven over welke persoon het ging. De gebruikte technologie is publiek toegankelijk en betaalbaar, maar de leercurve is vrij steil.

Het uitwerken van een model voor een pilootproject is veelal een trial-and-errorproces en veel musea zullen dus een externe expert moeten inschakelen. Niettemin is de technologie veelbelovend en doen collectiebeherende instellingen er goed aan om te kijken hoe deze technologie ingepast kan worden in hun werking.

Je kunt de methodieken en resultaten per pilootproject ontdekken in het eindrapport op de website van de cultureelerfgoedstandaardentoolbox (CEST).

Waarom lid van de VVBAD worden?

  • Deel zijn van het netwerk van experten en collega's
  • Mee de belangen van de informatiesector behartigen
  • Korting krijgen op de activiteiten van de VVBAD
  • Toegang krijgen tot vakinformatie
  • Participeren in de verenigingsbesturen
Word lid

VVBAD maakt gebruik van cookies om uw gebruikservaring te optimaliseren. Door deze te accepteren of door gebruik te blijven maken van deze website, gaat u akkoord met het plaatsen van deze cookies. Wil u meer weten over cookies, of uw cookie-instellingen voor deze website aanpassen? Bekijk dan hier de voorwaarden.

© Vlaamse Vereniging voor Bibliotheek, Archief & Documentatie vzw
Statiestraat 179 | B-2600 Berchem (Antwerpen)
Tel: (+32) 03 281 44 57 | email: vvbad@vvbad.be