Geautomatiseerde visuele herkenning

META Nummer 2019/8

Geautomatiseerde visuele herkenning

Geschreven door Rony Vissers
Gepubliceerd op 07.11.2019
IMPORTANT

Veel bibliotheken, archieven en documentatiecentra bezitten foto- en videocollecties, maar de online toegang ertoe blijft dikwijls ondermaats. Het gebrek aan goede beschrijvende metadata bemoeilijkt het zoeken in de collecties. Omdat het manueel aanmaken ervan een tijdrovende bezigheid is zetten collectiebeherende instellingen er niet voldoende op in. Met geautomatiseerde visuele herkenning (visual recognition) kun je dat toch doen.

Tekenherkenning

Optische tekenherkenning (OCR) is een vertrouwd begrip in veel bibliotheken, archieven en documentatiecentra. Je zet ze in om in een scan van een tekst de letters, cijfers en leestekens door middel van patroonherkenning te identificeren en ze daarna op te slaan in een tekstbestand dat doorzoekbaar is met behulp van een computerprogramma. Ook teksten in foto’s en video’s kun je zo omzetten in beschrijvende metadata. 

Identificatie van personen, voorwerpen en locaties

Moeilijker wordt het als er personen, voorwerpen en/of locaties staan afgebeeld. Met visuele herkenningstechnologie kun je die tot op zekere hoogte herkennen. Hun namen kun je dan toevoegen aan de beschrijvende metadata, die belangrijk zijn voor het doorzoeken van collecties. De software wordt daarbij gevoed door een referentieset van beelden van personen, voorwerpen en/of locaties én hun namen. Ze kan dan overeenkomstige personen, voorwerpen en/of locaties zoeken in
enerzijds de referentieset en anderzijds de te beschrijven collecties. Als er een overeenkomst is kan de naam aan de beschrijvende metadata van de foto of video toegevoegd worden.

Andere toepassingen

Met visuele herkenningstechnologie kun je bovendien andere aspecten bepalen, bv. of een beeldbestand een afbeelding, foto of tekening is, en verder zelfs of het een portret- of landschapsfoto is. Van een afgebeelde persoon kun je het geslacht, de leeftijd en de houding of positie identificeren. Je kunt de technologie ook inzetten om kleuren, emoties en de sfeer of het thema van een beeld te bepalen. Ook het clusteren van beelden op basis van hun inhoud is mogelijk. De metadata kunnen de vorm hebben van trefwoorden of van een korte zin of een code.

Artificiële intelligentie en machine learning

Visuele herkenningstechnologie is slimme technologie. Ze kan niet enkel bepaalde aspecten herkennen en daar betekenis aan toekennen, maar ook leren. Het trainen van de technologie gebeurt met diverse sets van beelden en bijbehorende descriptoren. Door meerdere sets te gebruiken leert de software diverse modellen aan. Visuele herkenningstechnologie wordt vaak aangeboden als een kant-en-klare dienst. Er zijn verschillende diensten beschikbaar op de markt. Ze zijn meestal al getraind, maar kunnen verder getraind worden met eigen beelden en descriptoren. Naarmate ze meer getraind worden verbeteren de resultaten — tot op bepaalde hoogte.

Inzet van visuele herkenning

De resultaten van visuele herkenningsdiensten zijn belangrijk, alhoewel ze vaak niet zo exact zijn als de beschrijvingen van menselijke registratoren. Door ze te combineren met de sterkte van menselijke registratoren kunnen ze collectiebeherende instellingen helpen om hun beschikbare tijd en middelen voor registratie efficiënter in te zetten en zo hun achterstand te verkleinen.

Bij het gebruik van visuele herkenningstechnologie is het belangrijk om enerzijds te werken met herkenningsmodellen die het best aansluiten bij de inhoud van het beeldmateriaal en de verwachte uitkomst, en anderzijds een drempel in te stellen om het aantal fouten te verkleinen op basis van de waarschijnlijkheidsscore van de descriptoren. Je kunt de resultaten verder verbeteren door de bekomen descriptoren manueel te controleren, geautomatiseerd te filteren om ongewenste of irrelevante descriptoren te verwijderen, te clusteren om beelden te classificeren op inhoudelijke of visuele kenmerken en/of ze op te zoeken in een trefwoordenlijst in functie van verrijking.

Waarom lid van de VVBAD worden?

  • Deel zijn van het netwerk van experten en collega's
  • Mee de belangen van de informatiesector behartigen
  • Korting krijgen op de activiteiten van de VVBAD
  • Toegang krijgen tot vakinformatie
  • Participeren in de verenigingsbesturen
Word lid
© Vlaamse Vereniging voor Bibliotheek, Archief & Documentatie vzw
Statiestraat 179 | B-2600 Berchem (Antwerpen)
Tel: (+32) 03 281 44 57 | email: vvbad@vvbad.be