thumb|Illustratie van automatische gezichtsherkenning thumb|Hoe weet Facebook wie er met jou op de foto staat? - Universiteit van Nederland Gezichtsherkenning is een biometrische techniek die gebruikt kan worden als herkennings- en identificatiemethode. Het is de technische variant van zintuiglijke gezichtsherkenning. Andere vormen van biometrie zijn irisherkenning en vingerafdrukherkenning.
Door de eigenschappen van het gezicht van een persoon te registreren en vast te leggen kan naderhand worden bepaald of de te herkennen persoon lijkt op de eigenschappen die zijn opgeslagen. De meeste methoden meten verhoudingen tussen grootte en afstand van de ogen, mond, neus en oren. Andere methoden meten het temperatuurprofiel dat door de bloedsdoorloop voor iedereen verschillend is.
Biometrische gezichtsherkenning is in ontwikkeling en wordt accurater, o.a. door het gebruik van neurale netwerken en in het bijzonder deep learning. Sinds 2021 zijn de beste biometrische systemen beter dan zintuiglijke gezichtsherkenningO'Toole, A. J., Phillips, P. J., Jiang, F., Ayyad, J., Penard, N., & Abdi, H. (2007). Face recognition algorithms surpass humans matching faces over changes in illumination. IEEE transactions on pattern analysis and machine intelligence, 29(9), 1642-1646.. Biometrische gezichtsherkenning is gevoelig voor systemische fouten als gevolg van demografie, ongeveer in dezelfde mate als zintuiglijke gezichtsherkenningDooley, S., Downing, R., Wei, G., Shankar, N., Thymes, B., Thorkelsdottir, G., ... & Goldstein, T. (2021). Comparing Human and Machine Bias in Face Recognition. arXiv preprint arXiv:2110.08396..
Gezichtsherkenningssystemen worden meer en meer toegepast in situaties waarbij herkenning of zelfs identificatie van personen nodig is. Bijvoorbeeld bij multifactorauthenticatie, waarbij die biometrische herkenning in aanvulling werkt op andere vormen van identiteitsvaststelling, zoals bezit van een (identiteits)pas, of kennis van een geheime (pin)code. Of wanneer het nodig is om nauwkeuriger en / of efficiënter te zijn dan (alleen) met zintuiglijke gezichtsherkenning. De meest accurate prestaties worden bijvoorbeeld gehaald als mens en technologie samenwerkenPhillips, P. J., Yates, A. N., Hu, Y., Hahn, C. A., Noyes, E., Jackson, K., ... & O’Toole, A. J. (2018). Face recognition accuracy of forensic examiners, superrecognizers, and face recognition algorithms. Proceedings of the National Academy of Sciences, 115(24), 6171-6176.. Voorbeelden van (mogelijke) toepassingen zijn toegangscontrole tot fysieke en tot digitale omgevingen, grenscontrole, het identificeren van verdachten en het zoeken naar voortvluchtigen.
Geschiedenis De eerste computer die gezichten kon herkennen, werd in 1965 bedacht door Woodrow Bledsoe, Helen Chan en Charles Bisson.Weekblad Intermediair, week 38, 2012, pag. 13 Hierbij werden foto's vergeleken met foto's uit een database, maar dit was voor een deel nog handwerk. In 1971 ontwikkelden de Amerikaanse onderzoekers Harmon, Les en Goldstein een systeem dat automatisch werkte. In 1987 kwam er een systeem dat ook meerdere gezichten op een foto kon herkennen.
Principes van gezichtsherkenning De principes Het doel van een gezichtsherkennend systeem is het herkennen of identificeren van een persoon aan de hand van (kenmerken van) zijn gezicht, met behulp van een geautomatiseerde procedure en soms zonder tussenkomst van een mens om de herkenning te doen of te verifiëren.
Zoals uit de bovenstaande formulering van het doel al volgt, is het principe van biometrische gezichtsherkenning dit:
Een computer uitgerust met sensoren neemt een opname van het gelaat van een persoon. In die opname wordt een gezicht gedetecteerd en gelokaliseerd. Uit die gezichtsopname worden een aantal kenmerken van het gelaat van de persoon gedistilleerd. De computer vergelijkt die kenmerken met de kenmerken van personen die opgeslagen liggen in een databank waar de computer toegang toe heeft. (optioneel) Er wordt een koppeling met aanvullende gegevens gelegd, zoals de unieke administratieve identiteit. Dit is niet voor alle toepassingen nodig of mogelijk.
Opnamen maken voor identificatie Afhankelijk van waarvoor het systeem toegepast wordt, verschilt de manier waarop opnamen van gezichten moeten worden gemaakt. In ieder geval wordt er een fotografische opname gemaakt van het gezicht.
Een combinatie van vragen bepaalt de manier waarop de opname wordt gemaakt, waaronder "hoe accuraat moet de herkenning zijn" en "wat is praktisch in de situatie waarin het systeem toegepast zal worden". Bijvoorbeeld, voor toepassingen waarbij de persoon baat heeft bij een goede opname, mag een mate van medewerking worden verwacht. Bijvoorbeeld waar de persoon een identiteit claimt en daarmee ergens toegang toe wil. In andere situaties is die medewerking juist weer niet logisch - of mogelijk. Bijvoorbeeld waar de persoon juist niet herkend wil worden, en in feite (impliciet) claimt een (impliciete) identiteit niet te hebben.
Detecteren en lokaliseren van gezicht in opname Voor het detecteren van een gezicht wordt gebruikgemaakt van patroonvergelijking en beeldverwerking.
Het distilleren van gezichtskenmerken uit een gezichtsopname Voorbeelden van gezichtskenmerken zijn afstand tussen ogen, afstand tussen oren, stand van oren, positie van ogen en mond ten opzichte van de neus (of elkaar) en dergelijke.
Vergelijken van gezichtskenmerken Nadat deze kenmerken zijn opgespoord, wordt gezocht in een database naar gezichten met dezelfde kenmerken. Een lijst van overeenkomstige gezichten wordt opgesteld, naar rangorde van aantallen overeenkomstige kenmerken. Het is afhankelijk van het precieze systeem of altijd een positieve identificatie mogelijk is. Een systeem dat de toegang bewaakt tot een faciliteit waar maar een gelimiteerd aantal mensen in mag, heeft een gelimiteerde database om in te zoeken; de kans op het vinden van een exact overeenkomstig gezicht is hier hoog. Een systeem dat winkeldieven zoekt of de grens van een land bewaakt, heeft potentieel een zeer grote database om te doorzoeken; de kans dat meerdere mensen een bepaald aantal overeenkomsten vertonen, is hier hoger.
Accuratesse van gezichtsherkenning Menselijke gezichten zijn niet per definitie, of vanwege technische of biologische redenen uniek. Daarnaast zijn er praktische beperkingen waardoor zowel zintuiglijke gezichtsherkenning als biometrische gezichtsherkenning niet perfect accuraat kunnen werken. Daarom moet voor de accuratesse van gezichtsherkenning gebruikt worden gemaakt van de signaaldetectietheorie. Bij de stap waarin gezichtsherkenmerken worden vergeleken, wordt bij biometrische gezichtsherkenning daarom met een afstandsmaat gewerkt: een getal dat de "afstand" tussen twee gezichten beschrijft. En met een grenswaarde die bepaalt onder welke afstand twee gezichten als "gelijk" moeten worden gezien. Dit uit zich in twee eigenschappen die ieder identificatie-systeem heeft:
False Acceptance Rate (FAR) Het percentage van alle uitgevoerde identificaties waarbij iemand ten onrechte door het systeem herkend wordt False Rejection Rate (FRR) Het percentage van alle uitgevoerde identificaties waarbij iemand ten onrechte door het systeem niet herkend wordt
Een fundamentele uitdaging van gezichtsherkennende systemen en mensen, is dat de bovenstaande eigenschappen tegengesteld zijn aan elkaar en hun oplossingen dus ook. Wil een systeem een laag FAR hebben, dan moet het systeem streng ingesteld worden en weinig of geen tolerantie hebben voor onnauwkeurigheden in de herkenning. Bijgevolg zorgen diezelfde onnauwkeurigheden er dan automatisch voor dat de FRR van het systeem omhooggaat. En hetzelfde verhaal geldt omgekeerd ook.
Problemen met opnamen Gezichtsherkennende systemen hebben al bij het maken van opnamen te maken met allerlei onnauwkeurigheden. We hebben bijvoorbeeld al eerder opgemerkt dat een systeem dat een publiek in de gaten houdt, eigenlijk nooit een ideale opname van een gezicht kan maken omdat eigenlijk nooit iemand recht in de camera kijkt. Daar blijft het echter niet bij.
De opname-problemen van dergelijke systemen komen in feite op twee punten neer:
Hoe accuraat moet de opname zijn? Hoe goed moet de opname zijn?
Het eerste punt heeft te maken met de problematiek van de ideale opname. Is het nodig dat een persoon recht in de camera kijkt? Hoe recht is recht genoeg? En zelfs als iemand strak en recht vooruit kijkt, staat zijn hoofd dan wel goed voor de camera?
Dit probleem speelt overduidelijk niet alleen bij de camera op straat of in de winkel. Een systeem waarbij iemand wel degelijk recht in de camera kijkt, heeft een gedeelte van hetzelfde probleem. De maker van het systeem zoekt daarbij naar een balans tussen accuratesse en ongemak. Het is bijvoorbeeld mogelijk om ieders hoofd in een beugel te laten plaatsen die het gezicht op de juiste manier voor de camera "duwt". De opname kan zo zeer accuraat zijn en een systeem opleveren waaraan je de bewaking van een kernwapen zou toevertrouwen. Een dergelijke procedure bij de douane op het vliegveld is echter totaal onpraktisch – het duurt te lang en is te onplezierig voor het publiek (zeker als het publiek slecht ter been is o.i.d.). Een opname van het systeem zal dus vaak een onnauwkeurigheid bevatten (bijvoorbeeld dat de momentopname "verschoven" is ten opzichte van de referentie-opname in de databank, of zelfs dat het gezicht niet geheel zichtbaar is, zoals bij het voorbeeld van de bewakingscamera in de winkel). De maker van het systeem zal hiervoor gedeeltelijk moeten compenseren in de bijbehorende software van het systeem, maar ook dat is niet perfect – een zekere tolerantie in het systeem om dergelijke fouten op te vangen, is noodzakelijk. Hoe groter de tolerantie, hoe groter de FAR; hoe kleiner de tolerantie, hoe groter de FRR.
Het tweede punt is veel basaler en is het probleem van elke fotograaf. Hoe goed zijn de lenzen van het systeem? Als het systeem kan compenseren voor lichaamshouding door de camera te draaien, hoe scherp is de opname dan nog? En, in geval van het in de gaten houden van publiek, wat gebeurt er bij overbelichting, onderbelichting, etc.?
Daarnaast zijn de prestaties van de technologie afhankelijk van een aantal factoren, die met name in de grootschalige praktijk moeilijk te beheersen zijn. Zo blijkt de samenstelling van de doelgroep naar sekse en het genetisch profiel van invloed op de FRR. Dit houdt verband met het feit dat biometrische systemen tijdens de ontwikkelings- en testperiode als het ware zijn getraind op niet-representatieve groepen van proefpersonen. Ook psychologie en emoties zijn van invloed. Iemand die niet kan of wil meewerken zal minder snel herkend worden. Idem wanneer iemand tijdens de controle boos kijkt terwijl de referentiefoto een lachend gezicht toont. Ten slotte blijkt uit een vendortest van 2002 van FRVT (www.frvt.org) blijkt dat veroudering een achteruitgang van de false rejection rate van circa 5 procent per jaar oplevert. De invloed van deze factoren afzonderlijk is niet bekend. Evenmin is bekend of deze factoren elkaar in de praktijk neutraliseren of versterken.
Problemen met herkenning Ook het herkenningsproces zelf kampt met problemen, die ook weer afhankelijk zijn van het precieze systeem.
Om te beginnen is het niet altijd even makkelijk om de kenmerken terug te vinden. Dit heeft gedeeltelijk te maken met de kwaliteit van de opnamen, maar ook met de kwaliteit van de gebruikte algoritmen. Een algoritme dat in een blok een oog zoekt en daarbij te streng is, kan in de problemen komen doordat het oog niet gevonden wordt. Of andersom, doordat te veel ogen worden gezien als het oog van een persoon die de poort door mag.