Wat is image segmentation?

Image segmentation is een techniek binnen computer vision waarbij een AI-model elke pixel in een afbeelding classificeert en toewijst aan een specifieke categorie of object. Het resultaat is geen simpele bounding box, maar een nauwkeurige, pixel-precieze afbakening van alles wat er in beeld is. Dat maakt het een van de krachtigste vormen van AI-beeldanalyse voor toepassingen waarbij exacte vormen, grenzen en locaties van objecten ertoe doen. In dit artikel beantwoorden we de meest gestelde vragen over image segmentation: van de technische werking tot wanneer je het inzet in een AI-project.

Hoe werkt image segmentation technisch gezien?

Image segmentation werkt door een neuraal netwerk te trainen om elke afzonderlijke pixel in een afbeelding te labelen. In plaats van te vragen “zit er een object in dit beeld?”, vraagt het model zich per pixel af: “bij welke klasse hoort dit punt?” Het resultaat is een zogenaamde segmentatiekaart: een masker dat exact aangeeft welke pixels bij welk object of welke regio horen.

De meest gebruikte architectuur voor image segmentation is het encoder-decoder-netwerk. De encoder comprimeert de afbeelding stap voor stap naar een compacte representatie, waarbij ruimtelijke informatie bewaard blijft. De decoder werkt dat vervolgens terug uit naar de originele resolutie, maar nu met pixelclassificaties als output. Bekende varianten zijn U-Net, SegNet en Mask R-CNN.

Moderne segmentatiemodellen maken ook gebruik van transformers, zoals het Segment Anything Model (SAM) van Meta. Deze modellen zijn getraind op enorme hoeveelheden data en kunnen in veel situaties zonder extra training al bruikbare segmentaties produceren. Voor industriële of domeinspecifieke toepassingen is echter bijna altijd fine-tuning op eigen data nodig.

Wat zijn de verschillende soorten image segmentation?

Er zijn drie hoofdvormen van image segmentation, elk met een ander detailniveau en een andere toepassing. De keuze hangt af van wat je precies wilt weten over de inhoud van een afbeelding.

• Semantic segmentation: Elke pixel krijgt een klasse-label, maar objecten van dezelfde klasse worden niet van elkaar onderscheiden. Alle mensen in een foto krijgen hetzelfde label “persoon”, ongeacht of het om één of tien individuen gaat.
• Instance segmentation: Gaat een stap verder. Elk afzonderlijk object krijgt een uniek masker, ook als ze tot dezelfde klasse behoren. Twee kratten naast elkaar worden dus als twee aparte instanties behandeld.
• Panoptic segmentation: Combineert semantic en instance segmentation. Telbare objecten krijgen individuele maskers, achtergrondklassen zoals vloer of lucht krijgen een algemeen label. Dit geeft het meest complete beeld van een scène.

Voor operationele toepassingen, zoals het tellen van objecten op een pallet of het inspecteren van individuele onderdelen, is instance segmentation doorgaans de meest relevante keuze.

Wat is het verschil tussen image segmentation en objectdetectie?

Objectdetectie plaatst een rechthoekige bounding box rondom een object en geeft aan wat het is. Image segmentation gaat verder: het bepaalt exact welke pixels bij dat object horen, ongeacht de vorm. Objectdetectie is sneller en eenvoudiger te trainen; segmentation is nauwkeuriger, maar vraagt meer rekenkracht en gelabelde trainingsdata.

Het praktische verschil wordt duidelijk bij onregelmatige vormen. Een bounding box rondom een beschadigde kabel of een onregelmatig gevormde vlek op een product omvat altijd ook omliggende pixels die er niet bij horen. Segmentation geeft je alleen de relevante pixels, wat cruciaal is als je oppervlakte, vorm of exacte locatie wilt meten.

Wanneer je wilt weten of iets aanwezig is en waar het globaal staat, volstaat objectdetectie vaak. Wanneer je wilt weten hoe groot iets is, wat de exacte contour is of hoeveel pixels een bepaalde klasse beslaat, is segmentation de juiste techniek.

Waar wordt image segmentation in de praktijk voor gebruikt?

Image segmentation wordt ingezet in situaties waar de exacte vorm, locatie of omvang van objecten in een afbeelding relevant is voor een beslissing of registratie. Het wordt breed toegepast in sectoren waar betrouwbare visuele data de basis vormt voor operationele processen.

Concrete toepassingen zijn onder andere:

1. Schadeinspectie: Het detecteren en afbakenen van beschadigingen op voertuigen, infrastructuur of producten, inclusief oppervlaktemeting van de schade.
2. Medische beeldvorming: Het nauwkeurig afbakenen van tumoren, organen of weefsels in MRI- of CT-scans voor diagnose en behandelplanning.
3. Kwaliteitscontrole in productie: Het herkennen van defecten of afwijkingen op producten op een lopende band, waarbij de exacte locatie en omvang van het defect relevant is.
4. Objecttelling in logistiek: Het tellen en onderscheiden van kratten, pallets of producten in een magazijn of op een vrachtwagen, ook als ze gedeeltelijk overlappen.
5. Vegetatieanalyse in agri: Het in kaart brengen van gewassen, onkruid of ziekteplekken op basis van drone- of satellietbeelden.

In de praktijk zie je image segmentation dus overal waar een bounding box te grof is en je pixel-nauwkeurigheid nodig hebt om de juiste conclusie te trekken. Bekijk ook onze uitgevoerde projecten voor concrete voorbeelden van hoe beeldherkenning in de praktijk werkt.

Wanneer is image segmentation de juiste keuze voor een AI-project?

Image segmentation is de juiste keuze wanneer de exacte vorm of omvang van een object bepalend is voor de uitkomst, en wanneer een bounding box onvoldoende informatie geeft. Het is een krachtige techniek, maar ook een die meer data, labeling en rekenkracht vraagt dan eenvoudigere methoden.

Stel jezelf de volgende vragen voordat je voor segmentation kiest:

• Heb je de exacte contour of het oppervlak van een object nodig, of is een globale locatie voldoende?
• Overlappen objecten van dezelfde klasse, en moet je ze toch individueel onderscheiden?
• Is de vorm van het object relevant voor de beslissing die je wilt automatiseren?
• Heb je voldoende gelabelde trainingsdata beschikbaar, of zijn er middelen om die te genereren?

Als je op meerdere vragen “ja” antwoordt, is segmentation waarschijnlijk de meest geschikte techniek. Als je alleen wilt weten of iets aanwezig is, of simpelweg de locatie ervan wilt registreren, dan is objectdetectie of een andere aanpak vaak efficiënter en goedkoper om te trainen en te onderhouden.

Houd ook rekening met de operationele context: segmentation-modellen vragen meer van hardware bij real-time inferentie. Voor toepassingen op edge-devices of in omgevingen met beperkte rekenkracht is het altijd de moeite waard om te testen of een lichtere methode het probleem ook oplost.

Hoe Clockworks helpt met image segmentation

Wij bouwen AI-oplossingen waarbij beeldherkenning en computer vision direct aansluiten op operationele processen. Image segmentation is daarin een van de technieken die we inzetten wanneer het probleem erom vraagt, niet standaard en niet als hype, maar als het de meest geschikte aanpak is voor jouw specifieke situatie.

Wat wij concreet doen:

• We analyseren jouw probleem en bepalen welke techniek, segmentation, detectie of een combinatie, het beste past.
• We trainen en fine-tunen modellen op jouw eigen data, zodat ze werken in jouw specifieke omgeving en met jouw objecten.
• We integreren de oplossing in bestaande systemen en processen, zodat het direct bruikbaar is in productie.
• We bouwen op schaalbaarheid en betrouwbaarheid, geen proof of concepts die in een la verdwijnen.

Een concreet voorbeeld is ons project voor kraanherkenning bij Brabant Water, waarbij computer vision ingezet wordt om fysieke assets nauwkeurig te identificeren in het veld. Wil je weten of image segmentation ook iets voor jouw proces kan betekenen? Neem contact op en we denken graag met je mee.