Hololens
Het onderwerp innovatie staat hoog op de agenda van de Nederlandse Vereniging voor Heelkunde (NVvH). En dat is niet voor niets! Binnen de heelkunde vindt veel vernieuwing plaats. Het is belangrijk om goede initiatieven onderling uit te wisselen. In dit artikel leest u meer over hologram projectie op patiënten waaraan momenteel wordt gewerkt in het 3D lab van het Elisabeth-Tweesteden Ziekenhuis.
Anatomieherkenning zonder marker
Vaatchirurg Jan Heyligers: ‘Het is ons in het chirurgische 3D lab van het ETZ gelukt zonder een opgeplakte marker patiënt specifieke anatomie te herkennen. Op die manier is het mogelijk een hologram op de patiënt te projecteren. De eerste keer is dat gelukt met een CT scan van een gebroken pols. Dat is uniek en nog niet eerder beschreven. Het hologram wordt geprojecteerd op de pols en is te zien door de Hololens 2 van Microsoft. Dat is een bril die met camera de specifieke anatomie herkent. Als die anatomie eenmaal herkend wordt, verschijnt de onder de huid gelegen anatomie: het hologram van de CT scan.’
Augmented Reality en Artificial Intelligence
Deze techniek wordt Augmented Reality (AR) , Mixed Reality (MR) of geïntegreerde werkelijkheid genoemd. De chirurg kijkt met deze techniek als het ware dwars door de patiënt heen, nog voordat er een punctie of incisie heeft plaatsgevonden. Het hologram beweegt mee met de bewegende anatomie en is met handgebaren op te pakken en in- en uit te zoomen. Het beeld blijft desgewenst stilstaan terwijl de chirurg vanuit verschillende hoeken de anatomie bekijkt: in de ruimte of geprojecteerd op de patiënt. De algoritmes om zonder opgeplakte marker anatomie te herkennen, staan nog in de kinderschoenen. Annabel Groenenberg, Technisch Geneeskundestudent aan de TU Twente en medewerker van het chirurgisch 3D lab, verfijnt de software als onderdeel van haar afstudeerproject. Groenenberg: ‘Het is een project waarbij er door middel van AR, computer visie en artificial intelligence een software algoritme wordt ontwikkeld. Het doel van deze software is het optimaliseren van pre-operatieve medische visualisatietechnieken om zo de operatietijd en de stralingsdosis tijdens de operatie te verminderen en de kwaliteit van operaties te verbeteren.’
Samenwerking TU Twente, TU Delft, Tilburg University en Radboud Nijmegen
Heyligers: ‘De samenwerking tussen verschillende instituten maakt het succes. We hebben Technische Geneeskundestudenten die - variërend van drie maanden tot een jaar - concrete vraagstellingen beantwoorden. Zo is het ons gelukt om in een siliconen model een naald op te voeren in een gat in een osteosynthese plaatje. Dat plaatje is gegoten in een siliconen ‘hand’. Daar is een CT scan van gemaakt en dat wordt dan weer ingeladen in de Hololens. De eerste keer was meteen ‘raak’. Als je daarover filosofeert, is het voorstelbaar dat het ons in de toekomst lukt om met behulp van de Hololens een bloedvat aan te prikken. Of heel gericht een schroef te verwijderen.’
Er wordt samengewerkt met het 3D lab van Radboud Nijmegen om de ontwikkelingen verder uit te bouwen. Bijzonder is ook de samenwerking met het departement ‘Cognitive Science and Artificial Intelligence’ van de Tilburg University. Heyligers: ‘Daar wordt vanuit een totaal andere invalshoek naar deze ontwikkeling gekeken. Zo kijken ze bijvoorbeeld naar hoe ‘eyeball tracking’ chirurgen in opleiding kan helpen te ontdekken waar getrainde chirurgen op letten tijdens een interventie.‘
Toekomst
Dat deze technologie potentie heeft, daar is Heyligers van overtuigd: ‘De ambitie is dat we interventies kunnen doen door pre-operatieve beelden te integreren in het operatieveld. Daarbij hoeft de chirurg niet meer weg te kijken naar een scan, maar ziet hij of zij de scan door een holografische bril. Het is de verwachting dat interventies korter duren, meer accuraat zijn met minder röntgenstraling kunnen worden uitgevoerd. Dat zou tot minder complicaties moeten leiden. Voor nu is het vooral pionieren en sleutelen aan een opkomende technologie. Waardevol om daar een bijdrage aan te leveren!‘