Erweiterte Realität in der Medizin

Im Bereich der Augenchirurgie wird zum Beispiel zusätzlich zu dem Blickfeld durch das Operationsmikroskop die optische Kohärenztomografie (OCT) verwendet, um mikroskopisch kleinste Gewebestrukturen tiefenaufgelöst für Chirurgen sichtbar zu machen. In solchen Situationen kann AR helfen, den Chirurgen kritische Informationen zum richtigen Zeitpunkt zur Verfügung zu stellen, ohne dass sie ihre Aufmerksamkeit vom Operationsfeld abwenden müssen. Eine vielversprechende Strategie zur Reduzierung der mentalen Anforderungen besteht darin, den Chirurgen in einer Darstellung ergänzende Informationen aus zusätzlichen Modalitäten zu präsentieren. So kann eine kombinierte Ansicht von OCT-Schnittbilder mit Bildern aus dem Operationsmikroskop fusioniert werden, oder durch zusätzliche Farbkodierung von 3D Daten eine verbesserte räumliche Darstellung ermöglicht werden. Zudem werden Chirurgen zukünftig auch Teile einer Operation mit Hilfe von 4D OCT durchführen können, bei dem 3D Bilder in Echtzeit erzeugt werden. Dabei können durch AR auf der Realität basierende Wahrnehmungshinweise künstlich in die OCT Darstellung integriert werden. Abbildung 1 zeigt, wie virtuelle Schatten, die chirurgische Instrumente auf die Netzhaut werfen, erzeugt werden, um Chirurgen bei der Abstandsbestimmung zu unterstützen und so Interaktionen mit Instrumenten zu verbessern [1].

Im Forschungsprojekt Artekmed wurde ein immersives Telekonsultationssystem für medizinische Notfälle entwickelt und erprobt. Artekmed erlaubt es medizinischen Experten, sich mit entfernten Kollegen in Echtzeit zu beraten. Ein wichtiger Aspekt des Konzeptes ist die Realisierung einer möglichst natürlichen verbalen und non-verbalen Kommunikation. Deshalb erstellt das System in Echtzeit eine 3D-Rekonstruktion des Patienten und dessen Umgebung und ermöglicht Experten, die eventuell hunderte von Kilometern entfernt sind, virtuell an dem Ort des Geschehens anwesend zu sein und die vor Ort befindlichen Ärzte dabei unterstützen, Patienten zu untersuchen und zu behandeln. Das System wurde mit simulierten Anwendungsfällen aus der Unfallchirurgie und der Intensivpflege getestet. Abb. 2 zeigt eine Konsultation eines Traumachirurgen mit einem Neurochirurgen zur Planung einer Kraniotomie. In diesem Beispiel markiert der zugeschaltete Experte mittels AR Annotation direkt am Patienten den Hautschnitt. Mithilfe von Telekonsultation kann in Zukunft die Patientenversorgung verbessert werden und ermöglicht zusätzlich eine kontaktlose Kommunikation zwischen den medizinischen Disziplinen. Dadurch kann das System auch den Kontakt mit infizierten Personen minimieren und so das medizinische Personal entlasten. Erste Studien haben die Vorteile des Systems gezeigt, aber es sind noch Verbesserungen bei der Sensortechnologie, den 3D-Rekonstruktionsmethoden und der Informationsdichte erforderlich, bevor es in der klinischen Praxis weiter erprobt werden kann [3].

Medizinische AR Systeme können relevante Patienteninformationen zum richtigen Zeitpunkt am richtigen Ort einblenden und dabei die Anforderungen der einzelnen Teammitglieder einbeziehen. Dadurch könnten zum Beispiel neue Mitarbeiter schneller und besser in ein OP-Team integriert werden. Die Technologie unterstützt auch die Durchführung komplexerer Eingriffe durch die Einblendung von ansonsten nicht sichtbaren Informationen. Ein wichtiger Aspekt bei der Einführung von AR Systemen in den medizinischen Alltag wird es sein, dass diese sich nahtlos und ohne wesentlichen Mehraufwand in die eingespielten Abläufe bei der Patientenversorgung integrieren. Großes Potenzial hat hier die automatische Erkennung von Aktivitäten und Abläufen mittels tiefem Lernen zur Optimierung und Personalisierung der AR Benutzerschnittstellen. Darüber hinaus muss bei der Darstellung der Grafik darauf geachtet werden, dass diese Information von den Benutzern auch korrekt wahrgenommen wird, da die Kombination von virtuellen und realen Informationen oft zu falscher Tiefenwahrnehmung führt.