Pour la première fois des chirurgiens français de l’hôpital Avicenne – AP-HP (Bobigny- Seine-Saint-Denis) ont opéré avec une plateforme collaborative de réalité mixte, ce mardi 05 décembre 2017. Grâce aux lunettes de réalité augmentée le Dr Grégory, a pu visualiser, en hologrammes, les modélisations 3D des clichés anatomiques du patient projetées en temps réel dans le bloc opératoire alors qu’il opérait son épaule. Il a aussi pu accéder aux données médicales du patient et à des tutoriels interactifs pendant l’opération. L’opération a été diffusé en direct sur YouTube.
Le Dr Grégory a également échangé pendant l’intervention chirurgicale via Skype avec les Pr Emery et Dr Reilly (Imperial College, Londres, Angleterre), le Pr Yan Lae Moon (Hôpital Universitaire de Chosun, Corée du sud), le Dr John Sledge (Hôpital Lafayette, Louisiane, USA) et le Dr April Armstrong (Pennsylvanie, USA) qui pouvaient interagir lors de la chirurgie par hologrammes interposés.
C’est la première fois au monde qu’une utilisation aussi complète des aspects immersifs et collaboratifs de ce dispositif de réalité mixte est faite dans un bloc opératoire tout en conservant une qualité d’images holographiques optimale. Avec cette prouesse, l’AP-HP inscrit une 122ème première mondiale au Palmarès des CHU.
Par cette avancée, l’hôpital Avicenne AP-HP gagne le rang de site pilote pour l’utilisation de la réalité mixte de Microsoft en pratique courante, dans les spécialités chirurgicales et médicales à actes techniques.
Une intervention chirurgicale interactive et innovante
La réalité mixte permet de vivre des expériences holographiques tout en restant en lien avec le monde extérieur. Des supports techniques sophistiqués ont été utilisés comme la plateforme HoloPortal de TeraRecon, l’ordinateur holographique HoloLens de Microsoft et la puissance de calcul du Cloud Azure de Microsoft
HoloLens est un ordinateur autonome qui ne nécessite aucun câble. Porté comme un casque par le chirurgien pendant l’opération, il lui permet de capturer les informations de l’environnement dans lequel il se trouve grâce à ses micros et capteurs intégrés et de les partager avec d’autres personnes, au bloc ou à distance via Skype. Le chirurgien garde une totale liberté de mouvement et d’action dans un environnement enrichi d’hologrammes et d’informations à sa demande.
Connectée à HoloLens, la plateforme HoloPortal permet au chirurgien de visualiser en temps réel les informations médicales du patient susceptibles de lui être utiles pendant l’opération : ses rapports médicaux, ses bilans biologiques numérisés, l’imagerie 2D (coupes radiologiques natives). Le chirurgien peut aussi accéder directement aux scanners et IRM (sans conversion préalable des modèles/formats).
Casque de réalité augmentée porté par le chirurgien @AP-HP
Les apports de la réalité mixte dans la prise en charge du patient
Depuis la consultation pré-opératoire jusqu’au bilan post-opératoire, la réalité mixte améliore la visualisation des images médicales du patient. Elle peut être utilisée à différentes étapes de la prise en charge du patient pour :
> informer le patient en consultation sur sa pathologie et l’intervention à programmer. Le patient se retrouve ainsi acteur de son propre parcours de soin et peut s’approprier son opération;
> échanger en discussion pluridisciplinaire sur des cas pathologiques spécifiques ou une intervention difficile. Une réunion immersive permet aux équipes médicales et soignantes de visualiser un double virtuel du patient dans une salle de réunion;
> accéder aux informations médicales du patient en amont et pendant l’opération;
> évoquer avec le patient et ses confrères l’acte chirurgical qui a été réalisé. La réalité mixte peut en effet contribuer à la formation des chirurgiens et à l’acquisition de nouvelles techniques et compétences.
La réalité mixte apporte une aide supplémentaire au chirurgien. Elle facilite son interaction avec les informations susceptibles de lui être utiles et contribue aussi à réduire le temps d’intervention pour une meilleure performance des actes au service des patients.
Suivre l’intervention sur Youtube de l’AP-HP
