Дополненная реальность в робот-ассистированной хирургии: новые возможности точности и анализа данных

Современные технологии дополненной реальности (AR) постепенно становятся частью робот-ассистированной хирургии, расширяя возможности визуализации и поддержки принятия решений в операционной. Новые разработки в области искусственного интеллекта позволяют объединять данные медицинской визуализации, хирургического видео и клинических знаний, формируя более информированную среду для работы хирурга.

Об этих направлениях рассказывает д-р Питер Де Бакер, руководитель отдела ИИ и инноваций ORSI Academy и роботический хирург отделения урологии больницы AZORG (Алст, Бельгия).

AR в хирургии: от визуализации к интеллектуальной поддержке

В течение почти десятилетия дополненная реальность в роботизированной хирургии чаще всего ассоциировалась с наложением индивидуальной 3D-модели анатомии пациента на изображение операционного поля. Такой подход позволяет хирургу видеть расположение важных сосудов или опухолевых структур ещё до начала диссекции.

Современные разработки делают эту технологию более точной. Среди них — алгоритмы удаления инструментов с изображения (de-occlusion) с помощью искусственного интеллекта и отслеживание органов в реальном времени, что позволяет виртуальным моделям корректно совмещаться с анатомией пациента и не перекрывать хирургические инструменты.

Мультимодальное объединение данных

Следующим этапом развития стала концепция мультимодального слияния информации. В реальной практике хирург одновременно анализирует несколько источников данных: изображение операционного поля, результаты КТ или МРТ, знания о ходе процедуры и информацию от команды анестезиологов.

Новые системы искусственного интеллекта способны воспроизводить подобный процесс, объединяя видеооперации, текстовые медицинские данные и клинические протоколы. Это позволяет алгоритмам анализировать хирургическую ситуацию более комплексно.

Vision-Language Models в хирургии

Ключевую роль в этом направлении играют Vision-Language Models (VLM) — модели искусственного интеллекта, способные одновременно работать с изображениями и текстовой информацией.

Если традиционные системы компьютерного зрения могли лишь распознавать анатомические структуры на видео, то VLM способны интерпретировать хирургическую сцену и отвечать на клинические вопросы. Например, оценивать близость плоскости диссекции к важным анатомическим структурам или анализировать потенциальные риски на определённом этапе операции.

RARP Copilot: интеллект в реальном времени

Одним из примеров применения подобных технологий стала система Surgical RARP Copilot, разработанная для робот-ассистированной радикальной простатэктомии.

Анализируя видеопоток операции в реальном времени, система может:

• распознавать хирургические инструменты,
• определять этап операции,
• отвечать на вопросы хирурга во время вмешательства.

Потенциал для клиники и системы здравоохранения

Интеграция искусственного интеллекта и роботизированных платформ открывает новые возможности для стандартизации хирургических процессов. Робот-ассистированная хирургия становится базой для накопления и анализа данных, что может способствовать более объективной оценке результатов операций.

В долгосрочной перспективе такие системы способны:

• облегчить обучение молодых хирургов,
• сократить кривую освоения сложных операций,
• повысить воспроизводимость хирургических результатов в разных клиниках.

Будущее: объединение визуализации и аналитики

Эксперты считают, что в будущем граница между визуальной дополненной реальностью и интеллектуальной поддержкой исчезнет. Новые мультимодальные модели искусственного интеллекта смогут одновременно анализировать хирургическую ситуацию и визуализировать анатомические структуры непосредственно на экране консоли хирурга.