Разработка комплекса «антропоморфный стоматологический робот» с элементами искусственного интеллекта для имитации врачебных манипуляций и коммуникации «врач – пациент»

Полный текст

Введение

Применение специальных моделей, имитирующих органы и тело человека в целом или частично, именуемых «фантом», позволяет смоделировать лечебный процесс и в разной степени эффективности обеспечить отработку определенных практических умений.

Симуляция клинических ситуаций на искусственных моделях челюстей и возможность неоднократного повторения отдельных операций позволяют приобрести мастерство, которое обеспечивает профессиональный уровень врача-стоматолога.

Для освоения пропедевтических навыков по стоматологии традиционно используются фантомы, представляющие собой отдельные удаленные естественные или пластмассовые зубы, которые фиксируются в гипсовых моделях или на специальных устройствах нижней и верхней челюстей. Подобные модели удерживаются студентами в руках в процессе выполнения практических упражнений. Недостатком фантомов, сформированных из удаленных зубов, являются сложности, связанные с обработкой и хранением биоматериала, а пластмассовых зубов – несоответствие их физико-механических свойств характеристикам естественных зубов. Отдельным элементом имитации стоматологического пациента являются фантомные челюсти и зубы, спецификация которых зависит от задач по формированию профессиональных умений и навыков.

Базой современных цифровых симуляционных комплексов являются системы, основная структура которых – фантомы головы, выполненные из пластмассы и металла, в которые введены модели челюстей с искусственными зубами (рис. 1).

 

Рис. 1. Современные фантомные комплексы, установленные в аудитории для отработки мануальных умений и навыков МГМСУ им. А.И. Евдокимова

 

Подобные комплексы далеки от реалий клинического стоматологического приема. Развитие современных технологий производства предоставляет возможность симуляции практически любого стоматологического врачебного мануального навыка, а используемые материалы обеспечивают максимально приближенные к реальности тактильные ощущения.

Стремительно развивающиеся цифровые технологии внедряются практически во все сферы деятельности человека, в том числе и в образование.

Разработка и использование в медицинской практике робототехнических симуляторов с функцией дополненной и виртуальной реальности является свершившимся фактом. Производимые робот-ассистированные системы для целей образования [1] могут быть классифицированы следующим образом:

– роботы-симуляторы, использующие дополненную и виртуальную реальность для препарирования зубов: DentSim 5,0, PerioSim, SimEx CDS-100, IDEA (Individual dental education assistant), Simodont Dental Trainer [2];

– роботы, физически имитирующие пациента: Dentaroid, Simroid [3];

– хирургические роботы-симуляторы: PUMA 200, PUMA 560 [4], «Леонардо», «Лео» [5], Kobra [6].

При этом создание отечественного эффективного симулятора, максимально приближенного к физическому образу пациента, является актуальной задачей и требует дополнительных исследований, связанных с применением искусственного интеллекта (ИИ) и последних достижений робототехники.

Материалы и методы исследования 

В качестве основы для создания антропоморфного стоматологического робота (АСР) избрана платформа Promobot Robo-C. Компоненты разрабатываемого комплекса изображены на схеме (рис. 2). В центре схемы представлена робот-антропоморфная платформа. В полости рта робота расположены «умные» зубы, оснащенные датчиками температуры и контакта, встроенные в «умную челюсть» с тензодатчиками, а также четыре камеры. Комплекс включает в себя программное обеспечение с лингвистической базой и сценариями кейсов. Для запуска сценариев и настройки робота имеется панель управления, а для трансляции изображения с камер и показаний с датчиков используется панель-монитор. Для обеспечения работы комплекс должен быть подключен к сети Интернет.

 

Рис. 2. Функциональная схема комплекса «Антропоморфный стоматологический робот»

 

При разработке роботизированного комплекса «Антропоморфный стоматологический робот» (АСР) для реализации цели по введению в его структуру элементов искусственного интеллекта, созданию «умной» челюсти и «умных» зубов использована иерархическая (многоэтапная) оптическая система обработки нескольких сотен изображений полостей на фантомных зубах и зубах, препарированных под искусственную коронку. В ходе работы создана система распознавания по принципу «от грубого к точному», где на первом этапе происходит локализация помеченного и обработанного зуба по первой модели нейронной сети и из исходного кадра вычленяется соответствующий фрагмент. На втором этапе выполнен анализ правильности результатов обработки с помощью модели второй нейронной сети, обученной на сотнях правильных и ошибочных примеров.

При формировании нейронной сети подготовлена база данных, которая представляет собой большой конгломерат фотографий отдельных зубов с нанесенными метками, препарированных зубов, а также разметка (аннотирование), указывающая на расположение и контуры объектов, которые должна распознавать нейросеть. Нами рассмотрены два варианта отработки мануальных навыков (кейса): препарирование зуба под коронку и лечение кариеса. Для обоих вариантов был собран уникальный набор данных, размечены сотни фотографий корректно выполненной манипуляции и сотни работ, выполненных с отклонением от нормы.

Распознавание и оценка правильности выполнения препарирования оцениваются по следующим параметрам:

– правильность формы препарированной полости зуба;

– глубина препарирования, определяемая по снимку результата;

– время выполнения задания;

– для оценки правильности выполнения задания по лечению каналов зуба может быть использован «умный зуб», оснащенный датчиками глубины препарирования, температурным датчиком и механизмом подачи подкрашенной жидкости для имитации проникновения инструмента в «пульпарную» полость зуба.

Результаты и их обсуждение

В период с 2020 по 2022 г. инициативной группой исследователей Пермского государственного медицинского университета имени академика Е.А. Вагнера, Московского государственного медико-стоматологического университета имени А.И. Евдокимова и Пермского национального исследовательского политехнического университета реализуется проект, направленный на разработку роботизированного комплекса «Стоматологический антропоморфный робот» [7], обладающего элементами искусственного интеллекта, позволяющий воспроизвести реальную клиническую картину как с возможной визуальной оценкой, так и с аудио- и видеокоммуникацией между врачом (студентом) и пациентом (роботом) (рис. 3).

 

Рис. 3. Роботизированный комплекс «Антропоморфный стоматологический робот»

 

Комплекс АСР создан на базе робота Promobot-C (производство «Промобот», Россия), который имеет высокий уровень антропоморфности благодаря анатомическому расположению свыше 20 сервоприводов мехатронных систем. Факторами, расширяющими диапазон применимости комплекса, увеличивающими ее реалистичность в рамках процесса обучения, является использование конструктива с высочайшей степенью подобия. В функционал антропоморфного робота-симулятора вводится несколько компонентов, в том числе сенсорный, реакционный, диалоговый.

Формирование высокого уровня реалистичности при проведении манипуляций и симуляции врачебного приема достигается благодаря работе сервоприводов, за счет которых обеспечивается подвижность головы с активной лицевой маской, шеи – в трех степенях свободы и торса в двух степенях свободы (рис. 4, а). Помимо того, довольно высокая степень естественности придается путем использования силиконовых материалов, имитирующих естественную кожу лица и шеи человека, а также натуральных волос, формирующих волосяной покров на голове робота (рис. 4, б).

 

Рис. 4. Структура головы стоматологического антропоморфного робота: а – каркас механизированной части головы; б – голова с лицевой маской

 

Уникальной особенностью разработанного комплекса является наличие созданной интеллектуальной (умной) челюсти и встроенных в нее «умных» зубов с системой развитой сенсорики (приоритетные справки на заявки патентов на изобретение № 2022131256 и № 2022131257), в частности:

– фантомные зубы представляют собой гетерогенные объекты из полимерных материалов, имеющие различные физико-механические характеристики, что характерно для естественного зуба (эмаль и дентин), обеспечивающие легко ощущаемые различия при проведении студентом имитации лечебных манипуляций;

– «умный» зуб имеет ряд встроенных датчиков, в том числе контакта (для определения фактического контакта инструмента с тканями фантомного зуба), термический датчик (для отработки навыков профилактики ожога тканей в ходе работы) и др.;

– «умная» челюсть, содержит в себе тензодатчики, позволяющие определить усилие, приложенное к той или иной части челюсти, и косвенно определять моменты контакта инструмента с зубом. Наличие встроенного инерциального модуля позволяет обеспечить определение пространственного положения и угла поворота челюстей в каждый момент времени. Использование «умной» челюсти, интегрированной в конструкцию многофункционального антропоморфного робота, позволяет обеспечить необходимый уровень тактильной обратной связи при совершении обучающимися врачебных манипуляций. Данные параметров, получаемые в процессе работы с «умной» челюстью и «умным» зубом, выводятся на специальную панель, что позволяет визуализировать и оценить уровень практических умений обучающегося. Важным фактором, обеспечивающим реалистичность работы, является использование стоматологической установки и медицинского инструментария, что позволяет погружать обучающегося в образовательную цифровую среду.

Разработанный комплекс АСР с элементами искусственного интеллекта для имитации врачебных манипуляций и коммуникации «врач – пациент» в клинике оснащен диалоговой системой, на базе которой были сформированы специализированные сценарии, позволяющие в прикладном аспекте сформировать клиническое мышление в подготовке специалистов на разных этапах обучения. Возможность работы в формате диалога значительно повышает уровень реалистичности за счет моделирования условий для полноценного общения врача (студента) и пациента (робота). Кроме того, наличие у антропоморфного робота развитых средств аудио- и видеокоммуникации позволяет организовать двухстороннее взаимодействие (прямую и обратную связь) непосредственно в процессе выполнения практических работ, робот: может реагировать на «болезненные» вмешательства, давать информацию/подсказки о ходе работы, отслеживать типовые ошибки. Развитие аудиовизуальной коммуникации с роботом (переход в свободный диалоговый режим) позволяет осуществлять сценарный подход к обучению: необходимость аргументированного и убедительно диалога с пациентом, выяснение состояния пациента и его предпочтений, диагностика заболевания в ходе реальной коммуникации с роботом посредством голосового общения.

В зависимости от выбранного сценария стоматологического приема формируются и реализуются клинические ситуации с возможностью выбора необходимых диагностических процедур, установки диагноза, определения метода лечения, осуществления манипуляций, формулирования назначений и рекомендаций, маршрутизации пациента и т.п. Работа сценариев интегрирована в лингвистическую базу робота в полном соответствии с клиническими рекомендациями. Возможна интеграция в программное обеспечение широкого спектра различных поведенческих матриц, характеризующих реальное поведение пациентов разного возраста, включая изменение цвета кожи, мышечные микродвижения, наклоны головы, смыкание и размыкание челюстей, в том числе непосредственно в процессе врачебных манипуляций, различные виды реакции пациента на раздражители, что позволяет успешно реализовывать клинические ситуации, в частности: пациент со страхом перед медицинскими процедурами, нештатное течение процедур, непредвиденное изменение состояния пациента (вплоть до обморока или коллапса), экстренные и неотложные состояния на приеме.

Управление коммуникативными процессами и выбор сценариев осуществляется через специальную выносную сенсорную панель, имитирующую планшет врача, который также в реальных медицинских информационных системах может быть использован на рабочих местах.

Выводы

1. Разработанный комплекс «Антропоморфный стоматологический робот» – это уникальное, не имеющее прямых аналогов в мире инновационное решение современных задач подготовки врачебных кадров в стремительно формирующейся цифровой образовательной среде на всех этапах додипломного и непрерывного последипломного дополнительного медицинского образования.
2. Введение базовых компонентов в структуру разработанного комплекса параллельно с проведением дальнейших работ по его усовершенствованию, обеспечивает возможность его интеграции, как в образовательный, так и аккредитационный процесс.

 

Финансирование. Работа выполнена при финансовой поддержке Пермского научно-образовательного центра «Рациональное недропользование», 2022 г.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Вклад авторов равноценен.

Об авторах

Н. Б. Асташина

Пермский государственный медицинский университет имени академика Е.А. Вагнера

Автор, ответственный за переписку.
Email: astashina.nb@mail.ru
ORCID iD: 0000-0003-1135-7833

заведующая кафедрой ортопедической стоматологии, доктор медицинских наук, доцент

Россия, Пермь

А. А. Байдаров

Пермский государственный медицинский университет имени академика Е.А. Вагнера

Email: astashina.nb@mail.ru

проректор по информационным технологиям и инновационному развитию, заведующий кафедрой медицинской информатики и управления медицинскими системами, кандидат технических наук

Россия, Пермь

С. Д. Арутюнов

Московский государственный медико-стоматологический университет имени А.И. Евдокимова

Email: astashina.nb@mail.ru

заведующий кафедрой цифровой стоматологии, доктор медицинских наук, профессор

Россия, Москва

А. А. Южаков

Пермский национальный исследовательский политехнический университет

Email: astashina.nb@mail.ru

заведующий кафедрой «Автоматика и телемеханика», доктор технических наук, профессор

Россия, Пермь

А. Н. Кокоулин

Пермский национальный исследовательский политехнический университет

Email: astashina.nb@mail.ru

доцент кафедры «Автоматика и телемеханика», кандидат технических наук

Россия, Пермь

К. Р. Валихметова

Пермский государственный медицинский университет имени академика Е.А. Вагнера

Email: astashina.nb@mail.ru

ординатор кафедры ортопедической стоматологии

Россия, Пермь

П. В. Майоров

Пермский государственный медицинский университет имени академика Е.А. Вагнера; Пермский национальный исследовательский политехнический университет

Email: astashina.nb@mail.ru

преподаватель кафедры медицинской информатики и управления медицинскими системами, аспирант кафедры «Автоматика и телемеханика»

Россия, Пермь; Пермь

А. М. Шамарина

Пермский государственный медицинский университет имени академика Е.А. Вагнера

Email: astashina.nb@mail.ru

специалист кафедры медицинской информатики и управления медицинскими системами

Россия, Пермь

П. В. Лазарьков

Пермский государственный медицинский университет имени академика Е.А. Вагнера

Email: astashina.nb@mail.ru

преподаватель кафедры медицинской информатики и управления медицинскими системами, аспирант кафедры хирургии с курсом сердечно-сосудистой хирургии и инвазивной кардиологии

Россия, Пермь

А. С. Вронский

Пермский государственный медицинский университет имени академика Е.А. Вагнера

Email: astashina.nb@mail.ru

аспирант кафедры хирургии с курсом сердечно-сосудистой хирургии и инвазивной кардиологии, кандидат медицинских наук

Россия, Пермь

Я. Н. Харах

Московский государственный медико-стоматологический университет имени А.И. Евдокимова

Email: astashina.nb@mail.ru

кандидат медицинских наук, доцент кафедры цифровой стоматологии

Россия, Москва

Список литературы

Дополнительные файлы