Development of “artificial intellect based dental android system” for simulation of medical manipulations and doctor – patient communication

N. B. Astashina; Асташина Н. Б.; A. A. Baydarov; Байдаров А. А.; S. D.  Arutyunov; Арутюнов С. Д.; A.  A.  Yuzhakov; Южаков А.  А.; A. N.  Kokoulin; Кокоулин А. Н.; K. R.  Valikhmetova; Валихметова К. Р.; P. V.  Mayorov; Майоров П. В.; A. M.  Shamarina; Шамарина А. М.; P. V.  Lazarkov; Лазарьков  П. В.; A. S.  Vronsky; Вронский А. С.; Ya. N.  Kharakh; Харах Я. Н.

doi:10.17816/pmj39662-70

Development of “artificial intellect based dental android system” for simulation of medical manipulations and doctor – patient communication

Authors: Astashina N.B.¹, Baydarov A.A.¹, Arutyunov S.D.², Yuzhakov A.A.³, Kokoulin A.N.³, Valikhmetova K.R.¹, Mayorov P.V.¹^,3, Shamarina A.M.¹, Lazarkov P.V.¹, Vronsky A.S.¹, Kharakh Y.N.²
Affiliations:
1. E.A. Vagner Perm State Medical University
2. A.I. Yevdokimov Moscow State University of Medicine and Dentistry
3. Perm National Research Polytechnic University
Issue: Vol 39, No 6 (2022)
Pages: 62-70
Section: Methods of diagnosis and technologies
URL: https://permmedjournal.ru/PMJ/article/view/115205
DOI: https://doi.org/10.17816/pmj39662-70
ID: 115205

Cite item

Full Text

Abstract
Full Text
About the authors
References
Supplementary files
Statistics

Abstract

Objective. The study is aimed at designing an inventive, multifunctional artificial intellect based anthropomorphic service robot, which could be integrated into an online learning system. An interdisciplinary research group in the framework of a newly formed university consortium is implementing a project in order to develop an artificial intellect based robotized Dental Android System able to simulate an actual clinical dental appointment.

Materials and methods. The system is based on an android (humanoid) robot comprising a multifunctional artificial intellect system. The factors, expanding the applicability range of the system and elevating its realistic basis in the course of learning are the use of a high-similarity construction, and introduction of a well-developed sensorics in the model teeth and jaw, in particular: – the teeth have the form of heterogeneous objects made of polymer materials with different stress-related characteristics typical for a natural tooth (enamel and dentin) with embedded contact sensors, a thermal sensor to read tooth heating parameters in the course of preparation for the purpose of training pulp burn prevention skills; – the smart jaw comprises several independent sectors and load cells allowing to determine the force applied to any part of the jaw.

Results. Possibility of audiovisual communication with the robot allows to implement a scenario approach to learning in the course of vocal communication.

Conclusions. The system being developed is an innovative solution of current goals of medical staff training in the rapidly emerging digital educational medium throughout the entire medical education process.

Keywords

models, simulators, educational platform, artificial intellect, neuronet, working knowledge, robotized system

Full Text

Введение

Применение специальных моделей, имитирующих органы и тело человека в целом или частично, именуемых «фантом», позволяет смоделировать лечебный процесс и в разной степени эффективности обеспечить отработку определенных практических умений.

Симуляция клинических ситуаций на искусственных моделях челюстей и возможность неоднократного повторения отдельных операций позволяют приобрести мастерство, которое обеспечивает профессиональный уровень врача-стоматолога.

Для освоения пропедевтических навыков по стоматологии традиционно используются фантомы, представляющие собой отдельные удаленные естественные или пластмассовые зубы, которые фиксируются в гипсовых моделях или на специальных устройствах нижней и верхней челюстей. Подобные модели удерживаются студентами в руках в процессе выполнения практических упражнений. Недостатком фантомов, сформированных из удаленных зубов, являются сложности, связанные с обработкой и хранением биоматериала, а пластмассовых зубов – несоответствие их физико-механических свойств характеристикам естественных зубов. Отдельным элементом имитации стоматологического пациента являются фантомные челюсти и зубы, спецификация которых зависит от задач по формированию профессиональных умений и навыков.

Базой современных цифровых симуляционных комплексов являются системы, основная структура которых – фантомы головы, выполненные из пластмассы и металла, в которые введены модели челюстей с искусственными зубами (рис. 1).

Рис. 1. Современные фантомные комплексы, установленные в аудитории для отработки мануальных умений и навыков МГМСУ им. А.И. Евдокимова

Подобные комплексы далеки от реалий клинического стоматологического приема. Развитие современных технологий производства предоставляет возможность симуляции практически любого стоматологического врачебного мануального навыка, а используемые материалы обеспечивают максимально приближенные к реальности тактильные ощущения.

Стремительно развивающиеся цифровые технологии внедряются практически во все сферы деятельности человека, в том числе и в образование.

Разработка и использование в медицинской практике робототехнических симуляторов с функцией дополненной и виртуальной реальности является свершившимся фактом. Производимые робот-ассистированные системы для целей образования [1] могут быть классифицированы следующим образом:

– роботы-симуляторы, использующие дополненную и виртуальную реальность для препарирования зубов: DentSim 5,0, PerioSim, SimEx CDS-100, IDEA (Individual dental education assistant), Simodont Dental Trainer [2];

– роботы, физически имитирующие пациента: Dentaroid, Simroid [3];

– хирургические роботы-симуляторы: PUMA 200, PUMA 560 [4], «Леонардо», «Лео» [5], Kobra [6].

При этом создание отечественного эффективного симулятора, максимально приближенного к физическому образу пациента, является актуальной задачей и требует дополнительных исследований, связанных с применением искусственного интеллекта (ИИ) и последних достижений робототехники.

Материалы и методы исследования

В качестве основы для создания антропоморфного стоматологического робота (АСР) избрана платформа Promobot Robo-C. Компоненты разрабатываемого комплекса изображены на схеме (рис. 2). В центре схемы представлена робот-антропоморфная платформа. В полости рта робота расположены «умные» зубы, оснащенные датчиками температуры и контакта, встроенные в «умную челюсть» с тензодатчиками, а также четыре камеры. Комплекс включает в себя программное обеспечение с лингвистической базой и сценариями кейсов. Для запуска сценариев и настройки робота имеется панель управления, а для трансляции изображения с камер и показаний с датчиков используется панель-монитор. Для обеспечения работы комплекс должен быть подключен к сети Интернет.

Рис. 2. Функциональная схема комплекса «Антропоморфный стоматологический робот»

При разработке роботизированного комплекса «Антропоморфный стоматологический робот» (АСР) для реализации цели по введению в его структуру элементов искусственного интеллекта, созданию «умной» челюсти и «умных» зубов использована иерархическая (многоэтапная) оптическая система обработки нескольких сотен изображений полостей на фантомных зубах и зубах, препарированных под искусственную коронку. В ходе работы создана система распознавания по принципу «от грубого к точному», где на первом этапе происходит локализация помеченного и обработанного зуба по первой модели нейронной сети и из исходного кадра вычленяется соответствующий фрагмент. На втором этапе выполнен анализ правильности результатов обработки с помощью модели второй нейронной сети, обученной на сотнях правильных и ошибочных примеров.

При формировании нейронной сети подготовлена база данных, которая представляет собой большой конгломерат фотографий отдельных зубов с нанесенными метками, препарированных зубов, а также разметка (аннотирование), указывающая на расположение и контуры объектов, которые должна распознавать нейросеть. Нами рассмотрены два варианта отработки мануальных навыков (кейса): препарирование зуба под коронку и лечение кариеса. Для обоих вариантов был собран уникальный набор данных, размечены сотни фотографий корректно выполненной манипуляции и сотни работ, выполненных с отклонением от нормы.

Распознавание и оценка правильности выполнения препарирования оцениваются по следующим параметрам:

– правильность формы препарированной полости зуба;

– глубина препарирования, определяемая по снимку результата;

– время выполнения задания;

– для оценки правильности выполнения задания по лечению каналов зуба может быть использован «умный зуб», оснащенный датчиками глубины препарирования, температурным датчиком и механизмом подачи подкрашенной жидкости для имитации проникновения инструмента в «пульпарную» полость зуба.

Результаты и их обсуждение

В период с 2020 по 2022 г. инициативной группой исследователей Пермского государственного медицинского университета имени академика Е.А. Вагнера, Московского государственного медико-стоматологического университета имени А.И. Евдокимова и Пермского национального исследовательского политехнического университета реализуется проект, направленный на разработку роботизированного комплекса «Стоматологический антропоморфный робот» [7], обладающего элементами искусственного интеллекта, позволяющий воспроизвести реальную клиническую картину как с возможной визуальной оценкой, так и с аудио- и видеокоммуникацией между врачом (студентом) и пациентом (роботом) (рис. 3).

Рис. 3. Роботизированный комплекс «Антропоморфный стоматологический робот»

Комплекс АСР создан на базе робота Promobot-C (производство «Промобот», Россия), который имеет высокий уровень антропоморфности благодаря анатомическому расположению свыше 20 сервоприводов мехатронных систем. Факторами, расширяющими диапазон применимости комплекса, увеличивающими ее реалистичность в рамках процесса обучения, является использование конструктива с высочайшей степенью подобия. В функционал антропоморфного робота-симулятора вводится несколько компонентов, в том числе сенсорный, реакционный, диалоговый.

Формирование высокого уровня реалистичности при проведении манипуляций и симуляции врачебного приема достигается благодаря работе сервоприводов, за счет которых обеспечивается подвижность головы с активной лицевой маской, шеи – в трех степенях свободы и торса в двух степенях свободы (рис. 4, а). Помимо того, довольно высокая степень естественности придается путем использования силиконовых материалов, имитирующих естественную кожу лица и шеи человека, а также натуральных волос, формирующих волосяной покров на голове робота (рис. 4, б).

Рис. 4. Структура головы стоматологического антропоморфного робота: а – каркас механизированной части головы; б – голова с лицевой маской

Уникальной особенностью разработанного комплекса является наличие созданной интеллектуальной (умной) челюсти и встроенных в нее «умных» зубов с системой развитой сенсорики (приоритетные справки на заявки патентов на изобретение № 2022131256 и № 2022131257), в частности:

– фантомные зубы представляют собой гетерогенные объекты из полимерных материалов, имеющие различные физико-механические характеристики, что характерно для естественного зуба (эмаль и дентин), обеспечивающие легко ощущаемые различия при проведении студентом имитации лечебных манипуляций;

– «умный» зуб имеет ряд встроенных датчиков, в том числе контакта (для определения фактического контакта инструмента с тканями фантомного зуба), термический датчик (для отработки навыков профилактики ожога тканей в ходе работы) и др.;

– «умная» челюсть, содержит в себе тензодатчики, позволяющие определить усилие, приложенное к той или иной части челюсти, и косвенно определять моменты контакта инструмента с зубом. Наличие встроенного инерциального модуля позволяет обеспечить определение пространственного положения и угла поворота челюстей в каждый момент времени. Использование «умной» челюсти, интегрированной в конструкцию многофункционального антропоморфного робота, позволяет обеспечить необходимый уровень тактильной обратной связи при совершении обучающимися врачебных манипуляций. Данные параметров, получаемые в процессе работы с «умной» челюстью и «умным» зубом, выводятся на специальную панель, что позволяет визуализировать и оценить уровень практических умений обучающегося. Важным фактором, обеспечивающим реалистичность работы, является использование стоматологической установки и медицинского инструментария, что позволяет погружать обучающегося в образовательную цифровую среду.

Разработанный комплекс АСР с элементами искусственного интеллекта для имитации врачебных манипуляций и коммуникации «врач – пациент» в клинике оснащен диалоговой системой, на базе которой были сформированы специализированные сценарии, позволяющие в прикладном аспекте сформировать клиническое мышление в подготовке специалистов на разных этапах обучения. Возможность работы в формате диалога значительно повышает уровень реалистичности за счет моделирования условий для полноценного общения врача (студента) и пациента (робота). Кроме того, наличие у антропоморфного робота развитых средств аудио- и видеокоммуникации позволяет организовать двухстороннее взаимодействие (прямую и обратную связь) непосредственно в процессе выполнения практических работ, робот: может реагировать на «болезненные» вмешательства, давать информацию/подсказки о ходе работы, отслеживать типовые ошибки. Развитие аудиовизуальной коммуникации с роботом (переход в свободный диалоговый режим) позволяет осуществлять сценарный подход к обучению: необходимость аргументированного и убедительно диалога с пациентом, выяснение состояния пациента и его предпочтений, диагностика заболевания в ходе реальной коммуникации с роботом посредством голосового общения.

В зависимости от выбранного сценария стоматологического приема формируются и реализуются клинические ситуации с возможностью выбора необходимых диагностических процедур, установки диагноза, определения метода лечения, осуществления манипуляций, формулирования назначений и рекомендаций, маршрутизации пациента и т.п. Работа сценариев интегрирована в лингвистическую базу робота в полном соответствии с клиническими рекомендациями. Возможна интеграция в программное обеспечение широкого спектра различных поведенческих матриц, характеризующих реальное поведение пациентов разного возраста, включая изменение цвета кожи, мышечные микродвижения, наклоны головы, смыкание и размыкание челюстей, в том числе непосредственно в процессе врачебных манипуляций, различные виды реакции пациента на раздражители, что позволяет успешно реализовывать клинические ситуации, в частности: пациент со страхом перед медицинскими процедурами, нештатное течение процедур, непредвиденное изменение состояния пациента (вплоть до обморока или коллапса), экстренные и неотложные состояния на приеме.

Управление коммуникативными процессами и выбор сценариев осуществляется через специальную выносную сенсорную панель, имитирующую планшет врача, который также в реальных медицинских информационных системах может быть использован на рабочих местах.

Выводы

Разработанный комплекс «Антропоморфный стоматологический робот» – это уникальное, не имеющее прямых аналогов в мире инновационное решение современных задач подготовки врачебных кадров в стремительно формирующейся цифровой образовательной среде на всех этапах додипломного и непрерывного последипломного дополнительного медицинского образования.
Введение базовых компонентов в структуру разработанного комплекса параллельно с проведением дальнейших работ по его усовершенствованию, обеспечивает возможность его интеграции, как в образовательный, так и аккредитационный процесс.

Carmen Juan M., Alexandrescu L. Mobile Augmented Reality System for the Learning of Dental Morphology, available at: https: //revistes.ub.edu/index.php/der/article/view/15344/pdf; Ultra Realisitc Dental Training Android Robot for Novice Dentists - https://phys.org/news/2011-06-showa-hanako-realistic-robot-novice.html. URL: http://www.leonardo-dental.ru.
Ta-Ko Huang, Chi-Hsun Yang, Yu-Hsin Hsieh, Jen-Chyan Wang, Chun-Cheng Hung. Augmented reality (AR) and virtual reality (VR) applied in dentistry. Kaohsiung Journal of Medical Sciences 2018; 34: 243–248.
Dimri D., Nautiyal S. Dental Robotics-Get Going. J. Oral Dent. Health Res. 2020; 2: 1–3.
Tom C.T. van Riet, Kevin T.H. Chin Jen Sem, Jean-Pierre T.F. Ho, René Spijker, Jens Kober, Jan de Lange. Robot technology in dentistry, part one of asystematic review: literature characteristics. Dental materials 2021; 37: 1217–1226.
Стоматологический симулятор Леонардо, available at: http://www.leonardo-dental.ru/.
Buchbender M., Maser M., Neukam F.W., Kesting M.R., Attia S., Schmitt Ch.M. Kobra Surgery Simulator – A Possibility to Improve Digital Teaching? A Case-Control Study. International Journal of Environmental Research and Public Health 2021; 18: 1827.
Yanushevich O.O., Tashkinov A.A., Minaeva N.V., Arutyunov S.D., Astashina N.B., Baidarov A.A., Bezukladnikov I.I., Yuzhakov A.A. Dental anthropomorphic robot. A new era in imitation of medical manipulation and clinical admission. Cathedra - Department. Dental Education 2021; 78: 54–57 (in Russian).

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Fig. 1. Modern phantom complexes installed in the chiropractic training room at A.I. Evdokimov Moscow State Medical University

Download (333KB)

Indexing metadata

3. Fig. 2. Functional scheme of the "Anthropomorphic Dental Robot" complex

Download (56KB)

Indexing metadata

4. Fig. 3. Robotic complex "Anthropomorphic dental robot"

Download (143KB)

Indexing metadata

5. Fig. 4. Structure of the head of an anthropomorphic dental robot: a - framework of the mechanized part of the head; b - head with a face mask

Download (1MB)

Indexing metadata

Username
Password
Remember me

Forgot password?	Register

Username
Password
Remember me

Forgot password?	Register

Development of “artificial intellect based dental android system” for simulation of medical manipulations and doctor – patient communication

Full Text

Abstract

Keywords

Full Text

Введение

Материалы и методы исследования

Результаты и их обсуждение

Выводы

About the authors

References

Supplementary files

This website uses cookies