Validation of an AI model for bone age assessment in children and adolescents for the development of a multimodal diagnostic platform

Full Text

Введение

Нарушения роста у детей являются глобальной проблемой общественного здравоохранения, влияющей на потенциал линейного роста детей, что коррелирует с их неудовлетворительными достижениями в физическом и интеллектуальном развитии и ухудшает качество взрослой жизни [1]. Ключевым индикатором физиологического и полового созревания детей служит костный возраст, оценка которого имеет важное клиническое значение для диагностики и мониторинга заболеваний, связанных с нарушениями роста и пубертата, контроля эффективности терапии эндокринных расстройств и прогнозирования конечного роста пациента. При этом точность определения костного возраста напрямую влияет на клиническую тактику. Обусловлено это тем, что даже незначительная погрешность в оценке (в среднем 0,82 года – показатель типичной ошибки опытного специалиста) может повлечь за собой существенную ошибку в прогнозе конечного роста – до 4–6 см, что становится критичным фактором при рассмотрении вопроса о назначении высокозатратной терапии гормоном роста, контроля ее эффективности и возможных побочных эффектов [2].

В клинической практике костный возраст определяется специалистами по рентгенограмме левой кисти и дистального отдела предплечья в прямой проекции. Рентгенограмма позволяет оценить ключевые параметры скелетного созревания: последовательность появления и форму ядер окостенения костей запястья, пястных костей и фаланг, а также стадии синостозирования эпифизов и метафизов. Для анализа применяются два основных подхода: атласные методы (например, Грейлиха – Пайля), основанные на визуальном сравнении снимка пациента с возрастными эталонами, и балльные системы (например, Таннера – Уайтхауса), предполагающие детальную оценку конкретных стадий зрелости каждой кости с присвоением баллов и последующим переводом суммы в возраст по таблицам. Выбор метода зависит от клинических задач: атласный подход часто используется для скрининга и рутинной практики, в то время как балльный метод применяется в случаях необходимости точного мониторинга динамики развития [3]. Однако данные подходы требуют больших временных затрат, являются трудоемкими и субъективными, увеличивая риск диагностических ошибок, что подтверждается результатами анонимного опроса практикующих специалистов различных регионов России. Так, каждый третий врач-рентгенолог (36,4 %) не оценивает костный возраст в соответствии с международными требованиями, указывая паспортный, а большинство врачей-эндокринологов (85,2 %) не проводят контроль результата, полученного от врача-рентгенолога [4].

Еще один недостаток рутинного метода определения костного возраста связан с тем, что у современных детей сохраняется тенденция повышения интенсивности роста при сокращении средней продолжительности отдельных фаз окостенения. Это дополнительно уменьшает точность оценки с применением разработанных в середине ХХ в. рентгенологических таблиц и описаний [5].

Для устранения этих ограничений и повышения качества диагностики в мировой практике осуществляется переход к компьютеризированным системам оценки, призванным минимизировать человеческий фактор и обеспечить высокую воспроизводимость результатов. Так, наилучшую точность на сегодняшний день обеспечивает автоматизированная система BoneXpert (Дания) с погрешностью 0,17–0,18 г., но ее применение в российской клинической практике невозможно из-за отсутствия регистрации и русской локализации [2]. Таким образом, для преодоления ключевых недостатков ручных методов – их трудоемкости, субъективности и значительных временных затрат – в отечественных условиях необходима разработка собственного автоматизированного решения. В эпоху активного развития медицинских информационных технологий наиболее перспективным подходом для этого представляется использование глубоких нейронных сетей. Однако предсказательная точность таких моделей может существенно варьироваться в зависимости от пола, возраста, анатомических особенностей и объема обучающих данных, что определяет необходимость их тщательной валидации.

Цель исследования – провести комплексную валидацию разработанной модели искусственного интеллекта для оценки костного возраста по рентгенограммам кисти и запястья у детей и подростков.

Материалы и методы исследования

В качестве первичного источника рентгеновских снимков использован открытый научный общедоступный набор данных RSNA (2017), и аннотированный несколькими экспертами-наблюдателями¹. В указанной базе данных представлены анонимизированные рентгеновские снимки кистей детей и подростков мужского и женского пола в прямой проекции (n = 15361). Набор имеющихся данных дополнен анонимизированными рентгенограммами кисти детей и подростков от 0 до 18 лет, проживающих в Тюменской области (n = 414). Снимки получены из PACS-системы ГБУЗ ТО «Областная клиническая больница №1» Минздрава России (г. Тюмень) за период с 2021 по 2025 г.

Критериями включения рентгенологических снимков кистей детей и подростков для обучения являются:

1. Фон рентгеновского снимка имеет тон от светлого серого до черного цветов без посторонних предметов.
2. Кисти детей не имеют видимых врожденных и приобретенных дефектов (посттравматические, дегенеративные, послеоперационные и воспалительные).
3. Рентгеновский снимок успешно проходит автоматическую сегментацию и предобработку разработанным алгоритмом.

В соответствии с критериями включения общее число изображений из набора RSNA составляет 13 841 снимок, где 12 422 снимка отобрано для обучения модели, 1419 – для процесса валидации. Из набора снимков PACS-системы Тюменской области критериям включения соответствуют 405 изображений, где 344 и 61 – для процесса обучения и валидации соответственно.

Для определения соответствия костного возраста паспортному была разработана модель под названием «Костно-возрастной анализатор» (КВА). Модель обучалась на основе сверточной нейросети для регрессии возрастных значений в месяцах. Анализ проводился по группам в соответствии с периодами детства: младенческий и ранний возраст (0–36 месяцев (мес.)), дошкольный возраст (37–83 мес.), младший школьный возраст (84–143 мес.) и старший школьный возраст (144–216 мес.).

Для оценки использовались следующие метрики: MAE – средняя абсолютная ошибка (в месяцах), MAD – медианная абсолютная ошибка, точность при заданной допустимой ошибке (±1 до ±10 мес.). Также рассчитывались разности метрик между обучающей и валидационной выборками для оценки возможного переобучения.

Статистический анализ проводился с использованием программного обеспечения Python и Microsoft Excel. Для сравнения количественных показателей между двумя группами применялся t-критерий Стьюдента. Сравнение результатов на обучающей и валидационной выборках также проводилось с применением парного t-критерия. С целью оценки ассоциации количественных показателей и их проверки выполнен корреляционный анализ при непараметрическом

распределении данных с оценкой коэффициента корреляции Спирмена. Критерием статистической достоверности получаемых результатов считали общепринятую в медицине величину р < 0,05.

Результаты и их обсуждение

Первоначальный план обучения модели предусматривал два последовательных этапа: 1) обучение на общедоступном наборе данных RSNA; 2) дообучение на внутренней выборке из PACS-системы ГБУЗ ТО «Областная клиническая больница № 1» (г. Тюмень). Впоследствии данный план был скорректирован в связи с выявленными проблемами в качестве данных и стабильности модели.

При анализе обученной модели на наборе данных RSNA в целом установлено, что показатели ошибок (MAE и MAD) при прогнозировании костного возраста у детей и подростков составили 6,32 и 4,56 мес. соответственно (табл. 1).

 

Таблица 1. Показатели средней и медианной абсолютной ошибки в группах валидации для мальчиков и девочек

Показатель в группе валидации	В целом, n = 1419	Пол		p-value
		мальчики, n = 770	девочки, n = 649
MAE, мес.	6,32	6,55	7,41	0,01*
MAD, мес.	4,56	5,32	5,62	0,365

Примечание: * – различия показателей статистически значимы (p < 0,05).

 

Анализ в зависимости от пола продемонстрировал, что показатель MAD в группах валидации для мальчиков и девочек статистически сопоставим и составил 5,32 и 5,62 мес. соответственно (p = 0,365). Однако на валидационных данных выявлено достоверное снижение MAE у мальчиков по сравнению с девочками – 6,55 и 7,41 мес. соответственно (p = 0,01) (см. табл. 1).

После обнаружения статистически значимых различий в MAE между группами по полу проведена стратификация данных по возрастным группам. Для каждой группы индивидуально оценены метрики MAE и MAD с целью локализации проблемного возрастного диапазона. Обоснованность формирования возрастных групп подтверждена данными корреляционного анализа, который продемонстрировал достоверную умеренную обратную связь точности модели (MAE) и возраста ребенка (r = -0,42; p < 0,01).

При анализе параметров ошибок в зависимости от возрастной группы установлено, что у мальчиков высокие показатели точности модели достигнуты в возрастной категории 144–216 мес. (MAE = 4,77 мес.; MAD = 3,8 мес.), тогда как у девочек – в группе 0–36 мес. (MAE = 3,56 мес.; MAD = 2,31 мес.).

Низкие показатели точности в группе мальчиков отмечаются в возрастной категории 0–36 мес. (MAE = 8,9 мес.; MAD = 5,5 мес.), у девочек – 84–143 мес. (MAE = 7,19 мес.; MAD = 5,4 мес.)

Таким образом, средняя абсолютная ошибка модели, обученной исключительно на наборе данных RSNA, составляет 6,57 мес., в группе мальчиков точность модели линейно улучшается с возрастом, у девочек наблюдается более сложная динамика с высокой ошибкой в младшем школьном возрасте. Наблюдаемые различия в точности модели отражают не ее низкое качество, а необходимость оптимизации подготовительного этапа: создания репрезентативной выборки, учета половой специфики оссификации и улучшения методов разметки данных.

На втором этапе проведено дообучение модели на целевых данных, полученных в Тюменской области. Сравнительный анализ показал, что после дообучения метрики MAE и MAD (6,37 и 4,72 мес. соответственно) демонстрируют точность, сопоставимую статистически с моделью, обученной на первом этапе (p = 0,795; p = 0,418 соответственно), однако в рамках обучения модели отмечается значительный дрифт показателей, что в целом указывает на ухудшение результатов (табл. 2). Вследствие ограниченного объема выборки, использованной для дообучения,

 

Таблица 2. Показатели средней и медианной абсолютной ошибки в группах валидации на различных наборах данных

Набор данных в группе валидации	Параметр
	MAE, мес.	p-value	MAD, мес.	p-value
RSNA-1, n = 1419	6,32	p1–p2 = 0,795; p1–p3 < 0,001*; p1–p4 < 0,001*; p1–p5 = 0,01*; p2–p3 < 0,001*; p2–p4 < 0,001*; p2–p5 = 0,004*; p3–p4 < 0,001*; p3–p5 < 0,001*; p4–p5 < 0,001*	4,56	p1–p2 = 0,418; p1–p3 < 0,001*; p1–p4 < 0,001*; p1–p5 = 0,059; p2–p3 < 0,001*; p2–p4 < 0,001*; p2–p5 = 0,007*; p3–p4 < 0,001*; p3–p5 = 0,004*; p4–p5 < 0,001*
RSNA-1 + PACS, n = 1480	6,37		4,72
RSNA-2, n = 41	3,13		2,80
PACS, n = 61	7,82		6,17
RSNA-2 + PACS, n = 102	5,60		4,02

Примечание: RSNA-1 – датасет RSNA до реаннотирования, RSNA-2 – датасет RSNA после реаннотирования; * – различия показателей статистически значимы (p < 0,05).

 

стратифицированный анализ по возрастным группам и полу не проводился, поскольку ожидаемая статистическая мощность такого анализа была признана недостаточной для выявления значимых различий после обучения модели на крупном датасете.

В ответ на снижение точности (повышение MAE и MAD) проведен комплекс диагностических мероприятий. С целью верификации гипотез о природе ошибок данные подвергнуты повторной предобработке, а также реализован метод поэтапного анализа отдельных анатомических зон кисти по принципу усреднения предсказаний. Тем не менее проведенные корректировки не оказали существенного влияния на конечное качество работы модели. Однако на этапе валидации модели разработчиками обнаружена существенная дисперсия между аннотированным костным возрастом в исходном наборе данных и прогнозами алгоритма (рисунок). Данное наблюдение инициировало гипотезу о возможных неточностях в исходной разметке датасета. Для проверки этой гипотезы была организована процедура реаннотации случайной стратифицированной выборки из 320 изображений (по 80 на каждую возрастную группу) экспертом – детским эндокринологом. На этапе предобработки 272 снимка прошли успешную сегментацию. Модель, дообученная на датасете с включением скорректированных данных, показала лучшую итоговую точность с MAE = 6,32 мес. и MAD = 4,56 мес. (p = 0,004; p = 0,007) (см. табл. 2).

 

Рис. Примеры рентгенологических снимков кистей рук детей и подростков мужского пола, имеющих высокую дисперсию между исходным аннотированным костным возрастом (ИАКВ) в датасете RSNA и прогнозом модели (ПМ): ID: 2123, ИАКВ – 214 мес., ПМ – 163,5 мес., аннотация эксперта КВА – 162 мес.; ID: 5573, ИАКВ – 93 мес., ПМ – 140,2 мес., аннотация эксперта КВА – 120 мес.; ID: 2148, ИАКВ – 140 мес., ПМ – 99,6 мес., аннотация эксперта КВА – 90 мес.; ID: 4917, ИАКВ – 120 мес., ПМ – 160,1 мес., аннотация эксперта КВА – 150 мес.

 

Улучшение метрик после коррекции разметки служит подтверждением гипотезы о некачественных аннотациях в датасете RSNA.

В рамках экспериментального исследования проведено три дополнительных этапа обучения модели на редуцированной выборке с целью оценки новых метрик на реаннотированном наборе данных:

1. на реаннотированных данных RSNA;
2. на данных PACS-системы ГБУЗ ТО «Областная клиническая больница № 1»;
3. на объединенном наборе (RSNA+PACS).

Так, обучение модели на 272 реаннотированных снимках RSNA достигло показателей MAE и MAD – 3,13 и 2,80 мес. соответственно, на 405 снимках PACS-системы – 7,82 и 6,17 мес., а на объединенном наборе из 677 снимков – 5,60 и 4,02 мес. (см. табл. 2).

Сравнительный анализ трех конфигураций обучения демонстрирует существенную зависимость точности модели от источника и качества данных. Наивысшая точность на реаннотированной выборке RSNA подтверждает критическую важность корректных разметок. Однако модель, обученная исключительно на данных PACS, демонстрирует худшую производительность, что указывает на наличие систематических проблем, специфичных для локального набора данных. Стоит отметить, что процесс оценки рентгенограмм, полученных из PACS-системы, проведен одним экспертом по атласу Грейлиха – Пайля, отличающийся дефицитом изображений в ключевых возрастных категориях. Данное обстоятельство повышает риск субъективной ошибки, которую следует рассматривать как потенциальный источник погрешности. В перспективе для повышения точности полученных метрик локального набора данных требуется внедрение процедуры консенсусной оценки с привлечением не менее трех экспертов к аннотированию рентгенологических снимков кистей рук и использование усредненного показателя.

Также для определения позиций разработанной модели относительно современных аналогов выполнено сравнение ее оптимального показателя MAE с метриками других решений, представленных в области автоматического определения костного возраста (табл. 3).

 

Таблица 3. Сравнительный анализ наименьшего показателя MAE модели «КВА» с аналогичными продуктами автоматического определения костного возраста

Модель, страна, город	Метрики	p-value
	MAE, мес.
КВА, Россия, г. Тюмень	3,13	p1–p2 = 0,018*; p1–p3 = 0,008*; p1–p4 = 0,025*; p1–p5 < 0,001*; p1–p6 = 0,210
MosMedSoft, Россия, г. Москва	5,16
BoneAgeAnalyzer, Республика Беларусь, г. Минск	5,39
VUNO Med-BoneAge, Южная Корея	5,04
Модель, Саудовская Аравия	27,6
BAA, Китай	4,2

Примечание: * – различия показателей статистически значимы (p < 0,05).

 

Согласно данным литературных источников, на территории Российской Федерации на 2025 г. зарегистрирована лишь одна обученная модель. Однако результаты оценки ее эффективности, отраженные в публикации 2024 г., ограничены единственной метрикой – MAE, составившей 5,16 мес., что достоверно выше MAE «КВА», p = 0,018 [6]. Сравнение данной модели с консервативными методиками (атласом Грейлиха – Пайля и таблицами Жуковского – Бухмана) выявило значительную вариабельность: среднее отклонение от хронологического возраста варьировалось в диапазоне от -5,3 до 21,4 мес., а среднеквадратичная ошибка (RMSE) достигла 38,28 мес. [7].

Одним из первых проектов по разработке системы автоматического определения костного возраста на основе искусственного интеллекта в странах СНГ является BoneAgeAnalyzer (г. Минск, Республика Беларусь). В 2020 г. были опубликованы результаты обучения моделей на архитектурах Xception и DenseNet169, где наименьшая MAE лучшей модели составила 5,39 мес., что также значительно уступает результатам нашей модели (p = 0,008) [8; 9].

Коммерческий продукт VUNO Med-BoneAge, основанный на обученной модели, был разработан и зарегистрирован в Южной Корее в 2018 г. Сравнительный анализ данной системы с экспертной оценкой по методу Грейлиха – Пайля показал, что MAE модели составила 0,42 года (5,04 мес.), а RMSE – 0,70 года (8,4 мес.), что также превышает аналогичные показатели разработанной нами модели (p = 0,025) [10].

Модель, созданная в Саудовской Аравии в 2024 г., демонстрирует существенную вариабельность при сравнении автоматизированного и консервативного методов определения костного возраста [11]. Для экспериментальной модели были зафиксированы следующие метрики: MAE – 2,3 года, медианная абсолютная ошибка – 2,1 года, RMSE – 3,0 года, и среднеквадратичная процентная ошибка (RMSPE) – 29 % на тестовой выборке. Полученные показатели точности значительно уступают результатам обучения нашей модели (p < 0,001) и представленным выше продуктам.

В 2023 г. были опубликованы метрические характеристики системы автоматического определения костного возраста, разработанной в Китае. Данная система, основанная на детекции ключевых костей в реальном времени с использованием алгоритма Key Bone Search (KBS) и градиентного бустинга (LightGBM), показала результаты, близкие к полученным в нашем исследовании, однако уступающие им более чем на месяц: показатель MAE составил 4,2 мес. (p = 0,210), RMSE – 5,52 мес., а среднеквадратическая процентная ошибка (RMSPE) – 11 % [12].

Таким образом, активное развитие зарубежных и отечественных систем на основе искусственного интеллекта для определения костного возраста свидетельствует о переходе этой технологии из исследовательской плоскости в практическую и коммерческую. Данный тренд открывает окно возможностей для вывода на рынок собственного конкурентоспособного продукта. Ключевым преимуществом нашей разработки является ее подтвержденная эффективность: сравнительный анализ метрик (MAE) показывает, что разработанная нами модель способна опередить существующие решения.

Дальнейшее развитие проекта предполагает расширение базы данных, внедрение консенсусной экспертизы снимков PACS с привлечением не менее трех экспертов, реаннотация датасета RSNA и совершенствование алгоритмов предобработки изображений, что позволит не только сохранить, но и превзойти текущий наилучший показатель MAE. Однако перспективное развитие проекта, включая его масштабирование, может быть реализовано исключительно при поддержке научного и медицинского сообщества. Уже достигнутые высокие метрики и значимость проекта для педиатрической практики служат убедительным основанием для такого сотрудничества.

Выводы

Проведенная работа по валидации разработанной модели искусственного интеллекта для определения костного возраста позволила не только достичь более точных метрик, но и выявить системные проблемы, требующие решения для дальнейшего прогресса в данной области. Ключевыми из них являются: необходимость стратификации данных по возрастным группам для обеспечения репрезентативности выборок, отсутствие открытых отечественных датасетов, что ограничивает применимость моделей в локальных условиях, наличие некорректных аннотаций в международных базах данных (таких как RSNA), существенно влияющих на качество обучения, и отсутствие стандартизации протоколов рентгенографии, осложняющее этап предобработки и анализ изображений.

В целом разработанная модель автоматического определения костного возраста демонстрирует высокую точность (МАЕ = 3,13 мес.), превышающую отечественные и зарубежные аналоги.

Несмотря на необходимость дальнейшего совершенствования, модель уже готова к апробации в клинической практике. Ее применение позволит повысить доступность и стандартизацию диагностики нарушений роста у детей, а также существенно снизить нагрузку на медицинский персонал (рентгенологов, эндокринологов и педиатров) за счет автоматизации рутинного процесса анализа рентгенограмм.

Дальнейшая работа будет направлена на совершенствование модели и улучшение качества данных через коррекцию существующих и формирование новых репрезентативных наборов.

¹ RSNA Pediatric Bone Age Challenge (2017), available at: https://www.rsna.org/rsnai/ai-image-challenge/rsna-pediatric-bone-age-challenge-2017.

About the authors

A. Y. Surgutskaja

Tyumen State Medical University

Email: kuchkina94@rambler.ru
ORCID iD: 0000-0002-1973-2434

PhD in Medicine, Associate Professor, Department of Pediatric Diseases, Institute of Maternity and Childhood, Pediatric Endocrinologist

Russian Federation, Tyumen

S. A. Smetanina

Tyumen State Medical University

Email: kuchkina94@rambler.ru
ORCID iD: 0000-0003-3525-9891

DSc in Medicine, Associate Professor, Head, Department of Pediatric Diseases, Institute of Maternity and Childhood, Endocrinologist

Russian Federation, Tyumen

N. V. Ermakov

RKS LLC

Email: kuchkina94@rambler.ru
ORCID iD: 0009-0008-1516-6659

Director

Russian Federation, Tyumen

S. E. Kondratova

Tyumen State Medical University; Regional Clinical Hospital No. 1, Tyumen

Email: kuchkina94@rambler.ru
ORCID iD: 0000-0001-6385-7624

PhD in Medicine, Infectious Disease Physician, Health Administrator, Head of the Organizational and Methodological Department

Russian Federation, Tyumen; Tyumen

T. Y. Malysheva

Tyumen State Medical University; Regional Clinical Hospital No. 1, Tyumen

Email: kuchkina94@rambler.ru
ORCID iD: 0000-0002-0947-0928

Radiologist, Deputy Chief Physician for Diagnostics

Russian Federation, Tyumen; Tyumen

A. N. Khodyrev

Tyumen State University

Email: kuchkina94@rambler.ru
ORCID iD: 0000-0001-7151-9852

Research Engineer, Research and Development Institute of Ecology and the Sustainable Use of Natural Resources

Russian Federation, Tyumen

A. S. Belozyorov

MWS Artificial Intelligence Center Limited Liability Company, Moscow

Email: kuchkina94@rambler.ru
ORCID iD: 0009-0007-4013-4379

Technical Lead

Russian Federation, Moscow

K. S. Belozyorov

RKS LLC; Tyumen Industrial University

Email: kuchkina94@rambler.ru
ORCID iD: 0009-0008-1068-6196

Developer of AI Solutions

Russian Federation, Tyumen; Tyumen

M. V. Milyaev

RKS LLC; Tyumen Industrial University

Email: kuchkina94@rambler.ru
ORCID iD: 0009-0001-7985-7685

Data Science Specialist

Russian Federation, Tyumen; Tyumen

V. D. Tyurin

RKS LLC; Tyumen Industrial University

Author for correspondence.
Email: kuchkina94@rambler.ru
ORCID iD: 0009-0001-0689-6798

Developer of AI Solutions

Russian Federation, Tyumen; Tyumen

K. O. Popova

The Ministry of Health of the Russian Federation

Email: kuchkina94@rambler.ru
ORCID iD: 0009-0003-3121-4319

Lead Analyst

Russian Federation, Moscow

Y. L. Bezgodova

Tyumen State Medical University

Email: kuchkina94@rambler.ru
ORCID iD: 0009-0009-3430-7178

Clinical Resident

Russian Federation, Tyumen

E. P. Sosnovtseva

Tyumen State Medical University

Email: kuchkina94@rambler.ru
ORCID iD: 0009-0002-9972-9389

Clinical Resident

Russian Federation, Tyumen

References

Supplementary files