Cовместное повышение разрешения и классификация фрагментов ткани для полнослайдовых гистологических изображений

Сегментация полнослайдовых гистологических изображений через классификацию типов ткани небольших фрагментов – чрезвычайно актуальная задача в цифровой патологии, необходимая для разработки методов автоматического анализа полнослайдовых гистологических изображений. Крайне большой размер подобных изображений также делает актуальной задачу повышения разрешения изображений, что позволяет хранить изображения в пониженном разрешении и повышать его при необходимости. Разметка таких изображений специалистами-гистологами сложна и трудоемка, поэтому важно максимально эффективно использовать имеющиеся данные, как размеченные, так и неразмеченные. В данной работе предлагается новый нейросетевой метод одновременного решения задач повышения разрешения гистологических изображений с оптического увеличения ×20 до ×40 и классификации фрагментов изображений по типам ткани на ×20 увеличении. Использование единого кодировщшика, а также предложенной схемы обучения вспомогательной и основной нейросетевых моделей позволяет достичь лучших результатов на обоих задачах по сравнению с имеющимися подходами. Для обучения и тестирования метода использовался впервые представленный в данной статье набор данных PATH-DT-MSU WSS2v2. Ha тестовой выборке было достигнуто значение точности 0.971 и сбалансированной точности 0.916 в задаче классификации на 5 типов ткани, для задачи повышения разрешения были достигнуты значения PSNR = 32.26 и SSТМ = 0.89. Исходный код предложенного метода доступен по ссылке: https:/github.com/Kukty/WSI_SR_CL.