Мотивация к работе
По данным Всемирной организации здравоохранения, в 2020 году у 2,3 миллиона женщин был диагностирован рак молочной железы, и, по оценкам, 6 85 000 из этих случаев привели к смерти во всем мире. За последние пять лет у 7,8 миллиона женщин был диагностирован рак молочной железы, что делает его самым распространенным видом рака в мире. Лечение рака молочной железы высокоэффективно, особенно при выявлении заболевания на ранней стадии.
Основным мотивом выбора этой проблемы в качестве нашей проектной работы было то, что «если рак молочной железы обнаружен на ранней стадии, существует больше вариантов лечения и больше шансов на выживание». Женщины, у которых рак молочной железы обнаружен на ранней стадии, имеют выживаемость 93% или выше в течение первых пяти лет.
Набор данных
В этом исследовании мы использовали изображения гистопатологии груди из наборов данных Kaggle. Набор данных содержит 277 524 фрагмента изображения размером 50 x 50, из которых 198 738 IDC являются отрицательными, а 78 786 IDC — положительными.
Предварительная обработка данных
Изображения были масштабированы до размеров 32x32. Перед подачей в классификаторы использовались различные методы предварительной обработки, а именно:
Медианный фильтр
Медианная фильтрация — это нелинейный процесс, полезный для подавления импульсивного шума или шума из соли и перца. Это также полезно для сохранения краев изображения при уменьшении случайного шума. В медианном фильтре окно скользит по изображению, и медианное значение интенсивности пикселей внутри окна становится выходной интенсивностью обрабатываемого пикселя.
Средний фильтр
Фильтрация среднего (или среднего) – это метод сглаживания изображений путем уменьшения разницы интенсивности между соседними пикселями. Усредненный фильтр работает, перемещаясь по изображению пиксель за пикселем, заменяя каждое значение средним значением соседних пикселей, включая самого себя.
Фильтр Гаусса
Фильтр Гаусса является линейным фильтром. Обычно используется для размытия изображения или уменьшения шума. Если вы используете два из них и вычитаете, вы можете использовать их для «нерезкого маскирования» (обнаружения краев). Один лишь фильтр Гаусса будет размывать края и уменьшать контраст.
Локальная предварительная обработка с использованием Kaze
Метод извлечения признаков изображения на основе алгоритма KAZE включает в себя этапы построения нелинейного дифференциального уравнения в частных производных, алгоритма AOS, который используется для решения уравнения для получения всех изображений в пространстве с нелинейным масштабом, обнаружения характерных точек и субпикселей. точно расположены.
Выбор фильтров
Были предприняты попытки улучшить визуальное качество изображений и уменьшить шум путем фильтрации изображений, чтобы улучшить обнаружение границ, резкость и общее качество изображений. Дальнейший выбор фильтров был сделан путем повторного тестирования списка фильтров на различных классификаторах и наблюдения за оценкой производительности классификаторов по отношению к результатам, полученным из нефильтрованных изображений. Нерезкое маскирование делает изображения более четкими и повышает производительность таких классификаторов, как дерево решений и случайный лес. Собель определяет границы изображений.
Кроме того, был опробован ряд других фильтров, в том числе медианный, Лапласов, гессианский и т. д. Мы не добились особого успеха с отфильтрованными изображениями, за исключением медианного фильтра, среднего и фильтра Гаусса. Производительность также имеет тенденцию снижаться на некоторых фильтрах из-за их усредняющего эффекта. Масштабирование изображения по серому действительно ускоряет процесс классификации за счет уменьшения размеров.
Выбор классификаторов
Чтобы выбрать классификаторы для нашей базовой модели, мы сначала запустили список классификаторов на необработанных изображениях 50X50RGB и изображениях в градациях серого и записали значения матрицы путаницы, точность тестирования и обучения, полноту, точность и F1-оценку.
Классификаторы машинного обучения
- Случайный лес. Случайный лес — это метаоценка, которая соответствует ряду классификаторов дерева решений для различных подвыборок набора данных и использует усреднение для повышения точности прогнозирования и контроля переобучения. Патчи изображения после изменения размера были загружены в средний фильтр, а глобальные функции извлечены и, наконец, загружены в наш классификатор. После выполнения поиска по сетке и настройки параметров лучшие параметры для этого классификатора оказались следующими: n оценок = 100, максимальная глубина = 15, макс. характеристики = 'auto', критерий = ”джини».
2. Логистическая регрессия. Логистическая регрессия — это простой и более эффективный метод для задач бинарной и линейной классификации. При этом для фрагментов изображения использовались различные методы предварительной обработки, а фильтр Гаусса дал наилучшие результаты для логистической регрессии. После выполнения поиска по сетке и настройки параметров лучшими параметрами для этого классификатора оказались C=1.
3. Машина опорных векторов:Машина опорных векторов (SVM) — это алгоритм машинного обучения, который анализирует данные для классификации и регрессионного анализа. Он выводит карту отсортированных данных с максимально возможным расстоянием между ними. Идея SVM проста: Алгоритм создает линию или гиперплоскость, которая разделяет данные на классы. При этом для исправлений изображения использовались различные методы предварительной обработки, а извлечение глобальных признаков дало наилучшие результаты для SVM. После выполнения поиска по сетке и настройки параметров лучшие параметры для этого классификатора оказались следующими: вероятность=Истина, C=10,gamma=0,1. , ядро='rbf'.
4.AdaBoost: AdaBoost, сокращение от Adaptive Boosting, представляет собой метаалгоритм статистической классификации, используемый в сочетании со многими другими типами алгоритмов обучения для повышения производительности. В этом классификаторе наилучшие результаты были достигнуты с использованием логистической регрессии в качестве нашей базовой оценки и глобального признака в качестве нашего метода предварительной обработки.
5. Многослойный персептрон с базовыми оценщиками. Многослойный персептрон (MLP) представляет собой искусственную нейронную сеть с прямой связью, которая генерирует набор выходных данных из набора входных данных. MLP характеризуется несколькими слоями входных узлов, соединенных в виде ориентированного графа между входным и выходным слоями. Классификатор MLP лучше всего работает с данными глобальных объектов со следующими параметрами: Solver = 'adam', активация = 'relu', alpha = 1e-7, размеры скрытых слоев = (80,50,10), случайное состояние = 1, максимальное значение = 500.
Модели глубокого обучения
Загрузка данных. Данные сильно несбалансированы и содержат менее 30 % положительных данных, что приводит к тому, что модель не сходится и переобучается. Чтобы преодолеть это несоответствие, используются методы увеличения данных, такие как вращение, сдвиг по ширине и высоте, сдвиг, отражение по горизонтали и вертикали и масштабирование.
Затем были выполнены масштабирование пикселей (на 255) и нормализация по функциям, и данные были центрированы по функциям при подгонке к модели. Кроме того, к данным были применены многочисленные методы предварительной обработки, такие как выравнивание гистограммы, адаптивное выравнивание гистограммы, медианная фильтрация и масштабирование интенсивности. Выходное смещение модели было инициализировано как:
Выбор модели:
Были опробованы пять различных моделей:
- Пользовательский CNN 1
- Пользовательская CNN 2
- VGG16 (ТОЧНАЯ НАСТРОЙКА)
- RESNET50 (ТРАНСФЕРНОЕ ОБУЧЕНИЕ И ТОЧНАЯ НАСТРОЙКА)
- XCEPTION (ТРАНСФЕРНОЕ ОБУЧЕНИЕ И ТОЧНАЯ НАСТРОЙКА)
На начальном этапе выбора модели модели аппроксимировались с помощью необработанных данных, а модели, которые не работали хорошо или для их сходимости требовалось слишком много времени, отбрасывались. Например, resnet50 (тонкая настройка) и сложная модель CNN. Для настройки гиперпараметров в оставшихся моделях использовалась комбинация интуиции и предыдущей работы, а дальнейшие модели были доработаны путем подгонки небольшого числа эпох и оценки сходимости.
Дальнейшая фильтрация моделей и настройка гиперпараметров: после этого на следующий этап переходят модели — Простая CNN, VGG16 (тонкая настройка), Xception (Перенос обучения и точной настройки), где модели были оснащены предварительно обработанными данными. Методы фильтрации, которые плохо работали по крайней мере для двух моделей, были отброшены (выравнивание гистограммы, другие высококонтрастные методы).
Методы глубокого обучения отлично работали даже с необработанными данными, которые в значительной степени не соответствовали модели машинного обучения.
Первая лучшая модель – это простая модель CNN, состоящая из четырех сверточных слоев (16, 32, 64, 128), за которыми следуют исключения. Другими реализованными моделями были несколько более сложная модель CNN, точная настройка VGG16, предварительно обученная в ImageNet, передача обучения и точная настройка resnet50, предварительно обученная в ImageNet, передача обучения и точная настройка архитектуры Xception, предварительно обученная в ImageNet. .
Простой классификатор изо всех сил пытался сходиться на необработанных данных, и он также очень чувствителен к более высокой скорости обучения, поэтому скорость обучения от 1e-3 до 1e-4 работала для него лучше всего. Он действительно хорошо показал себя на данных, выровненных с помощью адаптивной гистограммы, и на данных с медианной фильтрацией с тестом PRC 0,9540 и точностью теста 0,9621. На изображениях с медианной фильтрацией он дает тест PRC 0,9249 и точность теста 0,9571.
Второй лучшей моделью является архитектура Xception, которая использовалась для первого выполнения трансферного обучения на модели, предварительно обученной в ImageNet, и дальнейшей тонкой настройки на наших данных с использованием очень низкая скорость обучения 1e-6. Это дает PRC 0,9331 и точность 0,9587 для изображений с медианной фильтрацией.
Третья лучшая модель — это точно настроенная архитектура VGG16, в которой все сверточные блоки, кроме последнего, были заморожены, а затем архитектура обучается со скоростью обучения 1e-3. Это дает PRC проверки 0,8827 и точность проверки 0,9476.
Вот графики сходимости нашей пользовательской модели CNN:
Заключение
Модели машинного обучения достигли среднего балла f1 87,50 процента, чтобы классифицировать опухоль и ткань молочной железы как злокачественные или незлокачественные.
Модели глубокого обучения смогли достичь области ниже PRC 95,40 процентов с сильно несбалансированным набором данных, где класс меньшинства составляет только 28 процентов изображений. Это означает, что у нас низкий уровень ложных отрицательных результатов и низкий уровень ложных положительных результатов, что показывает, что наши модели довольно хорошо научились, несмотря на аппаратные ограничения для обучения глубокой нейронной сети.
Соавторы и их работа
{Модели глубокого обучения (реализация модели, анализ, результаты и настройка гиперпараметров)}
{Модели машинного обучения (реализация модели, анализ, результаты, настройка гиперпараметров и объединение)}
{Обзор литературы, предварительная обработка данных и настройка гиперпараметров}
Ссылки:
Благодарность
Этот проект был частью курса машинного обучения в IIIT Delhi. Мы хотели бы поблагодарить нашего инструктора за этот курс Танмой Чакробарти и всех ассистентов преподавателей, которые помогали нам на протяжении всей работы.
