Будущее технологий станет пересечением различных областей. В следующем мире — и, возможно, в нынешнем мире — существует внутренняя потребность в сотрудничестве различных областей и подполей.
Такое сотрудничество иногда происходит между различными областями; например, в генетике и вычислительной биологии мы можем видеть значительное сотрудничество между «биологами», «генетиками» и «компьютерными инженерами», которое привело к выдающимся результатам в повседневной жизни человека.
Существует еще один тип сотрудничества, который происходит, когда два человека в одной области, но в разных подобластях, принимают решение работать вместе, что и является примером этой средней статьи, о которой мы собираемся поговорить.
Федеративное обучение, также называемое распределенным обучением, — это нечто новое, в каком-то смысле новое! — область, находящаяся на пересечении вопросов «Концепции обучения» и «Встроенные системы».
Определение
Когда мы хотим объединить полученную информацию из разных моделей в одну модель.
Почему?
Из-за конфиденциальности, безопасности и времени мы не можем хранить всю нашу информацию в одном месте, но у нас есть информация в распределенной среде. У нас есть несколько узлов (например, разные больницы), и мы собираемся обучать разные модели для каждого узла (больницы) на своих собственных данных.
Плюсы
Мы можем обучать модели параллельно, поэтому мы экономим время.
Конфиденциальность обеспечена, а вероятность утечки данных сведена к минимуму.
Минусы
Данные не IID, что является фундаментальной проблемой централизованного машинного обучения (обычного машинного обучения!), и у нас есть некоторые проблемы с обобщением.
Другая проблема — синхронизация параметров моделей. Больницы могут отправлять свои параметры и гиперпараметры в разное время, поэтому одновременный вывод единой модели или обратной связи требует дополнительных усилий.
Дисбаланс данных — еще одна вероятная проблема. Предположим, у нас есть 3 больницы, в которых есть данные о пациентах x, 2x и 10x соответственно. Как мы собираемся вывести одну модель из трех полученных кортежей? Это кажется каким-то сложным.
Другое дело — объяснение моделей, которое тоже связано с предыдущими причинами. Мы собираем данные из разных больниц, которые могут находиться далеко друг от друга. В каждом месте или стране могут быть свои особенности или специфические проблемы, которые никак не связаны с проблемами других мест. Эта проблема решается разными подходами. Один из них — разделение моделей на 2 части: Общая часть (одна и та же часть для всех моделей) — Специфическая часть (индивидуализированная часть каждой модели с учетом региона и других особенностей, связанных с ее местоположением и пациентами).
Будущая работа?
Всегда есть возможность поработать над дополнительными проблемами. Мы всегда можем сделать несколько шагов, чтобы повысить производительность x до производительности 1.01x, и иногда есть способ внести значительные изменения в эти поля.
Проблемы заключаются в следующем:
- Время
- Энергия (потребляется узлами и центральным узлом)
- Объясняемость и обобщение моделей
- Обработка без IID
Спасибо, что прочитали эту статью. Если у вас есть какие-либо отзывы по поводу этой статьи, не стесняйтесь обращаться ко мне по адресу [email protected].
