Задачи и датасеты для тестирования моделей машинного обучения (ML) размещены на сайте ассоциации в разделе «Здравоохранение». Сейчас доступны две задачи для проверки способности AI-решений обрабатывать естественный язык и одна задача по обработке медицинских сигналов.
Задача RuMedNLI оценивает, как хорошо модели выявляют логические связи между медицинскими текстами, RuMedDaNet тестирует понимание таких текстов, а ECG2Pathology проверяет, насколько точно модели могут определять по ЭКГ сердечные заболевания.
Эти бенчмарки помогут сравнивать ML-модели в равных условиях и улучшать их для применения в медицине, отметили в Сбере. Бесплатно скачать данные могут все желающие, а зарегистрированные пользователи также смогут участвовать в тестах моделей: их результаты будут показаны в открытом рейтинге.
В разработке бенчмарков участвовали как ИT-специалисты, так и эксперты в сфере здравоохранения. Отраслевой клуб Альянса объединяет 25 ведущих медцентров РФ и AI-разработчиков.
Как отметили опрошенные CNews эксперты, практика разработки таких бенчмарков для ИИ-инструментов должна быть распространена на все отрасли, так как она позволяет бизнесу эффективно оценивать качество моделей и принимать решения о внедрении.
Источник: CNews
Да
Нет
5 сентября
2 мин
4 сентября
2 мин
3 сентября
2 мин
2 сентября
2 мин
30 августа
2 мин
29 августа
2 мин
Напишите нам и менеджеры свяжутся с вами