Машинное обучение и большие данные

Машинное обучение – это анализ данных без использования четко детерминированных алгоритмов, что подразумевают работу с огромным объемом постоянно обновляющейся информации, поступающей из разных источников.

Сегодня машинное обучение применяется для создания беспилотных автомобилей, поисковых систем, в распознавании речи и пр. Цель – максимальная эффективность работы, внедрение новых продуктов и рост конкурентоспособности. Компетенция формирует навыки корректной обработки данных, эффективного обмена данными и проведения базовой разведки сложных наборов данных.

В рамках компетенции используются эффективные алгоритмы машинного обучения, реализуется опыт их прикладного применения. Это открывает доступ к новым инструментам и системам с возможностью применения полученного опыта для решения широкого круга задач. Так, например, при использовании Hadoop с MapReduce, Spark, Pig и Hive почти не требуются углубленные знания в программировании.

Машинное обучение и большие данные – инновационная специализация, обучение которой проводится не во всех ВУЗах. Вместе с тем продвинутые компании осознают перспективы использования данной компетенции, все чаще прибегая к технологиям машинного обучения в банковском секторе, государственном управлении, сельском хозяйстве.

Описание задания

очистка и форматирование данных (предобработка);

разведочный анализ данных;

конструирование и выбор признаков;

сравнение метрик нескольких моделей машинного обучения;

гиперпараметрическая настройка лучшей модели;

оценка лучшей модели на тестовом наборе данных;

интерпретирование результатов работы модели;

разработка пользовательского приложения;

выводы и работа с документами.

Критерии оценки

подготовка репозитория хранения данных;