Машинное обучение и большие данные
Машинное обучение – это анализ данных без использования четко детерминированных алгоритмов, что подразумевают работу с огромным объемом постоянно обновляющейся информации, поступающей из разных источников.
Сегодня машинное обучение применяется для создания беспилотных автомобилей, поисковых систем, в распознавании речи и пр. Цель – максимальная эффективность работы, внедрение новых продуктов и рост конкурентоспособности. Компетенция формирует навыки корректной обработки данных, эффективного обмена данными и проведения базовой разведки сложных наборов данных.
В рамках компетенции используются эффективные алгоритмы машинного обучения, реализуется опыт их прикладного применения. Это открывает доступ к новым инструментам и системам с возможностью применения полученного опыта для решения широкого круга задач. Так, например, при использовании Hadoop с MapReduce, Spark, Pig и Hive почти не требуются углубленные знания в программировании.
Машинное обучение и большие данные – инновационная специализация, обучение которой проводится не во всех ВУЗах. Вместе с тем продвинутые компании осознают перспективы использования данной компетенции, все чаще прибегая к технологиям машинного обучения в банковском секторе, государственном управлении, сельском хозяйстве.
Описание задания
очистка и форматирование данных (предобработка);
разведочный анализ данных;
конструирование и выбор признаков;
сравнение метрик нескольких моделей машинного обучения;
гиперпараметрическая настройка лучшей модели;
оценка лучшей модели на тестовом наборе данных;
интерпретирование результатов работы модели;
разработка пользовательского приложения;
выводы и работа с документами.
Критерии оценки
подготовка репозитория хранения данных;
предобработка больших данных;
подготовка обучающей и тестовой выборок;
разработка математического аппарата;
разработка прикладного решения;
документирование.
Билет в будущее
Раскрой свою суперсилу!
Помогаем найти направление своего развития в карьере. Начни с теста!
Пройти тест бесплатно
