Машинное обучение и большие данные

Большие данные (big data) — огромные массивы информации, которые чаще всего скрыты от конечного пользователя, многообразны и не структурированы: история транзакций в банке, статистика торгов на бирже, маршруты машин в таксопарке, записи с камер видеонаблюдения, загрузки на серверы соцсетей. Обработка больших данных и машинное обучение базируется на идее, что аналитические системы могут учиться выявлять закономерности и принимать решения с минимальным участием человека. За последнее десятилетие машинное обучение было реализовано в беспилотных автомобилях, распознавании речи, поисковых системах. Специалист по машинному обучению учит компьютерную программу анализировать big data и прогнозировать вероятности, находить закономерности, делать выводы. Например, сортировать изображения, распознавать лицо и голос, управлять автомобилем, ставить диагноз на основании симптомов. Также специалист разрабатывает системы обработки данных, которые смогут переварить петабайты данных и не лопнуть. Направления машинного обучения: обучение с учителем; обучение без учителя; обучение с подкреплением; ансамблевые методы; нейронные сети и глубокое обучение. Специалисту нужна техническая подготовка: математика, статистика, программирование, могут понадобиться знания биологии и нейрофизиологии. Место работы: крупные ИТ-компании (Яндекс, Google, Вконтакте, Mail.ru), телеком-операторы, ритейлинговые сети, аудиторские компании, банки, государственные организации, робототехника, индустрия развлечений, научно-исследовательские институты. Машинное обучение — это методики анализа данных, которые позволяют аналитической системе обучаться в ходе решения множества сходных задач. Машинное обучение базируется на идее о том, что аналитические системы могут учиться выявлять закономерности и принимать решения с минимальным участием человека.