Machine learning что это такое: Machine Learning (машинное обучение): что это такое

Содержание

Machine Learning (машинное обучение): что это такое

Machine learning — множество математических, статистических и вычислительных методов для разработки алгоритмов, способных решить задачу не прямым способом, а на основе поиска закономерностей в разнообразных входных данных.

Что такое Machine Learning

Общий термин «Machine Learning» или «машинное обучение» обозначает множество математических, статистических и вычислительных методов для разработки алгоритмов, способных решить задачу не прямым способом, а на основе поиска закономерностей в разнообразных входных данных [1].  Решение вычисляется не по четкой формуле, а по установленной зависимости результатов от конкретного набора признаков и их значений. Например, если каждый день в течении недели земля покрыта снегом и температура воздуха существенно ниже нуля, то вероятнее всего, наступила зима. Поэтому машинное обучение применяется для диагностики, прогнозирования, распознавания и принятия решений в различных прикладных сферах: от медицины до банковской деятельности.

Типы и суть Machine Learning

Выделяют 2 типа машинного обучения

[1]:

  1. Индуктивное или по прецедентам, которое основано на выявлении эмпирических закономерностей во входных данных;
  2. Дедуктивное, которое предполагает формализацию знаний экспертов и их перенос в цифровую форму в виде базы знаний.

Дедуктивный тип принято относить к области экспертных систем, поэтому общий термин «машинное обучение» означает обучение по прецедентам. Прецеденты или обучающая выборка – это наборы входных объектов и соответствующих им результатов. При этом не существует четкой формулы, которая аналитически описывает зависимость между результатами и входами. Например, какая погода будет завтра, если на протяжении недели дни были морозные, солнечные, с низкой влажностью воздуха, без ветра и осадков? При этом следует учесть еще множество параметров: географические координаты, рельеф местности, движение теплых и холодных фронтов воздуха и пр. Необходимо построить алгоритм, который выдаст достаточно точный результат для любого возможного входа. Точность результатов регулируется оценочным функционалом качества. Таким образом, решение формируется эмпирически, на основе анализа накопленного опыта. При этом обучаемая система должна быть способна к обобщению – адекватному отклику на данные, выходящие за пределы имеющейся обучающей выборки. На практике входные данные могут быть неполными, неточными и разнородными. Поэтому существует множество методов машинного обучения

[2]. Можно сказать, что машинное обучение реализует подход Case Based Reasoning (CBR) — метод решения проблем рассуждением по аналогии, путем предположения на основе подобных случаев (прецедентов). 

Суть и смысл машинного обучения (Machine Learning)

Методы Machine Learning

Существует множество методов машинного обучения. Мы перечислим самые популярные, оставив их подробную классификацию специализированным ресурсам

[1, 2, 3]. Выделяют 2 вида классического Machine Learning:

  1. С учителем (supervised learning), когда необходимо найти функциональную зависимость результатов от входов и построить алгоритм, на входе принимающий описание объекта и на выходе выдающий ответ. Функционал качества, как правило, определяется через среднюю ошибку ответов алгоритма по всем объектам выборки. К обучению с учителем относятся задачи классификации, регрессии, ранжирования и прогнозирования.
  2. Без учителя (unsupervised learning), когда ответы не задаются, и нужно искать зависимости между объектами. Сюда входят задачи кластеризации, поиска ассоциативных правил, фильтрации выбросов, построения доверительной области, сокращения размерности и заполнения пропущенных значений.

К неклассическим, но весьма популярным методам относят обучение с подкреплением, в частности, генетические алгоритмы, и искусственные нейронные сети. В качестве входных объектов выступают пары «ситуация, принятое решение», а ответами являются значения функционала качества, который характеризует правильность принятых решений (реакцию среды). Эти методы успешно применяются для формирования инвестиционных стратегий, автоматического управления технологическими процессами, самообучения роботов и других подобных задач [2].

Ниже на рисунке показана классификация наиболее часто используемых методов Machine Learning [3].

Классификация методов Machine Learning [3]

 

Средства реализации Machine Learning

Сегодня чаще всего для создания программ машинного обучения используются языки R, Python, Scala и Julia

[4]. Они поддерживаются многими интегрированными средами разработки, в частности

Что такое машинное обучение, для чего оно нужно и как работает

Многие пользователи постиндустриальной эпохи задавались вопросом: Machine Learning – что это? Фантастическое будущее, которое уже наступило или очередная непонятная теория вроде квантового дуализма. Не то и не другое.


Машинное обучение (МО), а именно так переводится этот термин, является ветвью искусственного интеллекта. Более детальнее – это методика анализа данных, которые позволяют машине/роботу/аналитической системе самостоятельного обучаться посредством решения массива сходных задач.

Выглядит немного громоздко. Если упростить, то технология машинного обучения — это поиск закономерностей в массиве представленной информации и выбор наилучшего решения без участия человека.

Принцип МО интересно продемонстрировали в гугловском ролике «Google’s DeepMind AI Just Taught Itself To Walk».

Аналитической системе дали задание добраться из одной точки в другую, используя двуногую и четырехногую модель. При этом не показали, как выглядит ходьба и перемещение на четырех конечностях. Машина путем перебора массива данных, совершая ошибки и пробуя заново, нашла оптимальные варианты движения для двух моделей.

Что касается фантастического будущего, то МО условно делят на три стадии внедрения:

  1. Технологии получают приставку «инновационные», а значит, к ним имеют доступ только крупные корпорации и правительственные структуры. Например, Google и Amazon, IBM и Apple первыми стали внедрять искусственный интеллект. Собственно любая система, которая пытается предсказать покупательский спрос на основе массива данных, связана с технологией машинного обучения.
  2. Технологиями пользуются люди с определенным багажом знаний в IT сфере, которые имеют доступ к современным разработкам, гаджетам. Появление новых сервисов, основанных на технологии искусственного интеллекта. Яркий пример – аналитические машины Гугла и Яндекса в контекстной рекламе.
  3. Технологии доступны даже школьнику, людям «лампового» поколения, которые вполне серьезно опасаются «Восстания машин» по аналогии с блокбастером «Терминатор».


Многие эксперты считают, что искусственный интеллект находится на переходной стадии между вторым и третьим уровнем. То есть подкованные в IT люди уже пользуются инновациями, а большинство ещё побаивается.

Сфера применения

Мы рассмотрели Machine Learning – что это понятие означает. Теперь самое время рассмотреть для чего используется МО в бизнесе и жизни.

Спросите человека, увлеченного робототехникой, о сфере применения машинного обучения. Вы услышите много фантастических историй. Например, роботы будут самостоятельно обучаться выполнять поставленные человеком задачи. Добывать в недрах Земли полезные ископаемые, бурить нефтяные и газовые скважины, исследовать глубины океана, тушить пожары и прочее. Программисту не нужно будет расписывать массивные и сложные программы, боясь ошибиться в коде. Робот, благодаря МО, сам будет обучаться вести себя в конкретной ситуации на основе анализа данных.


Здорово, но пока фантастично. В будущем, может даже и не слишком далеком – это станет реальностью.

На что сейчас способен искусственный интеллект и машинное обучение. Сегодня технологию используют больше в маркетинговых целях. Например, Google и Яндекс применяют МО для показа релевантной рекламы пользователям. Вы замечали не раз, что поискав в сети интересующий товар, потом вам несколько часов, а то и дней, показывают похожие предложения.

По такому же принципу формируются умные ленты в соцсетях. Аналитические машины ФБ, ВК, Инстаграм, Твиттер исследуют ваши интересы – какие посты чаще просматриваете, на что кликаете, какие паблики или группы посещаете и другое. Чем дольше и чаще вы активничаете в соцсетях, тем более персонализированной становится ваша лента новостей. Это и хорошо и плохо. С одной стороны – машина отсеивает массив неинтересной (по её мнению) информации, а с другой – она сужает ваш кругозор. Маркетинг – ничего личного!


Машинное обучение используется в структурах обеспечения безопасности. Например, система распознавания лиц в метро. Камеры сканируют лица людей, входящих и выходящих из метро. Аналитические машины сравнивают снимки с лицами, которые находятся в розыске. Если сходство высоко, то система подает сигнал. Сотрудники полиции идут на проверку документов у конкретного человека.

Искусственный интеллект уже внедряют в медицинские учреждения. Например, обработка данных о пациентах, предварительная диагностика и даже подбор индивидуального лечения на основе информации о болезни человека.


Виды машинного обучения

Методы машинного обучения – это совокупность задач, направленных на проверку гипотез, поиск оптимальных решений с помощью искусственного интеллекта. Выделяют три направления:

  1. Обучение с учителем (supervised learning). В этом случае в аналитическую систему загружается массив данных по конкретной задаче и задается направление – цель анализа. Как правило, нужно предсказать что-либо или проверить какую-либо гипотезу.

    Например, у нас есть данные о доходах интернет-магазина за полгода работы. Мы знаем, сколько продано товаров, сколько потрачено денег на привлечение клиентов, ROI, средний чек, количество кликов, отказов и другие метрики. Задача машины проанализировать весь массив данных и выдать прогноз дохода на предстоящий период – месяц, квартал, полгода или год. Это регрессивный метод решения задач.
    Другой пример. На основе массива данных, критериев выборки нужно определить является ли текст письма на электронную почту спамом. Или, имея данные успеваемости школьников по предметам, зная их IQ по тестам, пол и возраст, нужно помочь выпускникам определиться с профориентацией. Аналитическая машина выискивает и проверяет общие черты, сравнивает и классифицирует результаты тестов, оценки по школьной программе, склад ума. На основе данных делает прогноз. Это задачи классификации.

  2. Обучение без учителя (unsupervised learning). Обучение строится на том, что человеку и программе неизвестны правильные ответы заранее, имеется только некий массив данных. Аналитическая машина, обрабатывая информацию, сама ищет взаимосвязи. Зачастую на выходе имеем неочевидные решения.

    Например, мы знаем данные о весе, росте и типе телосложения 10 000 потенциальных покупателей джемперов определенного фасона. Загружаем информацию в машину, чтобы разбить клиентов по кластерам в соответствии с имеющимися данными. В результате мы получим несколько категорий людей со схожими характеристиками, чтобы для них выпустить джемпер нужного фасона. Это задачи кластеризации. Другой пример. Чтобы описать какое-либо явление приходится задействовать 200-300 характеристик. Соответственно визуализировать такие данные крайне сложно, а разобраться в них просто невозможно. Аналитическая система получает задание обработать массив характеристик и выбрать схожие, то есть сжать данные до 2-5-10 характеристик. Это задачи уменьшения размерности.

  3. Глубокое обучение (Deep learning). Глубокое машинное обучение – это обязательно анализ «Больших данных» — Big Data. То есть одним компьютером, одной программой переработать столько информации просто невозможно. Поэтому используются нейронные сети. Суть такого обучения в том, что огромное поле информации разделяется на небольшие сегменты данных, обработка которых делегируется другим устройствам. Например, один процессор только собирает информацию по задаче и передает дальше, четыре других процессора анализируют собранные данные и передают результаты дальше. Следующие в цепочке процессоры ищут решения.

    Например, система распознавания объектов работает по принципу нейросети. Сначала фотографируется объект целиком (получение графической информации), потом система разбивает данные на точки, находит линии из этих точек, строит из линий простые фигуры, а из них – сложные двумерные и далее 3D-объекты.

Классы задач машинного обучения


Обобщим задачи МО:

  1. Регрессия. На основании массива признаков или характеристик предсказать вещественный результат. То есть машина должна выдать конкретную цифру. Например, предсказать стоимость акций на бирже, количество запросов по ключевому слову, бюджет контекстной рекламы и другое.
  2. Классификация. Задача определить по количеству и качеству признаков, характеристик категорию объекта. Например, распознать по снимку конкретного человека в розыске, имея только описания на словах, определить спам, выявить болезнь у пациента.
  3. Кластеризация. Данные разбиваются на похожие категории. Например, космические объекты относят в конкретные категории по схожим признакам (удаленность, размер, планета или звезда и другие).
  4. Уменьшение размерности. Сжатие массива характеристик объекта до меньшего количества признаков для дальнейшей визуализации или использования в работе. Например, сжатие массива данных в архивы для передачи по сети.

Основы машинного обучения


Часто приходится слышать о Machine Learning – что это очень сложная научная дисциплина, осилить которую могут только гении высшей математики и программирования. Однако МО на самом деле гораздо проще, чем кажется на первый взгляд. По крайней мере, изучить основы искусственного интеллекта может любой образованный человек.

Что для этого нужно:

  1. Владеть английским языком на нормальном уровне. Зачем? Чтобы общаться без проблем в кругу единомышленников. В Европе, кстати, незнание английского считается признаком дурного тона. Акцент никого не интересует, но если имеются трудности с построением предложений, то будут трудности и с общением.
  2. Основы программирования. В машинном обучении применяется Python или Matlab. Также не лишним будет понимать, как работают базы данных.
  3. Неплохо подтянуть знания в математике, особенно раздел алгоритмов. Для начала подойдет классический курс Эндрю Энга «Машинное обучение». В курсе много практики, и, главное, нет упора на обширный математический багаж.

Для углубленного обучения МО советуем записаться на курсы от ВШЭ или специализацию от МФТИ.

Предлагаем добавить в свою библиотеку следующие книги по искусственному интеллекту и МО:

  • Стюарт Рассел, Питер Норвиг «Искусственный интеллект. Современный подход»
  • Джордж Ф. Люгер Искусственный интеллект. «Стратегии и методы решения сложных проблем»
  • Петер Флах «Машинное обучение»
  • Себастьян Рашка «Python и машинное обучение»
  • Шарден Б., Массарон Л., Боскетти А. «Крупномасштабное машинное обучение вместе с Python»
  • Тарик Рашид «Создаем нейронную сеть»
  • Хенрик Бринк, Джозеф Ричардс «Машинное обучение»

Все книги можно купить на Озоне.

Резюме

Мы изучили на примерах, что такое машинное обучение. Познакомились с методиками обучения, которые применяются в искусственном интеллекте. Узнали классы задач, решаемые МО. В предыдущем абзаце мы указали ряд книг и курсов, которые помогут в освоении технологий машинного обучения.

типы ML и способы их применения

Популярность машинного обучения и искусственного интеллекта многократно возросла за последние годы, и каждый новый стартап старается использовать эти технологии, чтобы перевернуть традиционный рынок. Словосочетание «искусственный интеллект» в презентации стартапа может значительно повысить его шансы на привлечение инвестиций, — пишет Сергей Бойко, Software Engineer в Railsware, в своей статье на DOU.UA.

Основная задача этой статьи — рассказать о применимости алгоритмов машинного обучения для решения реальных, повседневных задач. Начну с описания различных типов машинного обучения и его основных принципов.

Машинное обучение vs традиционное программирование

Чтобы лучше понять, как работает машинное обучение, давайте рассмотрим, чем оно отличается от традиционного программирования.

Прежде всего, машинное обучение не заменяет традиционное программирование. Так, дата-инженер не станет создавать сайт при помощи алгоритмов машинного обучения.

Обычно машинное обучение и искусственный интеллект дополняют стандартные инструменты программирования. Например, для трейдинговой системы алгоритм прогнозирования может быть создан при помощи машинного обучения, тогда как интерфейс, визуализация данных и прочие составляющие будут реализованы на привычном языке программирования (Ruby, Python, Java и т. д.).

Основное правило здесь: используйте машинное обучение, когда традиционные методы программирования не эффективны для решения задачи.

Для наглядности давайте рассмотрим классическую задачу машинного обучения: прогнозирование курса обмена валют и то, как она может быть решена при помощи обеих техник.

Подход традиционного программирования

В традиционном программировании, чтобы получить решение, инженеру необходимо разработать алгоритм и написать код. Затем он задает входные параметры, а реализованный алгоритм уже выдает результат:

Как инженер создает решение с помощью традиционного программирования

Для предсказания курса валют алгоритм может использовать множество входных параметров:

  • вчерашний курс;
  • вчерашние значения обменных курсов других валют;
  • экономические изменения в стране, которая выпускает данную валюту;
  • изменения в мировой экономике и др.

Таким образом, при помощи традиционного программирования мы сами создаем решение, которое может принять набор параметров и на основании входных данных предсказать новый курс обмена валют.

Основная проблема состоит в том, что человеку крайне сложно работать с большим объемом параметров, тогда как с ограниченным набором можно построить только очень простую модель.

Подход машинного обучения

Для решения той же задачи методами машинного обучения дата-инженер применяет совершенно иной подход. Вместо того, чтобы разработать алгоритм самостоятельно, ему необходимо собрать массив исторических данных, который будет использован для полуавтоматического построения модели.

Собрав достаточный набор данных, дата-инженер загружает его в различные алгоритмы машинного обучения. Результатом является модель, которая может прогнозировать новый результат, получая на вход новые данные.

Дата-инженер может использовать различные «регуляторы», чтобы «подкрутить» алгоритм обучения и получить различные модели. Модель, которая выдает наилучший результат, идет в продакшн.

Использование готовой модели подобно тому, что мы имеем в решении традиционного программирования. Модель получает входные данные и производит результат. Весь процесс выглядит следующим образом:

Как дата-инженер разрабатывает решение при помощи машинного обучения

Основное отличие между традиционным программированием и машинным обучением в том, что в машинном обучении нам не нужно строить модель самостоятельно. Эту задачу выполняют алгоритмы машинного обучения, с разве что небольшими правками, которые дата-инженер вносит в настройки алгоритма.

Другое важное отличие в количестве входных параметров, которое модель способна обработать. Для корректного прогноза погоды в той или иной локации, в теории понадобится ввести тысячи параметров, которые повлияют на результат. Человек априори не может построить алгоритм, который будет использовать все из них разумным образом. Для машинного обучения таких ограничений не существует. Покуда вам хватает мощности процессора и памяти, вы можете использовать столько входных параметров, сколько сочтете нужным.

Типы машинного обучения

Традиционно машинное обучение разделяют на обучение с учителем (supervised), обучение без учителя (unsupervised) и обучение с подкреплением (reinforcement learning). Давайте посмотрим, как они работают и в каких случаях применяются.

Обучение с учителем

Обучение с учителем — наиболее развитое и популярное направление машинного обучения. Основная идея состоит в том, что вы задаете набор входных параметров и ожидаемый результат. Таким образом обучаете алгоритм правильным ответам — отсю

Зачем нужно машинное обучение и как оно работает — Краткая теория Machine Learning

Купить Корзина

ПодобратьWhois

Регистрация      Вход
  • Все услуги
    •  
    • Домены
      • Регистрация Зарегистрировать домен Перенос доменов в REG.RU Освобождающиеся домены Регистрация доменов списком Премиум-домены Освобождённые домены Новые доменные зоны REG.RU Энциклопедия доменных зон Географические домены Подбор по ключевому слову
      • Купить-продать Магазин доменов Доменный брокер Гарант сделки Бесплатный подбор домена Экспертная оценка домена Специальное Условия и цены для Партнёров Юридическое сопровождение Нотариальное заверениесайтаnew
      • Операции Продление регистрации Смена администратора Изменение данных Перенос доменов между аккаунтами Смена регистратора Договоры и письма Онлайн-операции с доменами
      • Мои домены
    • Конструктор и CMS
      • Конструкторы сайтов Конструктор сайтов REG.RU Конструктор лендингов Лицензии Купить Лицензию 1С-Битрикс Продлить Лицензию 1С-Битрикс
      • Сайты на CMS 1С-Битрикс Joomla WordPress
      • Сервисы Переадресация домена Парковочная страница
      • Мои услуги
    • Хостинг
      • Популярное Хостинг сайтов Конструктор сайтов REG.RU Бесплатная почта
      • Спецрешения Хостинг для 1C-Битрикс Хостинг для Joomla Хостинг для ASP.NET Хостинг для WordPress Хостинг для OpenCart Пакет Хостинг + Домен Сервер для бизнесаnew
      • Операции Продление Изменение владельца Договоры и письма Бесплатный перенос
      • Мои услуги

    • VPS
      • Обзор VPS Облачные VPS Облачные серверы Высокочастотные VPSnew Приложения ISPmanager LEMP Docker Снэпшоты VPS с администрированием

Глубокое обучение (Deep Learning): краткий туториал

Первым шагом к пониманию того, как работает глубокое обучение, является понимание различий между несколькими важными терминами.

Нейронная сеть (искусственная нейронная сеть) — это попытка воспроизведения работы человеческого мозга на компьютере при помощи слоев нейронов.

Искусственный интеллект — способность машины или программы находить решения при помощи вычислений.

Во время первых исследований в области ИИ ученые пытались воспроизвести человеческий интеллект для решения конкретных задач — например, игры с человеком. Было введено большое количество правил, которым должен следовать компьютер. На основе этих правил компьютер принимал решения в согласии с конкретным списком возможных действий.

Машинное обучение — это попытка научить компьютеры самостоятельно обучаться на большом количестве данных вместо жестко постулированных правил.

Машинное обучение позволяет компьютерам самостоятельно обучаться. Это возможно благодаря вычислительной мощности современных компьютеров, которые могут легко обрабатывать большие наборы данных.

Контролируемое и неконтролируемое обучение

Контролируемое обучение (обучение с учителем, supervised learning) подразумевает использование помеченных наборов данных, содержащих входные данные и ожидаемые выходные результаты. Когда вы обучаете нейронную сеть с помощью контролируемого обучения, вы подаете как входные данные, так и ожидаемые выходные результаты.

Если результат, генерируемый нейронной сетью, неверен, она скорректирует свои вычисления. Это итерационный процесс, оканчивающийся тогда, когда сеть перестает совершать ошибки.

Примером задачи с контролируемым обучением является предсказание погоды. Нейросеть учится делать прогноз погоды с использованием исторических данных. Обучающие данные включают в себя входные данные (давление, влажность, скорость ветра) и выходные результаты (температура).

Неконтролируемое обучение (обучение без учителя, unsupervised learning) — это машинное обучение с использованием наборов данных без определенной структуры.

Когда вы обучаете нейросеть неконтролируемо, она самостоятельно проводит логическую классификацию данных. Примером задачи с неконтролируемым обучением является предсказание поведения посетителей интернет-магазинов. В этом случае сеть не обучается на размеченных даннх. Вместо этого она самостоятельно классифицирует входные данные и отвечает на вопрос, какие пользователи чаще всего покупают различные товары.

Глубокое обучение

Теперь вы подготовлены к изучению того, что такое глубокое обучение и как оно работает.

Глубокое обучение — это метод машинного обучения. Глубокое обучение позволяет обучать модель предсказывать результат по набору входных данных. Для обучения сети можно использовать как контролируемое, так и неконтролируемое обучение.

Разница между машинным и глубоким обучением

Рассмотрим, как работает глубокое обучение, на примере сервиса по оценке стоимости авиабилета. Мы будем обучать его контролируемым образом.

Мы хотим, чтобы наш сервис предсказывал цену на авиабилет по следующим входным данным:

  • аэропорт вылета;
  • аэропорт назначения;
  • дат

От Big Data к Machine Learning


Роман Рудык
Data Analyst


Интерес к Big Data не угасает, наоборот, все больше людей интересуются тем как собирать, структурировать, анализировать и применять в своей работе и бизнесе огромные объемы данных, которые в наше время поступают фактически отовсюду. Это неудивительно, ведь за одну минуту в Интернете появляется 570 новых сайтов, за 1 день в мировом информационном пространстве происходит более 2 млрд событий, которые даже после обработки и сжатия занимают около 400 Гбайт, а каждый год общий объем получаемых и хранимых бизнес-данных удваивается.

Мировые корпорации и большие компании уже несколько лет активно используют Big Data для развития своего бизнеса, инвестируя миллионы долларов в их изучение, в то время как украинские компании только начинают интересоваться этим направлением. Но действительно ли Big Data является панацеей или необходимо что-то большее?

Big Data – это большой объем структурированных или неструктурированных данных, ценность которых зависит от конкретно поставленной задачи. В наше время уже все данные становятся большими, но большинство задач требует малых данных. Большие данные — не всегда дают ожидаемый результат. Особенно важной становится проблема качества данных, так как вместе с ценной информацией генерируется куча информационного мусора. Для качественного анализа и практического применения Big Data нужна хорошая команда аналитиков, которые смогут извлечь полезные знания и правильно их интерпретировать.

Практическая ценность Big Data перешла в новую плоскость, и ее фактически заменил новый класс технологий — Machine Learning («Машинное обучение»), появившийся относительно недавно. Machine Learning — это метод анализа данных, основанный на построении автоматизированной аналитической модели. Используя математические алгоритмы анализа данных, Machine Learning позволяет находить скрытые факторы и зависимости, не будучи заранее запрограммированным на определенное место поиска.

Важным аспектом в Machine Learning является способность адаптироваться и переобучаться на вновь поступивших данных, для получения надежных и репрезентативных результатов. С ростом производительной мощности компьютеров значительно расширились сферы применения Machine Learning для анализа больших данных. Вот несколько примеров, о которых вы могли слышать:

  • Самоуправляемый автомобиль Google — яркий пример результатов машинного обучения.
  • Рекомендательные системы типа Amazon и Netflix. Применение машинного обучения для решения ежедневных проблем.
  • Интеллектуальный анализ текстов для того чтоб знать, что другие пользователи пишут о вас в Twitter.
  • Борьба с мошенничеством. Одна из наиболее очевидных и важных целей сегодня.

Рост интереса к Machine Learning и его практической значимости обусловлен тем, что сейчас для его применения есть все инструменты, как никогда ранее: постоянно растущие объемы и разновидности имеющихся данных, дешевые вычислительные мощности и хранилища данных, постоянно совершенствующееся программное обеспечение, которое позволяет проводить анализ и обработку данных, не имея углубленных знаний в этой области.

Machine Learning позволяет быстро в автоматическом режиме анализировать большие, более сложные данные и обеспечивает более быстрый, более точный результат. А результат — это ценные предсказания, которые помогают принять лучшее решение и сделать правильные действия в реальном времени без вмешательства человека.

По этому поводу хорошо высказался ведущий ученый в области аналитики Томас Дэвенпорт в своем комментарии The Wall Street Journal. По его словам, в условиях быстро меняющихся, растущих объемов данных, «… Вам необходимо быстрое потоковое моделирование, чтобы не отставать.» И вы можете сделать это с помощью Machine Learning. Он говорит:

Люди могут создать одну или две хороших моделей в неделю; Machine Learning может создать тысячи моделей в неделю.

Что такое Машинное обучение Azure

  • 5 минут на чтение

В этой статье

В этой статье вы узнаете о Машинном обучении Azure, облачной среде, которую вы можете использовать для обучения, развертывания, автоматизации, управления и отслеживания моделей машинного обучения.

Машинное обучение

Azure можно использовать для любого типа машинного обучения, от классического машинного обучения до глубокого, контролируемого и неконтролируемого обучения.Независимо от того, предпочитаете ли вы писать код Python или R с помощью SDK или работать с вариантами без кода / с низким кодом в студии, вы можете создавать, обучать и отслеживать модели машинного обучения и глубокого обучения в рабочей области машинного обучения Azure.

Начните обучение на локальном компьютере, а затем выполните горизонтальное масштабирование до облака.

Сервис также взаимодействует с популярными инструментами с открытым исходным кодом для глубокого обучения и подкрепления, такими как PyTorch, TensorFlow, scikit-learn и Ray RLlib.

Подсказка

Бесплатная пробная версия! Если у вас нет подписки Azure, перед началом работы создайте бесплатную учетную запись.Попробуйте бесплатную или платную версию Машинного обучения Azure уже сегодня. Вы получаете кредиты, которые можно потратить на службы Azure. Когда они будут израсходованы, вы можете сохранить учетную запись и использовать бесплатные службы Azure. С вашей кредитной карты никогда не списываются средства, если вы явно не измените настройки и не попросите списать средства.

Что такое машинное обучение?

Машинное обучение — это метод науки о данных, который позволяет компьютерам использовать существующие данные для прогнозирования будущего поведения, результатов и тенденций. Используя машинное обучение, компьютеры учатся без явного программирования.

Прогнозы или предсказания на основе машинного обучения могут сделать приложения и устройства умнее. Например, когда вы делаете покупки в Интернете, машинное обучение помогает рекомендовать другие продукты, которые могут вам понадобиться, в зависимости от того, что вы купили. Или, когда с вашей кредитной карты проводится считывание, машинное обучение сравнивает транзакцию с базой данных транзакций и помогает обнаруживать мошенничество. А когда ваш робот-пылесос пылесосит комнату, машинное обучение помогает ему решить, выполнена ли работа.

Машинное обучение Azure предоставляет разработчикам и специалистам по обработке данных все инструменты, необходимые для их рабочих процессов машинного обучения, в том числе:

Вы даже можете использовать MLflow для отслеживания показателей и развертывания моделей или Kubeflow для создания сквозных конвейеров рабочего процесса.

Создание моделей машинного обучения на Python или R

Начните обучение на локальном компьютере с помощью пакета SDK для Python для машинного обучения Azure или R SDK. Затем вы можете масштабироваться до облака.

Имея множество доступных целей вычислений, таких как вычислительные ресурсы для машинного обучения Azure и Azure Databricks, а также расширенные службы настройки гиперпараметров, вы можете быстрее создавать лучшие модели, используя возможности облака.

Вы также можете автоматизировать обучение и настройку модели с помощью SDK.

Сборка ML моделей в студии

Студия машинного обучения Azure — это веб-портал в Машинном обучении Azure для вариантов с низким кодом и без кода для обучения модели, развертывания и управления активами.Студия интегрируется с пакетом SDK для машинного обучения Azure для беспроблемной работы. Дополнительные сведения см. В разделе Что такое Студия машинного обучения Azure.

MLOps: развертывание и управление жизненным циклом

Если у вас есть подходящая модель, вы можете легко использовать ее в веб-службе, на устройстве Интернета вещей или из Power BI. Дополнительные сведения см. В статье о том, как развернуть и где.

Затем вы можете управлять развернутыми моделями с помощью пакета SDK машинного обучения Azure для Python, студии машинного обучения Azure или интерфейса командной строки машинного обучения.

Эти модели могут использоваться и возвращать прогнозы в реальном времени или асинхронно для больших объемов данных.

А с помощью расширенных конвейеров машинного обучения вы можете сотрудничать на каждом этапе от подготовки данных, обучения модели и оценки до развертывания. Трубопроводы позволяют:

  • Автоматизировать сквозной процесс машинного обучения в облаке
  • Повторно используйте компоненты и выполняйте шаги только при необходимости
  • Использовать разные вычислительные ресурсы на каждом этапе
  • Запускать задачи пакетной оценки

Если вы хотите использовать сценарии для автоматизации рабочего процесса машинного обучения, интерфейс командной строки машинного обучения предоставляет инструменты командной строки, которые выполняют общие задачи, такие как отправка обучающего прогона или развертывание модели.

Чтобы начать работу с Машинным обучением Azure, см. Следующие шаги.

Интеграция с другими сервисами

Машинное обучение Azure работает с другими службами на платформе Azure, а также интегрируется с такими инструментами с открытым исходным кодом, как Git и MLFlow.

  • Целевые объекты вычислений, такие как Azure Kubernetes Service , экземпляров контейнера Azure , Azure Databricks , Azure Data Lake Analytics и Azure HDInsight .Дополнительные сведения о целевых объектах вычислений см. В разделе Что такое целевые объекты вычислений ?.
  • Сетка событий Azure . Дополнительные сведения см. В разделе Использование событий машинного обучения Azure.
  • Лазурный монитор . Дополнительные сведения см. В разделе Мониторинг машинного обучения Azure.
  • Хранилища данных, такие как учетных записей хранения Azure , Azure Data Lake Storage , База данных SQL Azure , База данных Azure для PostgreSQL и Открытые наборы данных Azure .Дополнительные сведения см. В разделах Доступ к данным в службах хранилища Azure и Создание наборов данных с помощью открытых наборов данных Azure.
  • Виртуальные сети Azure . Дополнительные сведения см. В разделе Обзор изоляции и конфиденциальности виртуальной сети.
  • Лазурные конвейеры . Дополнительные сведения см. В разделе Обучение и развертывание моделей машинного обучения.
  • Журналы репозитория Git . Дополнительные сведения см. В разделе «Интеграция с Git».
  • MLFlow . Для получения дополнительной информации см. MLflow для отслеживания показателей и развертывания моделей
  • .
  • Kubeflow .Для получения дополнительной информации см. Сборку конвейеров сквозного рабочего процесса.

Безопасная связь

Ваша учетная запись хранилища Azure, целевые объекты вычислений и другие ресурсы можно безопасно использовать внутри виртуальной сети для обучения моделей и выполнения логических выводов. Дополнительные сведения см. В разделе Обзор изоляции и конфиденциальности виртуальной сети.

Следующие шаги

Что такое машинное обучение? | Emerj

Набрав «что такое машинное обучение?» в поиске Google открывает ящик Пандоры с форумами, академическими исследованиями и ложной информацией — и цель этой статьи — упростить определение и понимание машинного обучения благодаря прямой помощи нашей группы исследователей машинного обучения.

В Emerj, компании, занимающейся исследованиями и консультированием в области искусственного интеллекта, многие наши корпоративные клиенты считают, что им следует инвестировать в проекты машинного обучения, но у них нет четкого представления о том, что это такое. Мы часто направляем их на этот ресурс, чтобы они познакомились с основами машинного обучения в бизнесе.

В дополнение к обоснованному рабочему определению машинного обучения (ML) мы подробно описываем проблемы и ограничения, связанные с тем, чтобы заставить машины «думать», некоторые из проблем, которые сегодня решаются в области глубокого обучения (граница машинного обучения), и ключевые выводы для разработки приложений машинного обучения для бизнес-сценариев.

Эта статья будет разбита на следующие разделы:

  • Что такое машинное обучение?
  • Как мы пришли к нашему определению (IE: взгляд экспертов-исследователей)
  • Базовые концепции машинного обучения
  • Визуальное представление моделей машинного обучения
  • Как заставить машины учиться
  • Обзор проблем и ограничений машинного обучения
  • Краткое введение в глубокое обучение
  • Процитированные работы
  • Связанные интервью ML по Emerj

Мы собрали этот ресурс, чтобы помочь в любой области, которая вам интересна в области машинного обучения — так что пролистайте до интересующего раздела или прочтите статью по порядку, начиная с нашего определения машинного обучения ниже:

Что такое машинное обучение?

* «Машинное обучение — это наука о том, как заставить компьютеры учиться и действовать, как люди, и улучшать свое обучение с течением времени автономно, снабжая их данными и информацией в форме наблюдений и взаимодействий в реальном мире.”

Приведенное выше определение инкапсулирует идеальную цель или конечную цель машинного обучения, выраженную многими исследователями в этой области. Цель этой статьи — предоставить ориентированному на бизнес читателю экспертный взгляд на то, как определяется машинное обучение и как оно работает. Машинное обучение и искусственный интеллект разделяют одно и то же определение в умах многих, однако есть некоторые отличия, которые читатели должны признать. Ссылки и соответствующие интервью с исследователями включены в конце этой статьи для дальнейшего изучения.

* Как мы пришли к нашему определению:

(Наше агрегированное определение машинного обучения можно найти в начале этой статьи)

Как и у любой концепции, машинное обучение может иметь несколько иное определение, в зависимости от того, кого вы просить. Мы прочесали Интернет, чтобы найти пять практических определений из авторитетных источников:

  1. «Машинное обучение по своей сути — это практика использования алгоритмов для анализа данных, изучения их и последующего определения или предсказания чего-либо в мире.»- Nvidia
  2. « Машинное обучение — это наука о том, как заставить компьютеры работать без явного программирования ». — Stanford
  3. «Машинное обучение основано на алгоритмах, которые могут обучаться на основе данных, не полагаясь на программирование на основе правил». — McKinsey & Co.
  4. «Алгоритмы машинного обучения могут понять, как выполнять важные задачи, обобщая примеры». — Вашингтонский университет
  5. «Область машинного обучения стремится ответить на вопрос:« Как мы можем создать компьютерные системы, которые автоматически улучшаются с приобретением опыта, и каковы фундаментальные законы, которые управляют всеми процессами обучения? » — Университет Карнеги-Меллона

Мы разослали эти определения экспертам, с которыми мы опросили и / или включили в одно из наших прошлых консенсусных исследований, и попросили их ответить своим любимым определением или предоставить свое собственное.Наше вводное определение призвано отразить различные ответы. Ниже приведены некоторые из их ответов:

Д-р Йошуа Бенджио, Университет Монреаля:

ML не следует определять отрицательными (таким образом, правила 2 и 3). Вот мое определение:

Исследования в области машинного обучения — это часть исследований в области искусственного интеллекта, направленных на предоставление знаний компьютерам посредством данных, наблюдений и взаимодействия с миром. Полученные знания позволяют компьютерам правильно обобщать новые параметры.

Д-р Данко Николич, CSC и Институт Макса Планка:

(отредактированный номер 2 выше): «Машинное обучение — это наука, заставляющая компьютеры действовать без явного программирования, а вместо этого позволяя им изучить несколько трюков. самостоятельно.»

Доктор Роман Ямпольский, Университет Луисвилля:

Машинное обучение — это наука о том, как заставить компьютеры учиться так же, как люди, или лучше.

Доктор Эмили Фокс, Вашингтонский университет:

Мое любимое определение — №5.

Базовые концепции машинного обучения

Существует множество различных типов алгоритмов машинного обучения, сотни из которых публикуются каждый день, и они обычно сгруппированы по стилю обучения (т.е. контролируемое обучение, неконтролируемое обучение, полу-контролируемое обучение ) или сходством по форме или функции (т. е. классификация, регрессия, дерево решений, кластеризация, глубокое обучение и т. д.). Независимо от стиля обучения или функции, все комбинации алгоритмов машинного обучения состоят из следующего:

  • Представление (набор классификаторов или язык, который понимает компьютер)
  • Оценка (также известная как цель / функция оценки)
  • Оптимизация (метод поиска; часто, например, классификатор с наивысшими баллами; используются как стандартные, так и специальные методы оптимизации)

Изображение предоставлено: Dr.Педро Доминго, Вашингтонский университет

Фундаментальная цель алгоритмов машинного обучения — обобщить за пределы обучающих выборок, т.е. успешно интерпретировать данные, которые он никогда не «видел» раньше.

Визуальные представления моделей машинного обучения

Понятия и маркированные пункты могут привести только к одному пониманию. Когда люди спрашивают «Что такое машинное обучение?», Они часто хотят, чтобы увидел , что это такое и для чего он нужен.Ниже приведены некоторые визуальные представления моделей машинного обучения с соответствующими ссылками для получения дополнительной информации. Еще больше ресурсов можно найти внизу этой статьи.

Модель дерева решений

Модель смеси Гаусса

Нейронная сеть с выпадением

Слияние цветности и яркости с использованием сверточных нейронных сетей

Как мы получаем машины для обучения Существуют разные подходы к обучению машин, от использования базовых деревьев решений до кластеризации слоев искусственных нейронных сетей (последняя уступила место глубокому обучению), в зависимости от того, какую задачу вы пытаетесь выполнить, а также от типа и количество данных, которые у вас есть.Эта динамика проявляется в таких различных приложениях, как медицинская диагностика или беспилотные автомобили.

Хотя акцент часто делается на выборе лучшего алгоритма обучения, исследователи обнаружили, что некоторые из наиболее интересных вопросов возникают из-за того, что ни один из доступных алгоритмов машинного обучения не работает должным образом. В большинстве случаев это проблема с данными обучения, но это также происходит при работе с машинным обучением в новых областях.

Исследования, проводимые при работе с реальными приложениями, часто способствуют прогрессу в этой области, и есть две причины: 1.Тенденция к обнаружению границ и ограничений существующих методов. 2. Исследователи и разработчики, работающие с экспертами в предметной области и использующие время и знания для повышения производительности системы.

Иногда это тоже происходит «случайно». В качестве одного из примеров мы можем рассматривать ансамбли моделей или комбинации многих обучающих алгоритмов для повышения точности. Команды, соревнующиеся за 2009 Netflix Price, обнаружили, что они достигли наилучших результатов, объединив своих учеников с учениками других команд, что привело к усовершенствованному алгоритму рекомендаций (читайте блог Netflix, чтобы узнать, почему они не стали использовать этот ансамбль).

Один важный момент (основанный на интервью и беседах с экспертами в этой области) с точки зрения применения в бизнесе и в других местах, заключается в том, что машинное обучение — это не просто автоматизация и даже не об автоматизации, которую часто неправильно понимают. Если вы так думаете, вы обязательно упустите ценную информацию, которую могут предоставить машины, и связанные с этим возможности (например, переосмысление всей бизнес-модели, как это было в таких отраслях, как производство и сельское хозяйство).

Обучающиеся машины полезны для людей, потому что, обладая всей своей вычислительной мощностью, они могут быстрее выделять или находить закономерности в больших (или других) данных, которые в противном случае были бы упущены людьми.Машинное обучение — это инструмент, который можно использовать для повышения способности людей решать проблемы и делать обоснованные выводы по широкому кругу проблем, от помощи в диагностике заболеваний до поиска решений для глобального изменения климата.

Проблемы и ограничения

«Машинное обучение не может получить что-то из ничего… оно позволяет получить больше из меньшего». — Д-р Педро Доминго, Вашингтонский университет

Две самые большие исторические (и текущие) проблемы в машинном обучении связаны с переобучением (при котором модель демонстрирует предвзятость в отношении данных обучения и не обобщается на новые данные, и / или дисперсия i.е. изучает случайные вещи при обучении на новых данных) и размерность (алгоритмы с большим количеством функций работают в более высоких / множественных измерениях, что затрудняет понимание данных). Доступ к достаточно большому набору данных в некоторых случаях также был основной проблемой.

Одна из самых распространенных ошибок среди новичков в машинном обучении — это успешное тестирование данных обучения и иллюзия успеха; Доминго (и другие) подчеркивают важность разделения некоторых наборов данных при тестировании моделей и использования только этих зарезервированных данных для тестирования выбранной модели с последующим обучением на всем наборе данных.

Когда алгоритм обучения (т.е. обучающийся) не работает, часто более быстрый путь к успеху — это передать в машину больше данных, доступность которых к настоящему времени хорошо известна как основной фактор прогресса в алгоритмах машинного и глубокого обучения. за последние годы; однако это может привести к проблемам с масштабируемостью, когда у нас больше данных, но время узнать, что данные остаются проблемой.

С точки зрения цели, машинное обучение не является самоцелью или решением. Кроме того, попытка использовать его в качестве универсального решения i.е. «ПУСТОЙ» — бесполезное упражнение; вместо этого, подходя к столу с проблемой или целью, часто лучше всего руководствоваться более конкретным вопросом — «ПУСТОЙ».

Глубокое обучение и современные разработки в нейронных сетях

Глубокое обучение включает изучение и разработку машинных алгоритмов для обучения правильному представлению данных на нескольких уровнях абстракции (способы организации компьютерных систем). Недавняя реклама глубокого обучения через DeepMind, Facebook и другие учреждения выдвинула на первый план его как «следующий рубеж» машинного обучения.

Международная конференция по машинному обучению (ICML) считается одной из самых важных в мире. В этом году он прошел в июне в Нью-Йорке и собрал исследователей со всего мира, которые работают над решением текущих проблем глубокого обучения:

  1. Неконтролируемое обучение в небольших наборах данных
  2. Обучение на основе моделирования и переносимость в реальный мир

За последнее десятилетие системы глубокого обучения добились больших успехов в таких областях, как обнаружение и распознавание объектов, преобразование текста в речь, поиск информации и другие.В настоящее время исследования сосредоточены на разработке машинного обучения с эффективным использованием данных. то есть систем глубокого обучения, которые могут обучаться более эффективно, с той же производительностью за меньшее время и с меньшими объемами данных в передовых областях, таких как персонализированное здравоохранение, обучение с подкреплением роботов, анализ настроений , и другие.

Ключевые выводы по применению Машинное обучение

Ниже приведены лучшие практики и концепции применения машинного обучения, которые мы собрали из наших интервью для нашей серии подкастов и из избранных источников, указанных в конце эта статья.Мы надеемся, что некоторые из этих принципов прояснят, как используется машинное обучение и как избежать некоторых распространенных ошибок, с которыми компании и исследователи могут быть уязвимы при запуске проекта, связанного с машинным обучением.

  • Пожалуй, наиболее важным фактором в успешных проектах машинного обучения являются функции , , используемые для описания данных (которые относятся к предметной области), и наличие адекватных данных для обучения ваших моделей в первую очередь
  • Большинство время, когда алгоритмы не работают хорошо, это из-за проблемы с данными обучения (т.е. недостаточное количество / искаженные данные; зашумленные данные; или недостаточные характеристики, описывающие данные для принятия решений
  • «Простота не означает точности» — нет (согласно Доминго) конкретной связи между количеством параметров модели и тенденцией к переобучению
  • Получение экспериментальных данных ( в отличие от данных наблюдений, которые мы не можем контролировать), если это возможно (например, данные, полученные при отправке различных вариантов электронного письма случайной выборке аудитории)
  • Независимо от того, обозначаем ли мы данные как причинные или корреляционные более важным моментом является прогнозировать эффекты наших действий
  • Всегда откладывайте часть набора данных обучения для перекрестной проверки; вы хотите, чтобы выбранный вами классификатор или алгоритм обучения хорошо работали на свежих данных

Emerj Для руководителей предприятий

Emerj помогает предприятиям начать работу с искусственным интеллектом и машинным обучением.Используя наши пейзажи возможностей искусственного интеллекта, клиенты могут открыть для себя самые большие возможности автоматизации и искусственного интеллекта в своих компаниях и выбрать проекты искусственного интеллекта с максимальной рентабельностью инвестиций. Вместо того, чтобы тратить деньги на пилотные проекты, которые обречены на провал, Emerj помогает клиентам вести дела с подходящими для них поставщиками ИИ и повысить уровень успешности их проектов ИИ.

Процитированные работы

1 — http://homes.cs.washington.edu/~pedrod/papers/cacm12.pd

2 — http: // videolectures.net / deeplearning2016_precup_machine_learning /

3 — http://www.aaai.org/ojs/index.php/aimagazine/article/view/2367/2272

4 — https://research.facebook.com/blog/facebook -researchers-focus-on-the-наиболее сложные-вопросы-машинного обучения-at-icml-2016/

5 — https://sites.google.com/site/dataefficientml/

6 — http: / /www.cl.uni-heidelberg.de/courses/ws14/deepl/BengioETAL12.pdf

Связанные интервью по машинному обучению на Emerj

Один из лучших способов узнать о концепциях искусственного интеллекта — это изучить исследования и применения самые умные умы в этой области.Ниже приводится краткий список некоторых из наших интервью с исследователями машинного обучения, многие из которых могут быть интересны читателям, которые хотят изучить эти темы дополнительно:

Что такое машинное обучение? | Как это работает, методы и применение

Обучение с учителем

Машинное обучение с учителем создает модель, которая делает прогнозы на основе доказательств в присутствии неопределенности. Алгоритм контролируемого обучения берет известный набор входных данных и известные ответы на данные (выходные данные) и обучает модель генерировать разумные прогнозы для ответа на новые данные.Используйте обучение с учителем, если вам известны данные для результата, который вы пытаетесь предсказать.

Обучение с учителем использует методы классификации и регрессии для разработки моделей прогнозирования.

Методы классификации предсказывают дискретные ответы — например, является ли электронное письмо подлинным или спамом, или является ли опухоль злокачественной или доброкачественной. Модели классификации классифицируют входные данные по категориям. Типичные приложения включают медицинскую визуализацию, распознавание речи и кредитный рейтинг.

Используйте классификацию, если ваши данные можно пометить, классифицировать или разделить на определенные группы или классы. Например, приложения для распознавания рукописного ввода используют классификацию для распознавания букв и цифр. В обработке изображений и компьютерном зрении методы неконтролируемого распознавания образов используются для обнаружения объектов и сегментации изображений.

Общие алгоритмы для выполнения классификации включают машину опорных векторов (SVM), деревья решений с усилением и пакетом, ближайший сосед k , наивный байесовский анализ, дискриминантный анализ, логистическую регрессию и нейронные сети.

Методы регрессии предсказывают непрерывные реакции — например, изменения температуры или колебания потребляемой мощности. Типичные приложения включают прогнозирование нагрузки на электроэнергию и алгоритмическую торговлю.

Используйте методы регрессии, если вы работаете с диапазоном данных или если характер вашего ответа является действительным числом, например, температура или время до отказа для единицы оборудования.

Общие алгоритмы регрессии включают линейную модель, нелинейную модель, регуляризацию, пошаговую регрессию, деревья решений с усилением и пакетом, нейронные сети и адаптивное нейронечеткое обучение.

мл | Что такое машинное обучение?

Артур Самуэль , пионер в области искусственного интеллекта и компьютерных игр, ввел термин «Машинное обучение» . Он определил машинное обучение как — «Область исследования, которая дает компьютерам возможность учиться без явного программирования» .
Проще говоря, машинное обучение (ML) можно объяснить как автоматизацию и улучшение процесса обучения компьютеров на основе их опыта без фактического программирования i.е. без какой-либо помощи человека. Процесс начинается с подачи данных хорошего качества, а затем обучения наших машин (компьютеров) путем построения моделей машинного обучения с использованием данных и различных алгоритмов. Выбор алгоритмов зависит от того, какой тип данных у нас есть и какую задачу мы пытаемся автоматизировать.

Пример: Обучение студентов во время экзамена.
При подготовке к экзаменам студенты фактически не вдавливают предмет, а стараются выучить его с полным пониманием.Перед экзаменом они снабжают свою машину (мозг) большим количеством высококачественных данных (вопросы и ответы из разных книг, заметок учителей или онлайн-видеолекций). На самом деле, они тренируют свой мозг как на вводе, так и на выходе, то есть какой подход или логика у них есть для решения различных вопросов. Каждый раз, когда они решают практические тестовые задания и определяют производительность (точность / балл), сравнивая ответы с заданным ключом ответа, постепенно производительность продолжает расти, приобретая больше уверенности с принятым подходом.Вот как на самом деле строятся модели, обучаем машину с данными (модели передаются и входы, и выходы), и когда придет время, тестируем данные (только с входом) и получаем оценки нашей модели, сравнивая свой ответ с фактическим выходом, который не кормили во время тренировки. Исследователи прилагают все усилия, чтобы улучшить алгоритмы и методы, чтобы эти модели работали еще лучше
.

Основная разница в машинном обучении и традиционном программировании?

  • Традиционное программирование: Мы вводим ДАННЫЕ (ввод) + ПРОГРАММА (логика), запускаем их на машине и получаем вывод.
  • Машинное обучение: Мы вводим данные (ввод) + вывод, запускаем их на машине во время обучения, и машина создает свою собственную программу (логику), которая может быть оценена во время тестирования.


Что на самом деле означает обучение для компьютера?

Считается, что компьютер учится на опытах по отношению к некоторому классу задач , если его производительность в данной задаче улучшается с опытом.

Считается, что компьютерная программа учится на опыте E в отношении некоторого класса задач T и показателя производительности P , если ее производительность при выполнении задач в T , измеренная с помощью P , улучшается с опытом E


Пример: игра в шашки.
E = опыт игры во многие шашки
T = задача игры в шашки.
P = вероятность того, что программа выиграет следующую игру

В общем, любую задачу машинного обучения можно отнести к одной из двух широких классификаций:
Обучение с учителем и обучение без учителя.

Как все работает на самом деле : —

  • Если говорить об онлайн-покупках, то есть миллионы пользователей с неограниченным кругом интересов в отношении брендов, цветов, ценового диапазона и многого другого.При совершении покупок в Интернете покупатели обычно ищут несколько товаров. Теперь частый поиск продукта заставит покупателя Facebook, веб-страницы, поисковую систему или этот интернет-магазин начать рекомендовать или показывать предложения по этому конкретному продукту. Никто не сидит там, чтобы кодировать такую ​​задачу для каждого пользователя, вся эта задача полностью автоматическая. Здесь ML играет свою роль. Исследователи, специалисты по обработке данных, специалисты по машинному обучению создают модели на машине, используя хорошее качество и огромное количество данных, и теперь их машина автоматически работает и даже улучшается с увеличением опыта и времени.
    Традиционно реклама делалась только с использованием газет, журналов и радио, но теперь технологии сделали нас достаточно умными, чтобы сделать Целевую рекламу (система онлайн-рекламы), которая является гораздо более эффективным методом нацеливания на наиболее восприимчивую аудиторию.
  • Даже в сфере здравоохранения ML отлично справляется со своей задачей. Исследователи и ученые подготовили модели для обучения машин , обнаруживающих рак , просто глядя на изображения слайдов клеток. Для выполнения этой задачи людям потребовалось бы много времени.Но теперь, больше никаких задержек, машины предсказывают шансы быть или не заболеть раком с некоторой точностью, и врачи просто должны дать уверенный звонок, вот и все. Ответ на вопрос — как это возможно — очень прост — все, что требуется, это высокая вычислительная машина, большой объем данных изображения хорошего качества, модель машинного обучения с хорошими алгоритмами для достижения самых современных результатов.
    Врачи используют ML даже для пациентов, которые ставят диагноз на основании различных рассматриваемых параметров.
  • Возможно, вы все использовали рейтингов IMDB , Google Фото , где распознаются лица, Google Lens , где модель распознавания текста ML может извлекать текст из изображений, которые вы загружаете, Gmail , которые категории Электронная почта как социальная сеть, продвижение, обновления или форум с использованием классификации текста, которая является частью машинного обучения.


Как работает ML?

  • Сбор прошлых данных в любой форме, подходящей для обработки. Чем выше качество данных, тем больше они подходят для моделирования
  • Обработка данных — Иногда данные собираются в необработанном виде, и их необходимо предварительно обработать.
    Пример: в некоторых кортежах могут отсутствовать значения определенных атрибутов, и в этом случае они должны быть заполнены подходящими значениями для выполнения машинного обучения или любой формы интеллектуального анализа данных.
    Отсутствующие значения для числовых атрибутов, таких как цена дома, могут быть заменены средним значением атрибута, тогда как отсутствующие значения для категориальных атрибутов могут быть заменены атрибутом с наивысшим режимом. Это неизменно зависит от типов используемых нами фильтров. Если данные представлены в форме текста или изображений, тогда потребуется преобразование их в числовую форму, будь то список, массив или матрица. Просто данные должны быть актуальными и последовательными. Он должен быть преобразован в формат, понятный для машины
  • Разделите входные данные на наборы для обучения, перекрестной проверки и тестирования.Соотношение между соответствующими наборами должно быть 6: 2: 2.
  • Построение моделей с подходящими алгоритмами и методами на обучающей выборке.
  • Тестирование нашей концептуальной модели с данными, которые не были переданы в модель во время обучения, и оценка ее производительности с использованием таких показателей, как оценка F1, точность и отзыв.

  • Необходимые условия для изучения ML:

    • Линейная алгебра
    • Статистика и вероятность
    • Исчисление
    • Теория графов
    • Навыки программирования — такие языки, как Python, R, MATLAB, C ++ или Octave

    Вниманию читателя! Не прекращайте учиться сейчас.Получите все важные концепции теории CS для собеседований SDE с курсом теории CS по доступной для студентов цене и будьте готовы к работе в отрасли.

Почему вам следует изучать искусственный интеллект и машинное обучение и как я это сделал

Перейти к основному содержанию
  • Для потребителей
      • Телефоны
      • Домашний Wi-Fi
      • Смарт-телевизоры
      • Потоковые устройства
      • Наушники
    Для потребителей
  • Для бизнеса
      • Решения для сервис-провайдеров
      • Решения для промышленности и государственного сектора
      • Телефоны для бизнеса
      • Возможности лицензирования
      • Лицензирование бренда
  • Инновации
      • Инновационная платформа
      • NGP Capital
      • Nokia Bell Labs
      • Экосистема открытых инноваций
    Инновации
  • О нас
      • Отдел новостей
      • Устойчивость
      • Инвесторы
      • Карьера
      • Отношения с государством
    О нас
  • Говорите сейчас
  • Меню
  • Блог
  • Почему вам следует изучать искусственный интеллект и машинное обучение и как я это сделал
Закрыть меню
  • Для потребителей
    • Меню Nokia
    • Для потребителей
    • Телефоны
    • Домашний WiFi
      • Потребителям
      • Домашний WiFi
      • Юридический
    • Smart TV
    • Потоковые устройства
    • Наушники
  • Для бизнеса
    • Меню Nokia
    • Для бизнеса
    • Решения для поставщиков услуг
      • Для бизнеса
      • Решения для поставщиков услуг
      • Отрасли
        • Решения для сервис-провайдеров
        • Отрасли
        • Энергия и ресурсы
          • Энергия и ресурсы
          • Добыча
          • Нефти и газа
          • Энергетические компании
        • Производство, цепочка поставок и логистика
          • Производство, цепочка поставок и логистика
          • Производство
        • Государственный сектор
          • Государственный сектор
          • Федеральное правительство
          • Общественная безопасность
          • Сендай
          • Умный город
          • Государственные планы широкополосного доступа
          • Защита
        • Транспорт
          • Транспорт
          • Авиация
          • Шоссе
          • Железные дороги
        • Веб-компании
        • Прочие отрасли
          • Прочие отрасли
          • Автомобильная промышленность
          • Финансовые услуги
          • Здравоохранение
          • Розничная торговля
      • Решения
        • Решения для сервис-провайдеров
        • Решения
        • 5G
          • 5G
          • Развернуть сеть 5G
          • Партнеры 5G
          • Примеры использования 5G
          • Сквозная технология 5G
          • 5G для оптических сетей
          • Отчет о готовности 5G
            • Отчет о готовности 5G
            • 5G — готово к работе
            • Об этом отчете
            • Помимо шумихи
            • Готовность бизнеса к 5G
            • Потенциальная стоимость и рост
            • Что сдерживает бизнес?
            • Почему сейчас — и что дальше?
          • Опыт
          • Исправлено для 5G
          • IP для 5G
          • Операции
          • Студенческий портал
        • Аналитика и идеи
          • Аналитика и идеи
          • Аналитика клиентского опыта
          • Сетевая аналитика
        • Автоматизация
        • Системы поддержки бизнеса (BSS)
          • Системы поддержки бизнеса (BSS)
          • Автономное обслуживание клиентов
          • Управление устройством
          • Монетизация
        • Облако (SDN, NFV и облачное)
          • Облако (SDN, NFV и облачное)
          • Облачные операции, управление и оркестровка
          • Дата-центр SDN
          • SDN оператора связи
        • Базовые сети
          • Базовые сети
          • Ядро 5G
        • Кибер-безопасности
          • Кибер-безопасности
          • Безопасность конечных точек
          • Операции адаптивной безопасности NetGuard
          • Сетевая безопасность
          • Отчет об угрозах
        • Инфраструктура ЦОД
        • Фиксированные сети
          • Фиксированные сети
          • Решения для управления доступом
          • Медь (FTTx)
          • Волокно (FTTH)
          • PON нового поколения
        • IP сети
          • IP сети
          • Доступ и агрегирование
          • Базовые маршрутизаторы
          • Пограничные маршрутизаторы
          • Автоматизация IP и оптических сетей
          • Виртуализированный IP
        • Частная беспроводная связь промышленного уровня
        • Интернет вещей (IoT)
          • Интернет вещей (IoT)
          • IoT аналитика
          • Подключение к Интернету вещей
          • Платформы Интернета вещей
        • Мобильный транспорт (Anyhaul)
          • Мобильный транспорт (Anyhaul)
          • Широкополосный Anyhaul
          • IP Anyhaul
          • Микроволновая печь Anyhaul
          • Оптический Anyhaul
        • Nokia Subsea
        • Системы поддержки операций (OSS)
          • Системы поддержки операций (OSS)
          • Управление сетью
          • Центр гарантий Nokia
          • Самоорганизующиеся сети
          • Выполнение услуг и оркестровка
        • Оптические сети
          • Оптические сети
          • Сети оптической агрегации
          • Оптическое ядро
        • Сети радиодоступа (РАН)
          • Сети радиодоступа (РАН)
          • 5G RAN
          • Антенны
          • Cloud RAN
          • Пограничное облако
          • LTE
          • СВЧ-передача
          • Расширенный одиночный RAN
          • Маленькие клетки
          • Решения Wi-Fi
        • Решения для кабельных операторов
      • Сервисы
        • Решения для сервис-провайдеров
        • Сервисы
        • Аналитика и услуги ИИ
        • Облачные сервисы
        • Услуги цифрового развертывания
        • Услуги фиксированных сетей
        • IoT услуги
        • Управляемые службы
        • Услуги для промышленности и государственного сектора
        • Услуги технической поддержки
      • Обучение
        • Решения для сервис-провайдеров
        • Обучение
        • Учебный магазин
        • Центр обучения и развития
        • Сертификация Cloud Packet Core
        • Сертификация фиксированных сетей
        • Сертификация LTE
        • Сертификация виртуозов Nuage Networks
        • Сертификация оптических сетей (ONC)
        • Сертификация маршрутизации услуг (SRC)
        • Сертификация 5G
      • Аналитика
.

Post A Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *