Рассмотрим, как работает глубокое обучение, на примере сервиса по оценке стоимости авиабилета. Мы будем обучать его контролируемым образом.

Мы хотим, чтобы наш сервис предсказывал цену на авиабилет по следующим входным данным:

• аэропорт вылета;
• аэропорт назначения;
• дат

От Big Data к Machine Learning

Роман Рудык
Data Analyst

Интерес к Big Data не угасает, наоборот, все больше людей интересуются тем как собирать, структурировать, анализировать и применять в своей работе и бизнесе огромные объемы данных, которые в наше время поступают фактически отовсюду. Это неудивительно, ведь за одну минуту в Интернете появляется 570 новых сайтов, за 1 день в мировом информационном пространстве происходит более 2 млрд событий, которые даже после обработки и сжатия занимают около 400 Гбайт, а каждый год общий объем получаемых и хранимых бизнес-данных удваивается.

Мировые корпорации и большие компании уже несколько лет активно используют Big Data для развития своего бизнеса, инвестируя миллионы долларов в их изучение, в то время как украинские компании только начинают интересоваться этим направлением. Но действительно ли Big Data является панацеей или необходимо что-то большее?

Big Data – это большой объем структурированных или неструктурированных данных, ценность которых зависит от конкретно поставленной задачи. В наше время уже все данные становятся большими, но большинство задач требует малых данных. Большие данные — не всегда дают ожидаемый результат. Особенно важной становится проблема качества данных, так как вместе с ценной информацией генерируется куча информационного мусора. Для качественного анализа и практического применения Big Data нужна хорошая команда аналитиков, которые смогут извлечь полезные знания и правильно их интерпретировать.

Практическая ценность Big Data перешла в новую плоскость, и ее фактически заменил новый класс технологий — Machine Learning («Машинное обучение»), появившийся относительно недавно. Machine Learning — это метод анализа данных, основанный на построении автоматизированной аналитической модели. Используя математические алгоритмы анализа данных, Machine Learning позволяет находить скрытые факторы и зависимости, не будучи заранее запрограммированным на определенное место поиска.

Важным аспектом в Machine Learning является способность адаптироваться и переобучаться на вновь поступивших данных, для получения надежных и репрезентативных результатов. С ростом производительной мощности компьютеров значительно расширились сферы применения Machine Learning для анализа больших данных. Вот несколько примеров, о которых вы могли слышать:

• Самоуправляемый автомобиль Google — яркий пример результатов машинного обучения.
• Рекомендательные системы типа Amazon и Netflix. Применение машинного обучения для решения ежедневных проблем.
• Интеллектуальный анализ текстов для того чтоб знать, что другие пользователи пишут о вас в Twitter.
• Борьба с мошенничеством. Одна из наиболее очевидных и важных целей сегодня.

Рост интереса к Machine Learning и его практической значимости обусловлен тем, что сейчас для его применения есть все инструменты, как никогда ранее: постоянно растущие объемы и разновидности имеющихся данных, дешевые вычислительные мощности и хранилища данных, постоянно совершенствующееся программное обеспечение, которое позволяет проводить анализ и обработку данных, не имея углубленных знаний в этой области.

Machine Learning позволяет быстро в автоматическом режиме анализировать большие, более сложные данные и обеспечивает более быстрый, более точный результат. А результат — это ценные предсказания, которые помогают принять лучшее решение и сделать правильные действия в реальном времени без вмешательства человека.

По этому поводу хорошо высказался ведущий ученый в области аналитики Томас Дэвенпорт в своем комментарии The Wall Street Journal. По его словам, в условиях быстро меняющихся, растущих объемов данных, «… Вам необходимо быстрое потоковое моделирование, чтобы не отставать.» И вы можете сделать это с помощью Machine Learning. Он говорит:

Люди могут создать одну или две хороших моделей в неделю; Machine Learning может создать тысячи моделей в неделю.

Что такое Машинное обучение Azure

• 11.04.2019
• 5 минут на чтение

В этой статье

В этой статье вы узнаете о Машинном обучении Azure, облачной среде, которую вы можете использовать для обучения, развертывания, автоматизации, управления и отслеживания моделей машинного обучения.

Azure можно использовать для любого типа машинного обучения, от классического машинного обучения до глубокого, контролируемого и неконтролируемого обучения.Независимо от того, предпочитаете ли вы писать код Python или R с помощью SDK или работать с вариантами без кода / с низким кодом в студии, вы можете создавать, обучать и отслеживать модели машинного обучения и глубокого обучения в рабочей области машинного обучения Azure.

Начните обучение на локальном компьютере, а затем выполните горизонтальное масштабирование до облака.

Сервис также взаимодействует с популярными инструментами с открытым исходным кодом для глубокого обучения и подкрепления, такими как PyTorch, TensorFlow, scikit-learn и Ray RLlib.

Подсказка

Бесплатная пробная версия! Если у вас нет подписки Azure, перед началом работы создайте бесплатную учетную запись.Попробуйте бесплатную или платную версию Машинного обучения Azure уже сегодня. Вы получаете кредиты, которые можно потратить на службы Azure. Когда они будут израсходованы, вы можете сохранить учетную запись и использовать бесплатные службы Azure. С вашей кредитной карты никогда не списываются средства, если вы явно не измените настройки и не попросите списать средства.

Что такое машинное обучение?

Машинное обучение — это метод науки о данных, который позволяет компьютерам использовать существующие данные для прогнозирования будущего поведения, результатов и тенденций. Используя машинное обучение, компьютеры учатся без явного программирования.

Прогнозы или предсказания на основе машинного обучения могут сделать приложения и устройства умнее. Например, когда вы делаете покупки в Интернете, машинное обучение помогает рекомендовать другие продукты, которые могут вам понадобиться, в зависимости от того, что вы купили. Или, когда с вашей кредитной карты проводится считывание, машинное обучение сравнивает транзакцию с базой данных транзакций и помогает обнаруживать мошенничество. А когда ваш робот-пылесос пылесосит комнату, машинное обучение помогает ему решить, выполнена ли работа.

Машинное обучение Azure предоставляет разработчикам и специалистам по обработке данных все инструменты, необходимые для их рабочих процессов машинного обучения, в том числе:

Вы даже можете использовать MLflow для отслеживания показателей и развертывания моделей или Kubeflow для создания сквозных конвейеров рабочего процесса.

Создание моделей машинного обучения на Python или R

Начните обучение на локальном компьютере с помощью пакета SDK для Python для машинного обучения Azure или R SDK. Затем вы можете масштабироваться до облака.

Имея множество доступных целей вычислений, таких как вычислительные ресурсы для машинного обучения Azure и Azure Databricks, а также расширенные службы настройки гиперпараметров, вы можете быстрее создавать лучшие модели, используя возможности облака.

Вы также можете автоматизировать обучение и настройку модели с помощью SDK.

Сборка ML моделей в студии

Студия машинного обучения Azure — это веб-портал в Машинном обучении Azure для вариантов с низким кодом и без кода для обучения модели, развертывания и управления активами.Студия интегрируется с пакетом SDK для машинного обучения Azure для беспроблемной работы. Дополнительные сведения см. В разделе Что такое Студия машинного обучения Azure.

MLOps: развертывание и управление жизненным циклом

Если у вас есть подходящая модель, вы можете легко использовать ее в веб-службе, на устройстве Интернета вещей или из Power BI. Дополнительные сведения см. В статье о том, как развернуть и где.

Затем вы можете управлять развернутыми моделями с помощью пакета SDK машинного обучения Azure для Python, студии машинного обучения Azure или интерфейса командной строки машинного обучения.

Эти модели могут использоваться и возвращать прогнозы в реальном времени или асинхронно для больших объемов данных.

А с помощью расширенных конвейеров машинного обучения вы можете сотрудничать на каждом этапе от подготовки данных, обучения модели и оценки до развертывания. Трубопроводы позволяют:

• Автоматизировать сквозной процесс машинного обучения в облаке
• Повторно используйте компоненты и выполняйте шаги только при необходимости
• Использовать разные вычислительные ресурсы на каждом этапе
• Запускать задачи пакетной оценки

Если вы хотите использовать сценарии для автоматизации рабочего процесса машинного обучения, интерфейс командной строки машинного обучения предоставляет инструменты командной строки, которые выполняют общие задачи, такие как отправка обучающего прогона или развертывание модели.

Чтобы начать работу с Машинным обучением Azure, см. Следующие шаги.

Интеграция с другими сервисами

Машинное обучение Azure работает с другими службами на платформе Azure, а также интегрируется с такими инструментами с открытым исходным кодом, как Git и MLFlow.

• Целевые объекты вычислений, такие как Azure Kubernetes Service , экземпляров контейнера Azure , Azure Databricks , Azure Data Lake Analytics и Azure HDInsight .Дополнительные сведения о целевых объектах вычислений см. В разделе Что такое целевые объекты вычислений ?.
• Сетка событий Azure . Дополнительные сведения см. В разделе Использование событий машинного обучения Azure.
• Лазурный монитор . Дополнительные сведения см. В разделе Мониторинг машинного обучения Azure.
• Хранилища данных, такие как учетных записей хранения Azure , Azure Data Lake Storage , База данных SQL Azure , База данных Azure для PostgreSQL и Открытые наборы данных Azure .Дополнительные сведения см. В разделах Доступ к данным в службах хранилища Azure и Создание наборов данных с помощью открытых наборов данных Azure.
• Виртуальные сети Azure . Дополнительные сведения см. В разделе Обзор изоляции и конфиденциальности виртуальной сети.
• Лазурные конвейеры . Дополнительные сведения см. В разделе Обучение и развертывание моделей машинного обучения.
• Журналы репозитория Git . Дополнительные сведения см. В разделе «Интеграция с Git».
• MLFlow . Для получения дополнительной информации см. MLflow для отслеживания показателей и развертывания моделей
.
• Kubeflow .Для получения дополнительной информации см. Сборку конвейеров сквозного рабочего процесса.

Безопасная связь

Ваша учетная запись хранилища Azure, целевые объекты вычислений и другие ресурсы можно безопасно использовать внутри виртуальной сети для обучения моделей и выполнения логических выводов. Дополнительные сведения см. В разделе Обзор изоляции и конфиденциальности виртуальной сети.

Следующие шаги

Что такое машинное обучение? | Emerj

Набрав «что такое машинное обучение?» в поиске Google открывает ящик Пандоры с форумами, академическими исследованиями и ложной информацией — и цель этой статьи — упростить определение и понимание машинного обучения благодаря прямой помощи нашей группы исследователей машинного обучения.

В Emerj, компании, занимающейся исследованиями и консультированием в области искусственного интеллекта, многие наши корпоративные клиенты считают, что им следует инвестировать в проекты машинного обучения, но у них нет четкого представления о том, что это такое. Мы часто направляем их на этот ресурс, чтобы они познакомились с основами машинного обучения в бизнесе.

В дополнение к обоснованному рабочему определению машинного обучения (ML) мы подробно описываем проблемы и ограничения, связанные с тем, чтобы заставить машины «думать», некоторые из проблем, которые сегодня решаются в области глубокого обучения (граница машинного обучения), и ключевые выводы для разработки приложений машинного обучения для бизнес-сценариев.

Эта статья будет разбита на следующие разделы:

• Что такое машинное обучение?
• Как мы пришли к нашему определению (IE: взгляд экспертов-исследователей)
• Базовые концепции машинного обучения
• Визуальное представление моделей машинного обучения
• Как заставить машины учиться
• Обзор проблем и ограничений машинного обучения
• Краткое введение в глубокое обучение
• Процитированные работы
• Связанные интервью ML по Emerj

Мы собрали этот ресурс, чтобы помочь в любой области, которая вам интересна в области машинного обучения — так что пролистайте до интересующего раздела или прочтите статью по порядку, начиная с нашего определения машинного обучения ниже:

Что такое машинное обучение?

* «Машинное обучение — это наука о том, как заставить компьютеры учиться и действовать, как люди, и улучшать свое обучение с течением времени автономно, снабжая их данными и информацией в форме наблюдений и взаимодействий в реальном мире.”

Приведенное выше определение инкапсулирует идеальную цель или конечную цель машинного обучения, выраженную многими исследователями в этой области. Цель этой статьи — предоставить ориентированному на бизнес читателю экспертный взгляд на то, как определяется машинное обучение и как оно работает. Машинное обучение и искусственный интеллект разделяют одно и то же определение в умах многих, однако есть некоторые отличия, которые читатели должны признать. Ссылки и соответствующие интервью с исследователями включены в конце этой статьи для дальнейшего изучения.

* Как мы пришли к нашему определению:

(Наше агрегированное определение машинного обучения можно найти в начале этой статьи)

Как и у любой концепции, машинное обучение может иметь несколько иное определение, в зависимости от того, кого вы просить. Мы прочесали Интернет, чтобы найти пять практических определений из авторитетных источников:

1. «Машинное обучение по своей сути — это практика использования алгоритмов для анализа данных, изучения их и последующего определения или предсказания чего-либо в мире.»- Nvidia
2. « Машинное обучение — это наука о том, как заставить компьютеры работать без явного программирования ». — Stanford
3. «Машинное обучение основано на алгоритмах, которые могут обучаться на основе данных, не полагаясь на программирование на основе правил». — McKinsey & Co.
4. «Алгоритмы машинного обучения могут понять, как выполнять важные задачи, обобщая примеры». — Вашингтонский университет
5. «Область машинного обучения стремится ответить на вопрос:« Как мы можем создать компьютерные системы, которые автоматически улучшаются с приобретением опыта, и каковы фундаментальные законы, которые управляют всеми процессами обучения? » — Университет Карнеги-Меллона

Мы разослали эти определения экспертам, с которыми мы опросили и / или включили в одно из наших прошлых консенсусных исследований, и попросили их ответить своим любимым определением или предоставить свое собственное.Наше вводное определение призвано отразить различные ответы. Ниже приведены некоторые из их ответов:

Д-р Йошуа Бенджио, Университет Монреаля:

ML не следует определять отрицательными (таким образом, правила 2 и 3). Вот мое определение:

Исследования в области машинного обучения — это часть исследований в области искусственного интеллекта, направленных на предоставление знаний компьютерам посредством данных, наблюдений и взаимодействия с миром. Полученные знания позволяют компьютерам правильно обобщать новые параметры.

Д-р Данко Николич, CSC и Институт Макса Планка:

(отредактированный номер 2 выше): «Машинное обучение — это наука, заставляющая компьютеры действовать без явного программирования, а вместо этого позволяя им изучить несколько трюков. самостоятельно.»

Доктор Роман Ямпольский, Университет Луисвилля:

Машинное обучение — это наука о том, как заставить компьютеры учиться так же, как люди, или лучше.

Доктор Эмили Фокс, Вашингтонский университет:

Мое любимое определение — №5.

Базовые концепции машинного обучения

Существует множество различных типов алгоритмов машинного обучения, сотни из которых публикуются каждый день, и они обычно сгруппированы по стилю обучения (т.е. контролируемое обучение, неконтролируемое обучение, полу-контролируемое обучение ) или сходством по форме или функции (т. е. классификация, регрессия, дерево решений, кластеризация, глубокое обучение и т. д.). Независимо от стиля обучения или функции, все комбинации алгоритмов машинного обучения состоят из следующего:

• Представление (набор классификаторов или язык, который понимает компьютер)
• Оценка (также известная как цель / функция оценки)
• Оптимизация (метод поиска; часто, например, классификатор с наивысшими баллами; используются как стандартные, так и специальные методы оптимизации)

Изображение предоставлено: Dr.Педро Доминго, Вашингтонский университет

Фундаментальная цель алгоритмов машинного обучения — обобщить за пределы обучающих выборок, т.е. успешно интерпретировать данные, которые он никогда не «видел» раньше.

Визуальные представления моделей машинного обучения

Понятия и маркированные пункты могут привести только к одному пониманию. Когда люди спрашивают «Что такое машинное обучение?», Они часто хотят, чтобы увидел , что это такое и для чего он нужен.Ниже приведены некоторые визуальные представления моделей машинного обучения с соответствующими ссылками для получения дополнительной информации. Еще больше ресурсов можно найти внизу этой статьи.

Модель дерева решений

Модель смеси Гаусса

Нейронная сеть с выпадением

Слияние цветности и яркости с использованием сверточных нейронных сетей

Как мы получаем машины для обучения Существуют разные подходы к обучению машин, от использования базовых деревьев решений до кластеризации слоев искусственных нейронных сетей (последняя уступила место глубокому обучению), в зависимости от того, какую задачу вы пытаетесь выполнить, а также от типа и количество данных, которые у вас есть.Эта динамика проявляется в таких различных приложениях, как медицинская диагностика или беспилотные автомобили.

Хотя акцент часто делается на выборе лучшего алгоритма обучения, исследователи обнаружили, что некоторые из наиболее интересных вопросов возникают из-за того, что ни один из доступных алгоритмов машинного обучения не работает должным образом. В большинстве случаев это проблема с данными обучения, но это также происходит при работе с машинным обучением в новых областях.

Исследования, проводимые при работе с реальными приложениями, часто способствуют прогрессу в этой области, и есть две причины: 1.Тенденция к обнаружению границ и ограничений существующих методов. 2. Исследователи и разработчики, работающие с экспертами в предметной области и использующие время и знания для повышения производительности системы.

Иногда это тоже происходит «случайно». В качестве одного из примеров мы можем рассматривать ансамбли моделей или комбинации многих обучающих алгоритмов для повышения точности. Команды, соревнующиеся за 2009 Netflix Price, обнаружили, что они достигли наилучших результатов, объединив своих учеников с учениками других команд, что привело к усовершенствованному алгоритму рекомендаций (читайте блог Netflix, чтобы узнать, почему они не стали использовать этот ансамбль).

Один важный момент (основанный на интервью и беседах с экспертами в этой области) с точки зрения применения в бизнесе и в других местах, заключается в том, что машинное обучение — это не просто автоматизация и даже не об автоматизации, которую часто неправильно понимают. Если вы так думаете, вы обязательно упустите ценную информацию, которую могут предоставить машины, и связанные с этим возможности (например, переосмысление всей бизнес-модели, как это было в таких отраслях, как производство и сельское хозяйство).

Обучающиеся машины полезны для людей, потому что, обладая всей своей вычислительной мощностью, они могут быстрее выделять или находить закономерности в больших (или других) данных, которые в противном случае были бы упущены людьми.Машинное обучение — это инструмент, который можно использовать для повышения способности людей решать проблемы и делать обоснованные выводы по широкому кругу проблем, от помощи в диагностике заболеваний до поиска решений для глобального изменения климата.

Проблемы и ограничения

«Машинное обучение не может получить что-то из ничего… оно позволяет получить больше из меньшего». — Д-р Педро Доминго, Вашингтонский университет

Две самые большие исторические (и текущие) проблемы в машинном обучении связаны с переобучением (при котором модель демонстрирует предвзятость в отношении данных обучения и не обобщается на новые данные, и / или дисперсия i.е. изучает случайные вещи при обучении на новых данных) и размерность (алгоритмы с большим количеством функций работают в более высоких / множественных измерениях, что затрудняет понимание данных). Доступ к достаточно большому набору данных в некоторых случаях также был основной проблемой.

Одна из самых распространенных ошибок среди новичков в машинном обучении — это успешное тестирование данных обучения и иллюзия успеха; Доминго (и другие) подчеркивают важность разделения некоторых наборов данных при тестировании моделей и использования только этих зарезервированных данных для тестирования выбранной модели с последующим обучением на всем наборе данных.

Когда алгоритм обучения (т.е. обучающийся) не работает, часто более быстрый путь к успеху — это передать в машину больше данных, доступность которых к настоящему времени хорошо известна как основной фактор прогресса в алгоритмах машинного и глубокого обучения. за последние годы; однако это может привести к проблемам с масштабируемостью, когда у нас больше данных, но время узнать, что данные остаются проблемой.

С точки зрения цели, машинное обучение не является самоцелью или решением. Кроме того, попытка использовать его в качестве универсального решения i.е. «ПУСТОЙ» — бесполезное упражнение; вместо этого, подходя к столу с проблемой или целью, часто лучше всего руководствоваться более конкретным вопросом — «ПУСТОЙ».

Глубокое обучение и современные разработки в нейронных сетях

Глубокое обучение включает изучение и разработку машинных алгоритмов для обучения правильному представлению данных на нескольких уровнях абстракции (способы организации компьютерных систем). Недавняя реклама глубокого обучения через DeepMind, Facebook и другие учреждения выдвинула на первый план его как «следующий рубеж» машинного обучения.

Международная конференция по машинному обучению (ICML) считается одной из самых важных в мире. В этом году он прошел в июне в Нью-Йорке и собрал исследователей со всего мира, которые работают над решением текущих проблем глубокого обучения:

1. Неконтролируемое обучение в небольших наборах данных
2. Обучение на основе моделирования и переносимость в реальный мир

За последнее десятилетие системы глубокого обучения добились больших успехов в таких областях, как обнаружение и распознавание объектов, преобразование текста в речь, поиск информации и другие.В настоящее время исследования сосредоточены на разработке машинного обучения с эффективным использованием данных. то есть систем глубокого обучения, которые могут обучаться более эффективно, с той же производительностью за меньшее время и с меньшими объемами данных в передовых областях, таких как персонализированное здравоохранение, обучение с подкреплением роботов, анализ настроений , и другие.

Ключевые выводы по применению Машинное обучение

Ниже приведены лучшие практики и концепции применения машинного обучения, которые мы собрали из наших интервью для нашей серии подкастов и из избранных источников, указанных в конце эта статья.Мы надеемся, что некоторые из этих принципов прояснят, как используется машинное обучение и как избежать некоторых распространенных ошибок, с которыми компании и исследователи могут быть уязвимы при запуске проекта, связанного с машинным обучением.

• Пожалуй, наиболее важным фактором в успешных проектах машинного обучения являются функции , , используемые для описания данных (которые относятся к предметной области), и наличие адекватных данных для обучения ваших моделей в первую очередь

• Большинство время, когда алгоритмы не работают хорошо, это из-за проблемы с данными обучения (т.е. недостаточное количество / искаженные данные; зашумленные данные; или недостаточные характеристики, описывающие данные для принятия решений

• «Простота не означает точности» — нет (согласно Доминго) конкретной связи между количеством параметров модели и тенденцией к переобучению

• Получение экспериментальных данных ( в отличие от данных наблюдений, которые мы не можем контролировать), если это возможно (например, данные, полученные при отправке различных вариантов электронного письма случайной выборке аудитории)

• Независимо от того, обозначаем ли мы данные как причинные или корреляционные более важным моментом является прогнозировать эффекты наших действий

• Всегда откладывайте часть набора данных обучения для перекрестной проверки; вы хотите, чтобы выбранный вами классификатор или алгоритм обучения хорошо работали на свежих данных

Emerj Для руководителей предприятий

Emerj помогает предприятиям начать работу с искусственным интеллектом и машинным обучением.Используя наши пейзажи возможностей искусственного интеллекта, клиенты могут открыть для себя самые большие возможности автоматизации и искусственного интеллекта в своих компаниях и выбрать проекты искусственного интеллекта с максимальной рентабельностью инвестиций. Вместо того, чтобы тратить деньги на пилотные проекты, которые обречены на провал, Emerj помогает клиентам вести дела с подходящими для них поставщиками ИИ и повысить уровень успешности их проектов ИИ.

Процитированные работы

1 — http://homes.cs.washington.edu/~pedrod/papers/cacm12.pd

2 — http: // videolectures.net / deeplearning2016_precup_machine_learning /

3 — http://www.aaai.org/ojs/index.php/aimagazine/article/view/2367/2272

4 — https://research.facebook.com/blog/facebook -researchers-focus-on-the-наиболее сложные-вопросы-машинного обучения-at-icml-2016/

5 — https://sites.google.com/site/dataefficientml/

6 — http: / /www.cl.uni-heidelberg.de/courses/ws14/deepl/BengioETAL12.pdf

Связанные интервью по машинному обучению на Emerj

Один из лучших способов узнать о концепциях искусственного интеллекта — это изучить исследования и применения самые умные умы в этой области.Ниже приводится краткий список некоторых из наших интервью с исследователями машинного обучения, многие из которых могут быть интересны читателям, которые хотят изучить эти темы дополнительно:

Что такое машинное обучение? | Как это работает, методы и применение

Обучение с учителем

Машинное обучение с учителем создает модель, которая делает прогнозы на основе доказательств в присутствии неопределенности. Алгоритм контролируемого обучения берет известный набор входных данных и известные ответы на данные (выходные данные) и обучает модель генерировать разумные прогнозы для ответа на новые данные.Используйте обучение с учителем, если вам известны данные для результата, который вы пытаетесь предсказать.

Обучение с учителем использует методы классификации и регрессии для разработки моделей прогнозирования.

Методы классификации предсказывают дискретные ответы — например, является ли электронное письмо подлинным или спамом, или является ли опухоль злокачественной или доброкачественной. Модели классификации классифицируют входные данные по категориям. Типичные приложения включают медицинскую визуализацию, распознавание речи и кредитный рейтинг.

Используйте классификацию, если ваши данные можно пометить, классифицировать или разделить на определенные группы или классы. Например, приложения для распознавания рукописного ввода используют классификацию для распознавания букв и цифр. В обработке изображений и компьютерном зрении методы неконтролируемого распознавания образов используются для обнаружения объектов и сегментации изображений.

Общие алгоритмы для выполнения классификации включают машину опорных векторов (SVM), деревья решений с усилением и пакетом, ближайший сосед k , наивный байесовский анализ, дискриминантный анализ, логистическую регрессию и нейронные сети.

Методы регрессии предсказывают непрерывные реакции — например, изменения температуры или колебания потребляемой мощности. Типичные приложения включают прогнозирование нагрузки на электроэнергию и алгоритмическую торговлю.

Используйте методы регрессии, если вы работаете с диапазоном данных или если характер вашего ответа является действительным числом, например, температура или время до отказа для единицы оборудования.

Общие алгоритмы регрессии включают линейную модель, нелинейную модель, регуляризацию, пошаговую регрессию, деревья решений с усилением и пакетом, нейронные сети и адаптивное нейронечеткое обучение.

мл | Что такое машинное обучение?

Артур Самуэль , пионер в области искусственного интеллекта и компьютерных игр, ввел термин «Машинное обучение» . Он определил машинное обучение как — «Область исследования, которая дает компьютерам возможность учиться без явного программирования» .
Проще говоря, машинное обучение (ML) можно объяснить как автоматизацию и улучшение процесса обучения компьютеров на основе их опыта без фактического программирования i.е. без какой-либо помощи человека. Процесс начинается с подачи данных хорошего качества, а затем обучения наших машин (компьютеров) путем построения моделей машинного обучения с использованием данных и различных алгоритмов. Выбор алгоритмов зависит от того, какой тип данных у нас есть и какую задачу мы пытаемся автоматизировать.

Пример: Обучение студентов во время экзамена.
При подготовке к экзаменам студенты фактически не вдавливают предмет, а стараются выучить его с полным пониманием.Перед экзаменом они снабжают свою машину (мозг) большим количеством высококачественных данных (вопросы и ответы из разных книг, заметок учителей или онлайн-видеолекций). На самом деле, они тренируют свой мозг как на вводе, так и на выходе, то есть какой подход или логика у них есть для решения различных вопросов. Каждый раз, когда они решают практические тестовые задания и определяют производительность (точность / балл), сравнивая ответы с заданным ключом ответа, постепенно производительность продолжает расти, приобретая больше уверенности с принятым подходом.Вот как на самом деле строятся модели, обучаем машину с данными (модели передаются и входы, и выходы), и когда придет время, тестируем данные (только с входом) и получаем оценки нашей модели, сравнивая свой ответ с фактическим выходом, который не кормили во время тренировки. Исследователи прилагают все усилия, чтобы улучшить алгоритмы и методы, чтобы эти модели работали еще лучше
.

Основная разница в машинном обучении и традиционном программировании?

• Традиционное программирование: Мы вводим ДАННЫЕ (ввод) + ПРОГРАММА (логика), запускаем их на машине и получаем вывод.
• Машинное обучение: Мы вводим данные (ввод) + вывод, запускаем их на машине во время обучения, и машина создает свою собственную программу (логику), которая может быть оценена во время тестирования.

Что на самом деле означает обучение для компьютера?

Считается, что компьютер учится на опытах по отношению к некоторому классу задач , если его производительность в данной задаче улучшается с опытом.

Считается, что компьютерная программа учится на опыте E в отношении некоторого класса задач T и показателя производительности P , если ее производительность при выполнении задач в T , измеренная с помощью P , улучшается с опытом E

Пример: игра в шашки.
E = опыт игры во многие шашки
T = задача игры в шашки.
P = вероятность того, что программа выиграет следующую игру

В общем, любую задачу машинного обучения можно отнести к одной из двух широких классификаций:
Обучение с учителем и обучение без учителя.

Как все работает на самом деле : —

• Если говорить об онлайн-покупках, то есть миллионы пользователей с неограниченным кругом интересов в отношении брендов, цветов, ценового диапазона и многого другого.При совершении покупок в Интернете покупатели обычно ищут несколько товаров. Теперь частый поиск продукта заставит покупателя Facebook, веб-страницы, поисковую систему или этот интернет-магазин начать рекомендовать или показывать предложения по этому конкретному продукту. Никто не сидит там, чтобы кодировать такую ​​задачу для каждого пользователя, вся эта задача полностью автоматическая. Здесь ML играет свою роль. Исследователи, специалисты по обработке данных, специалисты по машинному обучению создают модели на машине, используя хорошее качество и огромное количество данных, и теперь их машина автоматически работает и даже улучшается с увеличением опыта и времени.
  Традиционно реклама делалась только с использованием газет, журналов и радио, но теперь технологии сделали нас достаточно умными, чтобы сделать Целевую рекламу (система онлайн-рекламы), которая является гораздо более эффективным методом нацеливания на наиболее восприимчивую аудиторию.
• Даже в сфере здравоохранения ML отлично справляется со своей задачей. Исследователи и ученые подготовили модели для обучения машин , обнаруживающих рак , просто глядя на изображения слайдов клеток. Для выполнения этой задачи людям потребовалось бы много времени.Но теперь, больше никаких задержек, машины предсказывают шансы быть или не заболеть раком с некоторой точностью, и врачи просто должны дать уверенный звонок, вот и все. Ответ на вопрос — как это возможно — очень прост — все, что требуется, это высокая вычислительная машина, большой объем данных изображения хорошего качества, модель машинного обучения с хорошими алгоритмами для достижения самых современных результатов.
  Врачи используют ML даже для пациентов, которые ставят диагноз на основании различных рассматриваемых параметров.
• Возможно, вы все использовали рейтингов IMDB , Google Фото , где распознаются лица, Google Lens , где модель распознавания текста ML может извлекать текст из изображений, которые вы загружаете, Gmail , которые категории Электронная почта как социальная сеть, продвижение, обновления или форум с использованием классификации текста, которая является частью машинного обучения.

Как работает ML?

• Сбор прошлых данных в любой форме, подходящей для обработки. Чем выше качество данных, тем больше они подходят для моделирования
• Обработка данных — Иногда данные собираются в необработанном виде, и их необходимо предварительно обработать.
  Пример: в некоторых кортежах могут отсутствовать значения определенных атрибутов, и в этом случае они должны быть заполнены подходящими значениями для выполнения машинного обучения или любой формы интеллектуального анализа данных.
  Отсутствующие значения для числовых атрибутов, таких как цена дома, могут быть заменены средним значением атрибута, тогда как отсутствующие значения для категориальных атрибутов могут быть заменены атрибутом с наивысшим режимом. Это неизменно зависит от типов используемых нами фильтров. Если данные представлены в форме текста или изображений, тогда потребуется преобразование их в числовую форму, будь то список, массив или матрица. Просто данные должны быть актуальными и последовательными. Он должен быть преобразован в формат, понятный для машины
• Разделите входные данные на наборы для обучения, перекрестной проверки и тестирования.Соотношение между соответствующими наборами должно быть 6: 2: 2.
• Построение моделей с подходящими алгоритмами и методами на обучающей выборке.
• Тестирование нашей концептуальной модели с данными, которые не были переданы в модель во время обучения, и оценка ее производительности с использованием таких показателей, как оценка F1, точность и отзыв.


Необходимые условия для изучения ML:

• Линейная алгебра
• Статистика и вероятность
• Исчисление
• Теория графов
• Навыки программирования — такие языки, как Python, R, MATLAB, C ++ или Octave

Вниманию читателя! Не прекращайте учиться сейчас.Получите все важные концепции теории CS для собеседований SDE с курсом теории CS по доступной для студентов цене и будьте готовы к работе в отрасли.

Почему вам следует изучать искусственный интеллект и машинное обучение и как я это сделал

Перейти к основному содержанию

• Для потребителей
  • • Телефоны
    • Домашний Wi-Fi
    • Смарт-телевизоры
    • Потоковые устройства
    • Наушники
  Для потребителей
• Для бизнеса
  • • Решения для сервис-провайдеров
    • Решения для промышленности и государственного сектора
    • Телефоны для бизнеса
    • Возможности лицензирования
    • Лицензирование бренда
• Инновации
  • • Инновационная платформа
    • NGP Capital
    • Nokia Bell Labs
    • Экосистема открытых инноваций
  Инновации
• О нас
  • • Отдел новостей
    • Устойчивость
    • Инвесторы
    • Карьера
    • Отношения с государством
  О нас

• Говорите сейчас
• Меню

• Блог
• Почему вам следует изучать искусственный интеллект и машинное обучение и как я это сделал

Закрыть меню

• Для потребителей
  • Меню Nokia
  • Для потребителей
  • Телефоны
  • Домашний WiFi
    • Потребителям
    • Домашний WiFi
    • Юридический
  • Smart TV
  • Потоковые устройства
  • Наушники
• Для бизнеса
  • Меню Nokia
  • Для бизнеса
  • Решения для поставщиков услуг
    • Для бизнеса
    • Решения для поставщиков услуг
    • Отрасли
      • Решения для сервис-провайдеров
      • Отрасли
      • Энергия и ресурсы
        • Энергия и ресурсы
        • Добыча
        • Нефти и газа
        • Энергетические компании
      • Производство, цепочка поставок и логистика
        • Производство, цепочка поставок и логистика
        • Производство
      • Государственный сектор
        • Государственный сектор
        • Федеральное правительство
        • Общественная безопасность
        • Сендай
        • Умный город
        • Государственные планы широкополосного доступа
        • Защита
      • Транспорт
        • Транспорт
        • Авиация
        • Шоссе
        • Железные дороги
      • Веб-компании
      • Прочие отрасли
        • Прочие отрасли
        • Автомобильная промышленность
        • Финансовые услуги
        • Здравоохранение
        • Розничная торговля
    • Решения
      • Решения для сервис-провайдеров
      • Решения
      • 5G
        • 5G
        • Развернуть сеть 5G
        • Партнеры 5G
        • Примеры использования 5G
        • Сквозная технология 5G
        • 5G для оптических сетей
        • Отчет о готовности 5G
          • Отчет о готовности 5G
          • 5G — готово к работе
          • Об этом отчете
          • Помимо шумихи
          • Готовность бизнеса к 5G
          • Потенциальная стоимость и рост
          • Что сдерживает бизнес?
          • Почему сейчас — и что дальше?
        • Опыт
        • Исправлено для 5G
        • IP для 5G
        • Операции
        • Студенческий портал
      • Аналитика и идеи
        • Аналитика и идеи
        • Аналитика клиентского опыта
        • Сетевая аналитика
      • Автоматизация
      • Системы поддержки бизнеса (BSS)
        • Системы поддержки бизнеса (BSS)
        • Автономное обслуживание клиентов
        • Управление устройством
        • Монетизация
      • Облако (SDN, NFV и облачное)
        • Облако (SDN, NFV и облачное)
        • Облачные операции, управление и оркестровка
        • Дата-центр SDN
        • SDN оператора связи
      • Базовые сети
        • Базовые сети
        • Ядро 5G
      • Кибер-безопасности
        • Кибер-безопасности
        • Безопасность конечных точек
        • Операции адаптивной безопасности NetGuard
        • Сетевая безопасность
        • Отчет об угрозах
      • Инфраструктура ЦОД
      • Фиксированные сети
        • Фиксированные сети
        • Решения для управления доступом
        • Медь (FTTx)
        • Волокно (FTTH)
        • PON нового поколения
      • IP сети
        • IP сети
        • Доступ и агрегирование
        • Базовые маршрутизаторы
        • Пограничные маршрутизаторы
        • Автоматизация IP и оптических сетей
        • Виртуализированный IP
      • Частная беспроводная связь промышленного уровня
      • Интернет вещей (IoT)
        • Интернет вещей (IoT)
        • IoT аналитика
        • Подключение к Интернету вещей
        • Платформы Интернета вещей
      • Мобильный транспорт (Anyhaul)
        • Мобильный транспорт (Anyhaul)
        • Широкополосный Anyhaul
        • IP Anyhaul
        • Микроволновая печь Anyhaul
        • Оптический Anyhaul
      • Nokia Subsea
      • Системы поддержки операций (OSS)
        • Системы поддержки операций (OSS)
        • Управление сетью
        • Центр гарантий Nokia
        • Самоорганизующиеся сети
        • Выполнение услуг и оркестровка
      • Оптические сети
        • Оптические сети
        • Сети оптической агрегации
        • Оптическое ядро
      • Сети радиодоступа (РАН)
        • Сети радиодоступа (РАН)
        • 5G RAN
        • Антенны
        • Cloud RAN
        • Пограничное облако
        • LTE
        • СВЧ-передача
        • Расширенный одиночный RAN
        • Маленькие клетки
        • Решения Wi-Fi
      • Решения для кабельных операторов
    • Сервисы
      • Решения для сервис-провайдеров
      • Сервисы
      • Аналитика и услуги ИИ
      • Облачные сервисы
      • Услуги цифрового развертывания
      • Услуги фиксированных сетей
      • IoT услуги
      • Управляемые службы
      • Услуги для промышленности и государственного сектора
      • Услуги технической поддержки
    • Обучение
      • Решения для сервис-провайдеров
      • Обучение
      • Учебный магазин
      • Центр обучения и развития
      • Сертификация Cloud Packet Core
      • Сертификация фиксированных сетей
      • Сертификация LTE
      • Сертификация виртуозов Nuage Networks
      • Сертификация оптических сетей (ONC)
      • Сертификация маршрутизации услуг (SRC)
      • Сертификация 5G
    • Аналитика

.