Как мы видели, контролируемые и неконтролируемые задачи имеют разные требования к данным: контролируемое обучение обычно требует сбора данных для обучения, в то время как обучение без учителя относительно просто. В полууправляемом обучении специалисты по обработке данных объединяют и то, и другое. Модель использует немаркированные данные, чтобы получить общее представление о структуре данных, а затем использует небольшой объем помеченных данных, чтобы научиться группировать и организовывать данные в целом.Иногда это называют «слабым обучением».

Преимущество этого подхода состоит в том, что часто количество помеченных данных, необходимых для изучения хорошей модели, может быть уменьшено, поскольку есть возможность учиться на контекстной информации, предоставляемой немаркированными данными.

Трансферное обучение — это, по сути, передача знаний от одной задачи к другой. Люди очень хороши в этом — если ребенок научится играть в бейсбол, некоторые аспекты того, что они изучают, также помогут ему играть в кикбол.

Пример машинного обучения — обучение модели для классификации изображений кошек, собак, столов и т. Д., Возможно, с использованием известного набора данных ImageNet из миллионов изображений. После того, как модель обучена этому, значительную часть модели можно будет использовать для совершенно другой задачи, такой как идентификация опухолей на рентгеновском изображении.

В этом случае можно повторно использовать значительную часть предыдущей модели, а затем специализировать оставшуюся часть модели для конкретной новой интересующей задачи. Оказывается, функции, изученные для одной задачи, такие как классификация кошек и собак, также могут быть полезны, скажем, для обнаружения опухолей.Конечно, требуется точная настройка, корректировка весов, чтобы они больше подходили для новой задачи. Но при трансферном обучении, начиная от решения до первой задачи, вы получите лучшее и более быстрое решение, чем при запуске с нуля.

Трансферное обучение может существенно сократить объем данных, необходимых для новой задачи, что является потенциальной выгодой для бизнеса. Скажите руководителю, что у вас есть замечательный детектор изображений, который требует обучения на миллионе изображений, и руководитель может отчаяться, что у него нет миллиона изображений, не говоря уже о возможности маркировать их все.Преимущество трансферного обучения в том, что вам не нужен миллион изображений. Вместо этого вы можете быть только в тысячах или десятках тысяч. Используя предварительно обученную сеть, мы все равно можем получить хорошее решение быстрее и лучше, чем если бы мы просто пытались обучить его только на ваших данных.

Другой пример трансферного обучения происходит с обработкой естественного языка, когда машины обрабатывают текст. После того, как первоначальная модель изучает язык, грамматику, орфографию и т. Д., Это обучение можно перенести на такие задачи, как тональность или классификация.

Однако небольшое предостережение: не думайте, что задачи, для которых человека могут легко передать свое обучение, обязательно созрели для машинного обучения. Это не всегда очевидно. Хотя человеку очень легко превратить машины в человека, машины — это не люди, и они учатся совершенно по-другому.

Напомним, что контролируемое обучение требует ввода и вывода примеров. Обучение с подкреплением похоже на обучение без учителя в том смысле, что результаты обычно не выдаются.

Центральная концепция обучения с подкреплением основана на «агенте» (компьютере или роботе), который взаимодействует с «окружающей средой» (здесь определяется как все, что не является агентом).

Агент выполняет действия со средой (например, робот делает шаг вперед). Затем среда предоставит агенту своего рода обратную связь, обычно в форме, называемой «вознаграждение».

Под «наградой» мы не подразумеваем, что мы даем машине толчок электронов.Мы буквально просто добавляем к счетчику вознаграждений программы. Цель агента — увеличить число на этом счетчике. Однако критично то, что никто не говорит агенту , как максимизировать вознаграждение, и не объясняет , почему получает вознаграждение. Это то, что агент понимает для себя, предпринимая действия и наблюдая за окружающей средой.

Во многих формах обучения с подкреплением агент не знает, какова цель, потому что у него нет примеров успеха. Все, что он знает, — получит ли он награду или нет.

Обучение с подкреплением имеет отголоски человеческой психологии: мозг переживает что-то хорошее, а выброс дофамина заставляет человека хотеть этого еще больше. Плохой опыт, например прикосновение к горячей плите, вызывает боль, которая отбивает у человека желание повторить такое поведение. Однако, несмотря на параллели с человеческой психологией, слишком гуманизировать ее — ошибка.

Специалисты по обработке данных изо всех сил стараются сделать данные обучения как можно более репрезентативными для реального мира. В противном случае можно построить модель, которая максимизирует производительность для обучающих данных, но не подходит для чего-либо еще.Это называется переобучением.

Для пояснения рассмотрим крайний пример. Ленивый специалист по анализу данных может создать детектор изображений собаки / кошки с простой поисковой таблицей: учитывая этот конкретный ввод, произведите этот конкретный результат. Если бы специалист по данным имел тысячу помеченных изображений собак / кошек и поместил каждое из них в справочную таблицу, он мог бы создать «идеальную» систему классификации без необходимости машинного обучения. Когда система увидит точную комбинацию пикселей, она будет знать, как ее обозначить.

Излишне говорить, что это была бы ужасная система — она ​​будет работать только с данными изображения, которые она уже знает.Измените всего один пиксель, и система больше не распознает собаку. Это перебор: модель идеально соответствует тренировочным данным (1000 помеченных изображений), но не соответствует реальному миру (любым другим изображениям собаки).

К счастью, у нас нет таких специалистов по данным. На практике переоснащение не так очевидно, но по-прежнему вызывает серьезную озабоченность.

Рассмотрим график с площадью дома в квадратных футах по оси X и его ценой по оси Y. Представьте себе несколько точек данных, нанесенных на график.Соотношение между площадью и ценой проще всего представить в виде прямой линии.

Но эта линия не будет идеальной — фактически, она может пропустить все фактические точки данных. Вернемся к уроку алгебры: вы помните, что эту линейную функцию можно представить как y = mx + b. m и b называются параметрами — измените их, и вы измените характер линии.

Вы можете добавить больше параметров, чтобы создать более сложную функцию, которая лучше соответствует данным.Например, вот функция, где y = ax2 + bx + c. Вы можете видеть, что с тремя параметрами кривая более точно соответствует вашим данным.

Учитывая эту тенденцию, вы, естественно, могли бы продолжать увеличивать количество параметров, пока ваша линия не будет точно соответствовать каждой точке ваших тренировочных данных.

Но здравый смысл подсказывает вам, что эта линия не является истинным отображением цен на жилье в реальном мире. Мы построили модель, которая работает только с нашими обучающими данными, но не является обобщающей.Реальные данные не будут точно ложиться на сглаженную кривую. Это может показаться безупречным решением, но это немного лучше, чем справочная таблица для собак и кошек.

Чтобы избежать переобучения, специалисты по обработке данных обычно разделяют данные на три набора: обучение, проверка и тестирование. Они случайным образом скремблируют данные в этих наборах, потому что хотят, чтобы они имели одинаковое распределение.

Обучающий набор может содержать 70% данных. Это единственные данные, которые используются в качестве обратной связи для модели, на которой можно учиться.Специалисты по обработке данных хотят оптимизировать модель за счет уменьшения потерь, то есть уменьшения того, насколько плохо модель описывает обучающие данные. По мере продолжения оптимизации обучающих данных потери должны уменьшаться.

Проверка (около 10% данных) — это данные, на которых модель не обучена. Скорее, он используется для поиска правильной модели, точной настройки параметров и предотвращения переобучения. По мере развития нашей модели специалисты по обработке данных должны также видеть сокращение потерь для набора для проверки. Но в какой-то момент модель будет оптимизироваться для обучающих данных, но не для данных проверки.Потери на обучение будут продолжать уменьшаться, но потери на валидацию начнут постепенно увеличиваться. Вот как специалисты по данным могут обнаружить переоснащение или то, что они выбрали неправильную модель. Если модель работает только с обучающими данными, но не с данными проверки, она не является должным образом обобщающей.

Но проблема все еще есть. Если модель соответствует набору обучающих данных , а — к набору проверки, все еще есть шанс, что ей просто «повезло», что набор проверки оказался похож на обучающий набор.Несмотря на то, что наборы данных являются случайными, все же существует вероятность, что модель просто подходит для ваших данных обучения и проверки, но все равно не будет хорошо работать в реальном мире.

Итак, как определить, насколько хороша модель на самом деле ? Введите тестовый набор данных — оставшиеся 20% данных. Теоретически тестирование следует проводить только один раз, хотя на практике машинное обучение может нарушить это правило. Но причина сделать это только один раз заключается в том, что в идеале, как только модель будет завершена, этот набор тестов дает хорошую оценку того, как модель будет работать в реальном мире.

На практике, конечно, реальные данные могут не совпадать с данными обучения, тестирования или проверки. Если это так (либо из-за того, что исходные данные были плохими, либо из-за того, что реальный мир меняется), после развертывания модель может перестать работать. Данные, с которыми модель сталкивается при развертывании, могут быть возвращены в модель и улучшены, но для этого может потребоваться надзор со стороны человека и переподготовка. Предоставленная самой себе устройство, модель может не работать с реальными данными и отклоняться от идеальной производительности.

Машинное обучение происходит не только в эфире. Все эти вычисления должны где-то происходить. Независимо от того, выполняете ли вы вычисления на месте или в облаке, машинное обучение — это не только математическая реальность, но и физическая реальность. Вот несколько ключевых концепций, которые следует знать, когда вы разговариваете с специалистами по обработке данных и инженерами о своих возможностях машинного обучения. Как вы можете догадаться, ваши потребности в машинном обучении будут зависеть от таких факторов, как скорость ответа, количество прогнозов и внешний вид этих запросов.

Это процессоры, которые обучают и обслуживают вашу модель машинного обучения. Популярным вариантом здесь являются графические процессоры (GPU), которые изначально были созданы для видеоигр. Затем эксперты обнаружили, что графические процессоры могут обучать сети глубокого обучения намного быстрее, чем центральные процессоры (ЦП). Хотя технолог может возразить против такой характеристики, вы можете думать о графическом процессоре как о действительно быстром процессоре.

Итак, если графические процессоры быстрее, они всегда должны быть лучше, верно?

Не во всех случаях.Во-первых, графические процессоры дороже процессоров. Во-вторых, вам нужны специализированные программы, которые действительно могут их использовать. Графические процессоры хороши для простых задач, но центральные процессоры лучше для сложных. И графические процессоры не всегда имеют большое значение. Если вы тренируете алгоритм на 10 миллионах записей, может быть важно иметь возможность двигаться в 100 раз быстрее. Но если после обучения вы делаете только одно предсказание за раз, то переход от 100 миллисекунд к 1 миллисекунде будет незаметной разницей для конечного пользователя и, следовательно, пустой тратой денег.Прежде чем принять резкое решение о покупке или аренде графических процессоров, убедитесь, что у вас есть много данных и очевидная потребность.

часто более полезны во время части обучения процесса машинного обучения, когда они необходимы для обработки больших объемов данных и установки весов и параметров данной модели машинного обучения. Вычислительные ресурсы, необходимые для запуска уже обученной модели в производственной среде, обычно менее мощны.

Обучение

• ОЗУ 64 ГБ
• Диск 500 ГБ
• 2x GPU

Производство

• 2 ГБ RAM
• Диск 500 ГБ
• 2x CPU

RAM

Это память компьютера. Обычно он вмещает меньше жесткого диска для длительного хранения, но он быстрее. ОЗУ ограничивает количество вещей, которые могут обрабатываться одновременно.Его также называют энергозависимым, потому что после перезагрузки компьютера он исчезает.

Хорошая аналогия — поднос авиакомпании. Если вы кладете на него ноутбук, но вам подадут напиток, вам придется закрыть ноутбук и снять его, если вам нужно место для напитка. Когда вы выключаете компьютер, оперативная память очищается — точно так же, как ваш лоток в конце полета.

Больше оперативной памяти полезно в тех случаях, когда вы потенциально можете обрабатывать большие объемы одновременных запросов. Если в этом нет необходимости, вам не понадобится столько оперативной памяти.

Это жесткий диск, на котором постоянно хранятся данные. Дисковое пространство — это место, где вы храните вещи вечно, например, картотечный шкаф. Вы загружаете вещи из этого и на свой «поднос для авиалиний», когда будете готовы взглянуть на них. В мире машинного обучения хранилище обычно содержит вашу модель машинного обучения и ваш набор данных.

Если все, что вам нужно, это что-то готовое, вам совсем не обязательно беспокоиться о базовой инфраструктуре вашего проекта машинного обучения.Как и видео по запросу, машинное обучение может быть предоставлено вам как услуга. Точно так же, как вам не нужно знать, какие процессоры лежат в основе ваших последних потоковых разгул-часов, вам не нужно беспокоиться о том, стоят ли за вашим инструментом машинного обучения графические процессоры или процессоры. Просто загрузите данные, выберите некоторые параметры и дайте ему поработать.

Итак, как узнать, нужна ли вам индивидуальная разработка или можно полагаться на существующую структуру? Это зависит от сложности проблемы, которую вы пытаетесь решить, и от ваших знаний о том, как ее решить.Стандартные каркасы просты в использовании, но они лучше всего подходят для решения относительно простых задач.

Но большая часть машинного обучения, особенно глубокого обучения, — это , а не plug-and-play. Простая настройка скорости обучения так или иначе почти таким образом, что не обязательно в точности с использованием вашей интуиции, может иметь большое значение. Конечно, со временем эти рамки будут улучшаться и станут все более полезными для решения сложных проблем. Но на данный момент готовые фреймворки по-прежнему предназначены для решения простейших, наиболее четко определенных и легко структурируемых задач.Это по определению проблемы, которые кто-то уже решил. Чем больше ваша конкретная задача требует уникальной настройки, тем меньше вы сможете полагаться на что-то из имеющихся.

Опять же, ключевая фраза — «пока». Эти фреймворки продолжают совершенствоваться, поэтому, даже если вы по праву откажетесь от них сейчас, вы можете периодически пересматривать их возможности, чтобы видеть, могут ли их достижения удовлетворить ваши потребности.

Вам не обязательно нужны самые передовые технологии в мире.Например, для вас, скорее всего, никогда не будет иметь значения, что ваша машина не разгоняется до 200 миль в час. Другие факторы, такие как безопасность или количество мест, могут быть более важными ежедневно.

Часто бывает выгоднее иметь более быстрый графический процессор или более быструю память, более быстрое хранилище или более быструю сеть. Но это не значит, что оно того стоит в контексте вашей основной бизнес-проблемы.

Вы можете потратить время и деньги на неправильную оптимизацию. Например, оптимизация того, насколько быстро табель складывает количество часов, не исправит того факта, что человеку требуется 20 минут, чтобы заполнить его.Можно сделать процесс намного быстрее, при этом общий результат не изменится.

В конце концов, вам придется решить, размещать ли вашу инфраструктуру самостоятельно («локально» или «локально») или искать существующие варианты в облако (сервис вроде AWS или Azure).

При традиционной разработке программного обеспечения облако обычно является разумным выбором. Большинству компаний не имеет смысла размещать собственные центры обработки данных или покупать серверы, чтобы держать их в офисе.AWS претендует на клиентов от НАСА до Netflix.

Однако машинное обучение изменило этот расчет. Хотя вышеупомянутые готовые варианты, скорее всего, будут предоставляться через облако, другие типы машинного обучения могут иметь смысл локально. Вы захотите посмотреть на общую стоимость владения, сравнив ежемесячную стоимость облачного провайдера с вашими внутренними ИТ-затратами, мощностью, пространством и т. Д. Хотя эта структура может в конечном итоге указать, что всем лучше пользоваться облаком, это не случай сегодня.Осенью 2018 года предприниматель в области искусственного интеллекта Джефф Чен написал, что «создание собственного компьютера для глубокого обучения в 10 раз дешевле, чем AWS».

Разумеется, все дело в том, чтобы решить, что лучше всего для вашего бизнеса, в сотрудничестве с вашей технической командой. Если вы тренируетесь только раз в год, облако может быть лучшим вариантом, чем самостоятельное обслуживание оборудования. Вы можете воспользоваться снижением цен по мере того, как они происходят. Если Amazon снизит цены, а вы уже пользуетесь Amazon, вы получите более низкие цены.

В облаке нет затрат на обслуживание или безопасность, а также нет обновлений оборудования — вы автоматически пользуетесь преимуществами новейших машин, и вам не нужно продавать графические процессоры, если проект завершится.

Плюс такие организации, как AWS и Azure, заработали репутацию «разумных» вариантов, которые, возможно, будет легче одобрить руководству. Кроме того, было бы неплохо иметь стороннюю организацию, на которую можно было бы указать, если что-то не работает. Фактически, когда вышеупомянутая статья Чена о затратах на AWS была размещена на сайте Hacker News Y Combinator, главный комментарий гласил: «Вы забываете о стоимости борьбы с ИТ в бюрократической корпорации, чтобы заставить их позволить вам покупать / запустить нестандартное оборудование.С другой стороны, в некоторых случаях конфиденциальность данных может подтолкнуть проекты к локальному развертыванию, даже если поставщики облачных услуг обеспечивают безопасность.

В этом посте мы затронули много вопросов: методы машинного обучения, переоснащение и проблемы с инфраструктурой. Возможно, вы также начали понимать некоторые сложности, с которыми сталкиваются специалисты по обработке данных и инженеры при создании систем, использующих машинное обучение, особенно в организациях, которые никогда этого раньше не делали. Наука о данных — это не волшебство, и теперь, когда вы увидели это за кулисами, вы лучше подготовлены, чтобы помочь применить это на практике.

Введение в машинное обучение

Термин машинное обучение был придуман Артуром Сэмюэлем в 1959 году, американским пионером в области компьютерных игр и искусственного интеллекта, и заявил, что «он дает компьютерам возможность учиться без явного программирования».
И в 1997 году Том Митчелл дал «корректное» математическое и реляционное определение, что «компьютерная программа, как говорят, учится на опыте E в отношении некоторой задачи T и некоторого показателя производительности P, если ее производительность на T, как измерено на P, улучшается с опытом E.

Машинное обучение — это последнее модное словечко. Это заслуживает того, поскольку это одна из самых интересных областей компьютерных наук. Так что же на самом деле означает машинное обучение?

Давайте попробуем разобраться в машинном обучении с точки зрения непрофессионала. Представьте, что вы пытаетесь выбросить газету в мусорное ведро.

После первой попытки вы понимаете, что приложили слишком много усилий. После второй попытки вы понимаете, что находитесь ближе к цели, но вам нужно увеличить угол броска.То, что здесь происходит, заключается в том, что в основном после каждого броска мы чему-то учимся и улучшаем конечный результат. Мы запрограммированы учиться на собственном опыте.

Это означает, что задачи, связанные с машинным обучением, предлагают принципиально рабочее определение, а не определение области в когнитивных терминах. Это следует за предложением Алана Тьюринга в его статье «Вычислительные машины и интеллект», в которой был задан вопрос «Могут ли машины думать?» заменяется вопросом «Могут ли машины делать то, что можем делать мы (как мыслящие сущности)?»
В области анализа данных машинное обучение используется для разработки сложных моделей и алгоритмов, которые поддаются прогнозированию; при коммерческом использовании это называется предиктивной аналитикой.Эти аналитические модели позволяют исследователям, специалистам по обработке данных, инженерам и аналитикам «принимать надежные, повторяемые решения и результаты» и выявлять «скрытые идеи» путем изучения исторических взаимосвязей и тенденций в наборе данных (входных данных).

Предположим, вы решили проверить это предложение на отдых. Вы просматриваете сайт туристического агентства и ищете отель. Когда вы смотрите на конкретный отель, сразу под его описанием есть раздел под названием «Вам также могут понравиться эти отели».Это распространенный вариант использования машинного обучения, называемый «механизм рекомендаций». Опять же, многие точки данных использовались для обучения модели, чтобы предсказать, какие отели будут лучше всего показывать вам в этом разделе, на основе большого количества информации, которую они уже знают о вас.

Итак, если вы хотите, чтобы ваша программа предсказывала, например, модели трафика на оживленном перекрестке (задача T), вы можете запустить ее через алгоритм машинного обучения с данными о прошлых моделях трафика (опыт E) и, если он успешно «Научился», тогда он будет лучше предсказывать будущие модели трафика (показатель эффективности P).
Очень сложная природа многих реальных проблем, однако, часто означает, что изобретение специализированных алгоритмов, которые будут идеально их решать каждый раз, непрактично, если не невозможно. Примеры проблем с машинным обучением: «Это рак?», «Кто из этих людей дружит друг с другом?», «Понравится ли этому человеку этот фильм?» такие задачи — отличные цели для машинного обучения, и на самом деле машинное обучение применяло такие задачи с большим успехом.

Классификация машинного обучения

Реализации машинного обучения подразделяются на три основные категории, в зависимости от характера обучающего «сигнала» или «ответа», доступного для обучающей системы, а именно: —

1. под контролем Learning: Когда алгоритм учится на примере данных и связанных целевых ответов, которые могут состоять из числовых значений или строковых меток, таких как классы или теги, чтобы впоследствии предсказать правильный ответ при постановке с новыми примерами, попадает в категорию контролируемого обучения. .Этот подход действительно похож на человеческое обучение под наблюдением учителя. Учитель дает ученику хорошие примеры для запоминания, а затем ученик выводит общие правила из этих конкретных примеров.
2. Обучение без учителя: В то время как, когда алгоритм учится на простых примерах без какого-либо связанного ответа, оставляя алгоритму определять шаблоны данных самостоятельно. Этот тип алгоритма имеет тенденцию реструктурировать данные во что-то другое, например, новые функции, которые могут представлять класс или новую серию некоррелированных значений.Они весьма полезны, поскольку дают людям понимание значения данных и новые полезные входные данные для контролируемых алгоритмов машинного обучения.
   Как вид обучения, он напоминает методы, которые люди используют для определения того, что определенные объекты или события принадлежат к одному классу, например, путем наблюдения за степенью сходства между объектами. Некоторые системы рекомендаций, которые вы найдете в Интернете в форме автоматизации маркетинга, основаны на этом типе обучения.
3. Обучение с подкреплением: Когда вы представляете алгоритм с примерами без меток, как при обучении без учителя.Тем не менее, вы можете сопровождать пример положительной или отрицательной обратной связью в соответствии с решением, предлагаемым алгоритмом, которое относится к категории обучения с подкреплением, которое связано с приложениями, для которых алгоритм должен принимать решения (так что продукт является предписывающим, а не просто описательным, как при обучении без учителя), и решения влекут за собой последствия. В человеческом мире это похоже на обучение методом проб и ошибок.
   Ошибки помогают вам учиться, потому что к ним добавляется штраф (стоимость, потеря времени, сожаление, боль и т. Д.), Показывая вам, что определенный образ действий с меньшей вероятностью приведет к успеху, чем другие.Интересный пример обучения с подкреплением возникает, когда компьютеры сами учатся играть в видеоигры.
   В этом случае приложение представляет алгоритм с примерами конкретных ситуаций, например, когда игрок застревает в лабиринте, избегая врага. Приложение позволяет алгоритму знать результат предпринимаемых им действий, и обучение происходит при попытке избежать того, что он считает опасным, и стремиться к выживанию. Вы можете посмотреть, как компания Google DeepMind создала программу обучения с подкреплением, которая воспроизводит старые видеоигры Atari.При просмотре видео обратите внимание на то, что программа изначально неуклюжая и неквалифицированная, но постепенно улучшается с тренировками, пока не станет чемпионом.
4. Полу-контролируемое обучение: , где дается неполный обучающий сигнал: обучающий набор с отсутствующими некоторыми (часто многими) целевыми выходными данными. Существует особый случай этого принципа, известный как преобразование, когда весь набор проблемных примеров известен во время обучения, за исключением того, что часть целей отсутствует.
   больше классов, и учащийся должен создать модель, которая назначает невидимые входные данные одному или нескольким (классификация с несколькими метками) этих классов.Обычно это решается под наблюдением. Фильтрация спама является примером классификации, где входными данными являются сообщения электронной почты (или другие), а классы — «спам» и «не спам».
   1. Регрессия: Что также является контролируемой проблемой. Случай, когда выходы являются непрерывными, а не дискретными.
   2. Кластеризация: Когда набор входов должен быть разделен на группы. В отличие от классификации, группы не известны заранее, что обычно делает эту задачу неконтролируемой.

   Машинное обучение появляется тогда, когда проблемы не могут быть решены с помощью типичных подходов.

   Автор статьи: Siddharth Pandey . Если вам нравится GeeksforGeeks, и вы хотели бы внести свой вклад, вы также можете написать статью с помощью provide.geeksforgeeks.org или отправить ее по электронной почте на [email protected]. Посмотрите, как ваша статья появляется на главной странице GeeksforGeeks, и помогите другим гикам.

   Пожалуйста, напишите комментарий, если вы обнаружите что-то неправильное, или если вы хотите поделиться дополнительной информацией по теме, обсуждаемой выше.

   Введение в машинное обучение

   Термин машинное обучение впервые был придуман в 1950-х годах, когда пионер искусственного интеллекта Артур Сэмюэл создал первую самообучающуюся систему для игры в шашки. Он заметил, что чем больше играла система, тем лучше она работала.

   Благодаря достижениям в статистике и информатике, а также улучшенным наборам данных машинное обучение действительно начало развиваться к концу 20 века.

   Сегодня, понимаете вы это или нет, машинное обучение повсюду — автоматический перевод, распознавание изображений, технологии голосового поиска и многое другое.

   В этом руководстве мы объясним, как работает машинное обучение и как вы можете использовать его в своем бизнесе. Мы также познакомим вас с инструментами машинного обучения и покажем, как начать работу с машинным обучением без кода.

   Прочтите, перейдите к разделу или добавьте этот пост в закладки для дальнейшего использования:

   1. Что такое машинное обучение?
   2. Алгоритмы машинного обучения
   3. Приложения машинного обучения
   4. Библиотеки машинного обучения на Python
   5. Программное обеспечение машинного обучения

   Что такое машинное обучение?

   Машинное обучение (ML) — это ветвь искусственного интеллекта (AI), которая позволяет компьютерам самообучаться и совершенствоваться с течением времени без явного программирования.Короче говоря, алгоритмы машинного обучения способны обнаруживать закономерности в данных, извлекать уроки из них и делать собственные прогнозы.

   В традиционном программировании кто-то пишет серию инструкций, чтобы компьютер мог преобразовать входные данные в желаемый результат. Инструкции в основном основаны на структуре IF-THEN: при выполнении определенных условий программа выполняет определенное действие.

   С другой стороны, машинное обучение — это автоматизированный процесс, который позволяет машинам решать проблемы и предпринимать действия на основе прошлых наблюдений.

   В основном процесс машинного обучения включает в себя следующие этапы:

   1. Подача в алгоритм машинного обучения примеров входных данных и ряд ожидаемых тегов для этих входных данных.

   2. Входные данные преобразуются в текстовых вектора , массив чисел, которые представляют различные характеристики данных.

   3. Алгоритмы учатся связывать векторы признаков с тегами на основе вручную помеченных образцов и автоматически делают прогнозы при обработке невидимых данных.

   Хотя искусственный интеллект и машинное обучение часто используются как взаимозаменяемые, это две разные концепции. ИИ — это более широкая концепция: машины принимают решения, осваивают новые навыки и решают проблемы аналогично людям, тогда как машинное обучение — это подмножество ИИ, которое позволяет интеллектуальным системам автономно изучать новые вещи из данных.

   Вместо программирования алгоритмов машинного обучения для выполнения задач вы можете передать им примеры помеченных данных (известных как данные обучения), которые помогут им выполнять вычисления, обрабатывать данные и автоматически определять закономерности.

   Еще один способ помочь вам понять это: главный специалист по решениям Google описывает машинное обучение как причудливую этикетировочную машину. После того, как машины научат маркировать такие вещи, как яблоки и груши, показывая им образцы фруктов, в конечном итоге они начнут маркировать яблоки и груши без какой-либо помощи — помня, что мы показываем им правильные примеры!

   Алгоритмы машинного обучения

   Чтобы понять, как работает машинное обучение, вам нужно изучить различные типы алгоритмов машинного обучения, которые в основном представляют собой наборы правил, которые машины используют для принятия решений.Ниже вы найдете наиболее распространенные типы алгоритмов машинного обучения:

   Обучение с учителем

   Алгоритмы обучения с учителем делают прогнозы на основе размеченных данных обучения. Каждая обучающая выборка включает входные и желаемые выходные данные. Алгоритм контролируемого обучения анализирует эти образцы данных и делает вывод — по сути, обоснованное предположение при определении меток для невидимых данных.

   Это наиболее распространенный и популярный подход к машинному обучению. Он находится под «контролем», потому что в эти модели необходимо вводить вручную размеченные образцы данных, чтобы они могли учиться на них.Например, если вы хотите автоматически обнаруживать спам, вам нужно будет передать алгоритму машинного обучения примеры писем, которые вы классифицируете как спам, и тех, которые являются важными.

   Это подводит нас к следующему пункту. Существует два типа контролируемых учебных задач: классификация и регрессия .

   Классификация

   В задачах классификации выходным значением является категория с конечным числом вариантов. Например, с помощью этой бесплатной онлайн-модели анализа настроений вы можете классифицировать данные как положительные, отрицательные или нейтральные.

   Допустим, вы хотите проанализировать разговоры о поддержке, чтобы понять эмоции вашего клиента: счастливы они или разочарованы после обращения в вашу службу поддержки? Классификатор анализа тональности может автоматически помечать ответы для вас, как в этом примере ниже:

   В этом примере модель анализа настроений помечает разочаровывающее обслуживание клиентов как «Отрицательное».

   Регрессия

   В задачах регрессии ожидаемый результат — непрерывное число.Эта модель используется для прогнозирования таких величин, как вероятность того, что событие произойдет. Прогнозирование стоимости недвижимости в определенном районе или распространение COVID19 в конкретном регионе являются примерами проблем регрессии.

   Обучение без учителя

   Алгоритмы обучения без учителя раскрывают понимание и взаимосвязь в немаркированных данных. В этом случае модели получают входные данные, но желаемые результаты неизвестны, поэтому им приходится делать выводы на основе косвенных свидетельств, без каких-либо указаний или обучения.

   Одним из наиболее распространенных типов обучения без учителя является кластеризация, которая состоит из группировки похожих данных. Этот метод в основном используется для исследовательского анализа и может помочь вам обнаружить скрытые закономерности или тенденции.

   Например, отдел маркетинга компании электронной коммерции может использовать кластеризацию для улучшения сегментации клиентов. Учитывая набор данных о доходах и расходах, модель машинного обучения может идентифицировать группы клиентов со схожим поведением.

   Сегментация позволяет маркетологам адаптировать стратегии для каждого ключевого рынка.Они могут предлагать акции и скидки для клиентов с низким доходом, которые много тратят на сайте, как способ вознаградить лояльность и улучшить удержание.

   Полу-контролируемое обучение

   При полу-контролируемом обучении данные обучения разделяются на две части. Небольшой объем помеченных данных и больший набор немаркированных данных.

   В этом случае модель использует помеченные данные в качестве входных, чтобы делать выводы о немаркированных данных, обеспечивая более точные результаты, чем обычные модели контролируемого обучения.

   Этот подход набирает популярность, особенно для задач, связанных с большими наборами данных, таких как классификация изображений. Полу-контролируемое обучение не требует большого количества помеченных данных, поэтому его можно быстрее настроить, более рентабельно, чем методы контролируемого обучения, и он идеально подходит для предприятий, которые получают огромные объемы данных.

   Обучение с подкреплением

   Обучение с подкреплением (RL) касается того, как программный агент (или компьютерная программа) должен действовать в ситуации, чтобы максимизировать вознаграждение.Короче говоря, усиленные модели машинного обучения пытаются определить наилучший путь, которым они должны следовать в данной ситуации. Они делают это методом проб и ошибок. Поскольку данных для обучения нет, машины учатся на своих ошибках и выбирают действия, которые приводят к лучшему решению или максимальной награде.

   Этот метод машинного обучения в основном используется в робототехнике и играх. Видеоигры демонстрируют четкую взаимосвязь между действиями и результатами и могут измерять успех, ведя счет.Следовательно, это отличный способ улучшить алгоритмы обучения с подкреплением.

   Вкратце, алгоритмы контролируемого обучения учатся делать прогнозы на основе набора помеченных примеров (каждый ввод имеет правильный вывод). С другой стороны, модели обучения без учителя и обучения с подкреплением не учатся на размеченных данных. Разница между этими двумя моделями обучения заключается в том, что одна прогнозирует результаты на основе шаблонов (без учителя), а другая использует метод проб и ошибок (подкрепление).

   Распространенные модели машинного обучения

   Существует множество моделей машинного обучения на выбор, каждая со своим набором правил, в зависимости от того, как вы хотите делать выводы.

   Машины опорных векторов (SVM)

   Машины опорных векторов (SVM) — это контролируемый алгоритм машинного обучения, который в основном используется для решения задач классификации. Учитывая набор помеченных обучающих данных, модель SVM отображает примеры на плоскости как точки данных, принадлежащие к категориям x или y, и создает между ними гиперплоскость — это действует как граница принятия решения. Затем новые фрагменты данных маркируются в зависимости от того, с какой стороны гиперплоскости они приземляются.

   Для SVM лучшей гиперплоскостью является та, которая обеспечивает максимальное расстояние между точками данных в обеих категориях.

   Этот алгоритм отличается высокой точностью и особенно эффективен при работе с небольшими наборами данных. При работе с большими наборами данных для обработки результатов может потребоваться время.

   Наивный байесовский алгоритм

   Одним из самых популярных и простых вероятностных алгоритмов является наивный байесовский алгоритм. Это контролируемый алгоритм, основанный на теореме Байеса с «наивным» предположением, что два случайных события являются условно независимыми при наличии третьей зависимой переменной. Используемый в качестве эталонного теста для задач классификации, он вычисляет вероятность каждого тега или переменной для заданных входных данных и выбирает тег с максимальной вероятностью.

   Наивный байесовский классификатор широко используется для таких задач, как анализ тональности, обнаружение спама и построение систем рекомендаций.

   Глубокое обучение (DL)

   Модели глубокого обучения могут быть управляемыми, частично контролируемыми или неконтролируемыми. Это передовые алгоритмы машинного обучения, и в настоящее время это горячая тема для обсуждения в сфере интеллектуального анализа данных. Технологические гиганты, такие как Google, Microsoft и Amazon, уже наращивают свои исследования в области алгоритмов DL, поэтому ясно, что глубокое обучение никуда не денется — по крайней мере, до тех пор, пока оно не превратится во что-то еще более продвинутое!

   Он основан на искусственных нейронных сетях (ИНС), типе компьютерной системы, которая пытается имитировать работу человеческого мозга.Алгоритмы глубокого обучения или нейронные сети построены на нескольких уровнях взаимосвязанных нейронов.

   Когда модель получает входные данные — которые могут быть изображением, текстом или звуком — и ее просят выполнить задачу (например, классификацию текста с машинным обучением), данные проходят через каждый уровень, позволяя модели постепенно обучаться. Это как человеческий мозг, который развивается с возрастом и опытом!

   Этот подход все чаще используется для распознавания изображений, речи и обработки естественного языка.Модели глубокого обучения обычно работают лучше, чем другие алгоритмы машинного обучения, для сложных проблем и массивных наборов данных. Однако они требуют большого количества обучающих данных.

   Приложения машинного обучения

   Машинное обучение в финансах, здравоохранении, гостиничном бизнесе, правительстве и других сферах постепенно становится массовым. Компании начинают видеть преимущества использования инструментов машинного обучения для улучшения своих процессов, получения ценной информации из неструктурированных данных и автоматизации задач, которые в противном случае потребовали бы многочасовой ручной работы.

   Многие приложения, инструменты и службы, которые мы используем сегодня, не смогли бы работать без машинного обучения. Например, UberEats использует машинное обучение для оценки оптимального времени, в течение которого водители могут забрать заказы на еду, а Spotify использует машинное обучение, чтобы предлагать персонализированный контент.

   Как вы думаете, Netflix создает персонализированные рекомендации по фильмам, а Google Maps прогнозирует пики трафика в определенное время дня? Конечно, с помощью машинного обучения.

   Существует множество различных приложений машинного обучения, которые могут принести пользу вашему бизнесу во многих отношениях.Вам просто нужно определить стратегию, которая поможет вам решить, как лучше всего внедрить машинное обучение в свои процессы. А пока вот несколько распространенных приложений машинного обучения, которые могут вызвать некоторые идеи:

   • Мониторинг социальных сетей
   • Распознавание изображений
   • Виртуальные помощники
   • Обнаружение мошенничества в Интернете
   • Рекомендации по продуктам
   • Торговля на фондовом рынке
   • Медицинское Диагностика
   • Обнаружение фейковых новостей

   Мониторинг социальных сетей

   С помощью машинного обучения вы можете отслеживать упоминания вашего бренда в социальных сетях и быстро определять, требуют ли клиенты срочного внимания.Обнаруживая упоминания разгневанных клиентов в режиме реального времени, вы можете автоматически отмечать отзывы клиентов и немедленно отвечать. Вы также можете проанализировать взаимодействие со службой поддержки в социальных сетях и оценить удовлетворенность клиентов, чтобы увидеть, насколько хорошо работает ваша команда.

   Распознавание изображений

   Распознавание изображений помогает компаниям идентифицировать и классифицировать изображения. Например, технология распознавания лиц используется как форма идентификации, от разблокировки телефонов до совершения платежей.Беспилотные автомобили также используют распознавание изображений для распознавания пространства и препятствий. Например, они могут научиться распознавать знаки остановки, определять перекрестки и принимать решения на основе того, что видят.

   Виртуальные помощники

   Виртуальные помощники, такие как Siri, Alexa, Google Now, используют машинное обучение для автоматической обработки и ответа на голосовые запросы. Они полагаются на анализ текста с машинным обучением, чтобы быстро сканировать информацию, запоминать связанные запросы, извлекать уроки из предыдущих взаимодействий и отправлять команды другим приложениям, чтобы они могли собирать информацию и предоставлять наиболее эффективный ответ.

   Группы поддержки клиентов уже используют виртуальных помощников для обработки телефонных звонков, автоматической маршрутизации заявок на поддержку в нужные группы и ускорения взаимодействия с клиентами с помощью ответов, сгенерированных компьютером.

   Обнаружение мошенничества в Интернете

   Методы машинного обучения, такие как обнаружение аномалий, используются для обнаружения мошенничества (а также обнаружения вторжений в системе кибербезопасности), а также могут использоваться для обнаружения погодных аномалий.

   Глобальный банк Citi Group, например, внедрила решение машинного обучения для обнаружения выпадающих платежей по кредитным картам.Решение анализирует схемы платежей пользователей, проактивно выявляет «выбросы», такие как платежи в другие регионы, и просит клиентов подтвердить или отклонить эти платежи.

   Рекомендации по продукту

   Обучение правилам ассоциации — это метод машинного обучения, который можно использовать для анализа покупательских привычек в супермаркете или на сайтах электронной коммерции. Он работает, ища взаимосвязи между переменными и находя общие ассоциации в транзакциях (продукты, которые потребители обычно покупают вместе).Эти данные затем используются для стратегий размещения продукта и аналогичных продуктовых рекомендаций.

   Связанные правила также могут быть полезны для планирования маркетинговой кампании или анализа использования Интернета.

   Торговля на фондовом рынке

   Алгоритмы машинного обучения можно обучить для определения торговых возможностей путем распознавания закономерностей и поведения в исторических данных. Когда дело доходит до инвестиций, людьми часто движут эмоции, поэтому анализ настроений с помощью машинного обучения может сыграть огромную роль в выявлении хороших и плохих инвестиционных возможностей без каких-либо предубеждений.

   Медицинский диагноз

   Способность машин находить закономерности в сложных данных определяет настоящее и будущее. Возьмите, например, инициативы по машинному обучению во время вспышки COVID-19. Инструменты искусственного интеллекта помогли предсказать, как вирус будет распространяться с течением времени, и сформировали способы борьбы с ним. Он также помогает диагностировать пациентов, анализируя КТ легких и обнаруживая лихорадку с помощью распознавания лиц, и выявляет пациентов с повышенным риском развития серьезных респираторных заболеваний.

   Обнаружение поддельных новостей

   Недавние исследования показывают, что алгоритмы машинного обучения могут помочь обнаружить поддельные новости и снизить риски использования ложной информации.

   Как? Учитывая набор новостных статей, алгоритм идентифицирует различные группы новостей с похожим контентом, называемые тематическими кластерами. Когда новость не может быть идентифицирована как часть какой-либо существующей тематической группы, она рассматривается как потенциально фальшивая новость.

   Машинное обучение стимулирует инновации во многих областях, и каждый день мы видим, как появляются интересные варианты использования. В бизнесе общие преимущества машинного обучения:

   • Это рентабельность и масштабируемость. Вам нужно обучить модель только один раз, и вы можете увеличивать или уменьшать масштаб в зависимости от низкого или высокого сезона.
   • Точность. Модели машинного обучения обучаются с определенным объемом помеченных данных и будут использовать их для прогнозирования невидимых данных. На основе этих данных машины определяют набор правил, которые они применяют ко всем наборам данных, помогая им обеспечивать согласованные и точные результаты.
   • Работает в режиме реального времени, 24/7. Модели машинного обучения могут автоматически анализировать данные в режиме реального времени, позволяя немедленно обнаруживать отрицательные мнения или срочные заявки и принимать меры.

   Библиотеки и ресурсы Python для машинного обучения

   Библиотеки машинного обучения с открытым исходным кодом предлагают коллекции готовых моделей и компонентов, которые разработчики могут использовать для создания своих собственных приложений, вместо того, чтобы писать код с нуля. Они бесплатны, гибки и могут быть настроены в соответствии с конкретными потребностями.

   Еще одним преимуществом библиотек с открытым исходным кодом является то, что они регулярно обновляются участниками и имеют активное сообщество, поэтому помощь всегда под рукой.

   Python — лучший язык для разработки моделей машинного обучения благодаря его гибкости, доступности и доступности. В Python также есть обширный список библиотек с открытым исходным кодом, поэтому вам никогда не будет сложно найти решение своей проблемы.

   Некоторые из самых популярных библиотек с открытым исходным кодом для машинного обучения:

   Scikit-learn

   Популярная библиотека Python и отличный вариант для тех, кто только начинает заниматься машинным обучением.Почему? Он прост в использовании, надежен и хорошо документирован. Вы можете использовать эту библиотеку для таких задач, как классификация, кластеризация и регрессия, среди прочего.

   PyTorch

   Разработанная Facebook, PyTorch — это библиотека машинного обучения с открытым исходным кодом, основанная на библиотеке Torch с упором на глубокое обучение. Он используется для компьютерного зрения и обработки естественного языка и намного лучше справляется с отладкой, чем некоторые из его конкурентов. Начните с руководств по PyTorch как для начинающих, так и для опытных программистов.Известный своей гибкостью и скоростью, он идеально подходит, если вам нужно быстрое решение.

   Kaggle

   Запущенный более десяти лет назад (и приобретенный Google в 2017 году), Kaggle придерживается философии обучения на собственном опыте и известен своими соревнованиями, в которых участники создают модели для решения реальных задач. Ознакомьтесь с этим онлайн-курсом машинного обучения на Python, который поможет вам создать свою первую модель в кратчайшие сроки.

   NLTK

   The Natural Language Toolkit (NLTK), возможно, самая известная библиотека Python для работы с обработкой естественного языка.Его можно использовать для поиска по ключевым словам, токенизации и классификации, распознавания голоса и многого другого. С упором на исследования и образование, вы найдете множество ресурсов, включая наборы данных, предварительно обученные модели и учебник, которые помогут вам начать работу.

   TensorFlow

   Библиотека Python с открытым исходным кодом, разработанная Google для внутреннего использования, а затем выпущенная по открытой лицензии, с множеством ресурсов, руководств и инструментов, которые помогут вам отточить свои навыки машинного обучения. Эта удобная платформа, подходящая как для новичков, так и для экспертов, имеет все необходимое для создания и обучения моделей машинного обучения (включая библиотеку предварительно обученных моделей).

   Tensorflow более мощный, чем другие библиотеки, и ориентирован на глубокое обучение, что делает его идеальным для сложных проектов с крупномасштабными данными. Однако для овладения им может потребоваться время и навыки. Как и в случае с большинством инструментов с открытым исходным кодом, у него есть сильное сообщество и несколько руководств, которые помогут вам начать работу.

   Хотите узнать больше о машинном обучении, прежде чем погрузиться в инструменты с открытым исходным кодом? Вот несколько курсов и книг, которые помогут вам на этом пути:

   Лучшие курсы машинного обучения

   Онлайн-курс — отличный способ получить дополнительные знания о машинном обучении.Вот несколько вариантов, в зависимости от ваших целей и уровня:

   Курс машинного обучения Эндрю Нг (Стэнфордский университет) на Coursera: самый популярный курс для начинающих, настоятельно рекомендуемый теми, кто его прошел. Этот курс под руководством бывшего исследователя Google Brain, профессора Стэнфорда и соучредителя Coursera Эндрю Нг предлагает систематический подход к машинному обучению, примеры реальных вариантов использования и практические рекомендации о том, как заставить алгоритмы работать.

   Джон У.Курс машинного обучения Пейсли (Колумбийский университет) на edX: — это углубленный теоретический подход к машинному обучению с упором на математику, лежащую в основе алгоритмов, а не на практическое применение машинного обучения. Программа охватывает контролируемое и неконтролируемое обучение, вероятностные и не вероятностные методы. Этот 12-недельный курс предназначен для продвинутых учащихся, знакомых с математическим расчетом, линейной алгеброй, вероятностью, статистикой и кодированием.

   Ускоренный курс машинного обучения: практическое введение в основы машинного обучения, разработанное Google.Этот курс включает видеоуроки, тематические исследования и упражнения, чтобы вы могли применить полученные знания на практике и создать свои собственные модели машинного обучения в TensorFlow. Никаких предварительных знаний в области машинного обучения не требуется, но вам необходимо иметь базовые навыки программирования и опыт работы с Python.

   Лучшие книги по машинному обучению

   Машинное обучение повсюду, и быстро становится незаменимым бизнес-решением. Независимо от того, работаете ли вы в розничной торговле, медицине, финансах или программном обеспечении, машинное обучение может помочь улучшить и автоматизировать внутренние процессы и расширить возможности принятия решений.

   Хотя машинное обучение может быть сложным, существует множество готовых инструментов, которые позволяют легко реализовать машинное обучение прямо сейчас.

   Инструменты MLaaS (машинное обучение как услуга), например, делают машинное обучение доступным для всех благодаря готовым решениям, требующим небольших экспертных знаний.

   Эти инструменты машинного обучения легко подключаются к Zendesk, и вы даже можете использовать их для выполнения машинного обучения в Excel. Если у вас ограниченные ресурсы или вы не хотите вкладывать слишком много усилий и времени в разработку сложной инфраструктуры, инструменты MLaaS идеально подходят.

   Узнайте разницу между созданием и покупкой собственного программного обеспечения.

   Практически нет необходимости в настройке, а готовое программное обеспечение для машинного обучения позволяет создавать мощные модели машинного обучения, которые можно легко подключать к своим любимым приложениям через API или интеграции. Да, даже без предыдущего опыта машинного обучения!

   Monkeylearn, например, представляет собой простую в использовании платформу, которая позволяет создавать модели машинного обучения для выполнения задач анализа текста, таких как классификация тем, анализ тональности, извлечение ключевых слов и многое другое.

   Готовы сделать первые шаги с помощью простого решения MonkeyLearn без кода. Запросите демонстрацию и начните создавать ценность из ваших данных.

   Введение в машинное обучение | Основы машинного обучения

   Введение в машинное обучение:

   Несомненно, машинное обучение — самая востребованная технология на сегодняшнем рынке. Его приложения варьируются от беспилотных автомобилей до прогнозирования смертельных заболеваний, таких как БАС. Этот блог мотивирован высоким спросом на навыки машинного обучения.В этом блоге, посвященном введению в машинное обучение, вы поймете все основные концепции машинного обучения и практическую реализацию машинного обучения с использованием языка R.

   Чтобы получить более глубокие знания о Data Science, вы можете записаться на онлайн-курс Data Science Certification Training от Edureka с круглосуточной поддержкой и пожизненным доступом.

   В этом блоге «Введение в машинное обучение» рассматриваются следующие темы:

   1. Потребность в машинном обучении
   2. Что такое машинное обучение?
   3. Определения машинного обучения
   4. Процесс машинного обучения
   5. Типы машинного обучения
   6. Типы проблем, решаемых с помощью машинного обучения
   7. Практическая реализация машинного обучения
   Потребность в машинном обучении

   Со времен технической революции мы генерируют неизмеримое количество данных.Согласно исследованиям, мы генерируем около 2,5 квинтиллионов байтов данных каждый день! По оценкам, к 2020 году для каждого человека на Земле каждую секунду будет создаваться 1,7 МБ данных.

   Благодаря наличию такого большого количества данных, наконец, стало возможным создавать прогностические модели, которые могут изучать и анализировать сложные данные, чтобы находить полезные идеи и предоставлять более точные результаты.

   Компании высшего уровня, такие как Netflix и Amazon, создают такие модели машинного обучения, используя тонны данных, чтобы определить выгодные возможности и избежать нежелательных рисков.

   Вот список причин, почему машинное обучение так важно:

   • Увеличение объема генерации данных: Из-за чрезмерного производства данных нам нужен метод, который можно использовать для структурирования, анализа и извлечения полезной информации из данных. Здесь на помощь приходит машинное обучение. Оно использует данные для решения проблем и поиска решений самых сложных задач, с которыми сталкиваются организации.
   • Улучшение принятия решений: Машинное обучение можно использовать для принятия более эффективных бизнес-решений с помощью различных алгоритмов.Например, машинное обучение используется для прогнозирования продаж, предсказания падений на фондовом рынке, выявления рисков и аномалий и т. Д.

   Важность машинного обучения — Введение в машинное обучение — Edureka

   • Раскрыть закономерности и тенденции в данных : поиск скрытых закономерностей и извлечение ключевых идей из данных — самая важная часть машинного обучения. Создавая прогнозные модели и используя статистические методы, машинное обучение позволяет вам копать под поверхностью и исследовать данные в минутном масштабе.На понимание данных и извлечение шаблонов вручную уйдут дни, тогда как алгоритмы машинного обучения могут выполнять такие вычисления менее чем за секунду.
   • Решайте сложные проблемы: Машинное обучение можно использовать для решения самых сложных проблем — от обнаружения генов, связанных со смертельным заболеванием БАС, до создания беспилотных автомобилей.

   Чтобы лучше понять, насколько важно машинное обучение, давайте перечислим несколько приложений машинного обучения:

   • Механизм рекомендаций Netflix : Ядром Netflix является его печально известный механизм рекомендаций.Netflix рекомендует более 75% того, что вы смотрите, и эти рекомендации сделаны путем внедрения машинного обучения.
   • Функция автоматической пометки Facebook: Логика системы проверки лиц DeepMind в Facebook — это машинное обучение и нейронные сети. DeepMind изучает черты лица на изображении, чтобы отметить ваших друзей и семью.
   • Amazon Alexa: Печально известная Alexa, основанная на обработке естественного языка и машинном обучении, представляет собой виртуальный помощник продвинутого уровня, который делает больше, чем просто воспроизводит песни в вашем плейлисте.Он может забронировать вам Uber, подключиться к другим устройствам IoT дома, отслеживать ваше здоровье и т. Д.
   • Фильтр спама Google: Gmail использует машинное обучение для фильтрации спам-сообщений. Он использует алгоритмы машинного обучения и обработки естественного языка для анализа электронных писем в режиме реального времени и классификации их как спам или не спам.

   Это несколько примеров того, как машинное обучение реализовано в компаниях высшего уровня. Вот блог о 10 лучших приложениях машинного обучения. Прочтите его, чтобы узнать больше.

   Теперь, когда вы знаете, почему машинное обучение так важно, давайте посмотрим, что такое машинное обучение.

   Введение в машинное обучение

   Термин «машинное обучение» впервые был введен Артуром Самуэлем в 1959 году. Оглядываясь назад, можно сказать, что этот год был, вероятно, самым значительным с точки зрения технологических достижений.

   Если вы просмотрите Интернет о том, «что такое машинное обучение», вы найдете как минимум 100 различных определений. Однако самое первое формальное определение было дано Томом М.Mitchell:

   «Считается, что компьютерная программа учится на опыте E в отношении некоторого класса задач T и показателя производительности P, если ее производительность при выполнении задач в T, измеренная с помощью P, улучшается с опытом E.»

   Проще говоря, машинное обучение — это подмножество искусственного интеллекта (ИИ), которое дает машинам возможность учиться автоматически и совершенствоваться на основе опыта, не будучи явно запрограммированными на это. В некотором смысле, это практика заставлять Машины решать проблемы, обретая способность думать.

   Но подождите, может ли машина думать или принимать решения? Что ж, если вы загрузите в машину достаточное количество данных, она научится интерпретировать, обрабатывать и анализировать эти данные с помощью алгоритмов машинного обучения для решения реальных проблем.

   Прежде чем двигаться дальше, давайте обсудим некоторые из наиболее часто используемых терминов в машинном обучении.

   Определения машинного обучения

   Алгоритм: Алгоритм машинного обучения — это набор правил и статистических методов, используемых для изучения закономерностей из данных и извлечения из них важной информации.Это логика модели машинного обучения. Примером алгоритма машинного обучения является алгоритм линейной регрессии.

   Модель: Модель является основным компонентом машинного обучения. Модель обучается с использованием алгоритма машинного обучения. Алгоритм отображает все решения, которые должна принимать модель, на основе заданных входных данных, чтобы получить правильный результат.

   Переменная-предиктор: Это функция (и) данных, которая может использоваться для прогнозирования выходных данных.

   Переменная ответа: Это характеристика или выходная переменная, которую необходимо предсказать с помощью переменных-предикторов.

   Данные обучения: Модель машинного обучения построена с использованием данных обучения. Данные обучения помогают модели определять ключевые тенденции и закономерности, необходимые для прогнозирования результатов.

   Данные тестирования: После обучения модели ее необходимо протестировать, чтобы оценить, насколько точно она может предсказать результат. Это делается с помощью набора данных тестирования.

   Что такое машинное обучение? — Введение в машинное обучение — Edureka

   Подводя итог, взгляните на рисунок выше. Процесс машинного обучения начинается с подачи в машину большого количества данных, с помощью которых машина обучается обнаруживать скрытые идеи и тенденции. Эти идеи затем используются для построения модели машинного обучения с использованием алгоритма для решения проблемы.

   Следующая тема в этом блоге «Введение в машинное обучение» — это процесс машинного обучения.

   Процесс машинного обучения

   Процесс машинного обучения включает построение прогнозной модели, которую можно использовать для поиска решения для постановки проблемы. Чтобы понять процесс машинного обучения, предположим, что вам поставили задачу, которую необходимо решить с помощью машинного обучения.

   Процесс машинного обучения — Введение в машинное обучение — Edureka

   Проблема состоит в том, чтобы предсказать появление дождя в вашем районе с помощью машинного обучения.

   Следующие ниже шаги выполняются в процессе машинного обучения:

   Шаг 1: Определите цель Постановления проблемы

   На этом шаге мы должны понять, что именно нужно предсказать. В нашем случае цель состоит в том, чтобы предсказать возможность дождя путем изучения погодных условий. На этом этапе также важно сделать мысленные заметки о том, какие данные можно использовать для решения этой проблемы или какой подход вы должны использовать, чтобы найти решение.

   Шаг 2: Сбор данных

   На этом этапе вы должны задавать такие вопросы, как:

   • Какие данные необходимы для решения этой проблемы?
   • Доступны ли данные?
   • Как я могу получить данные?

   После того, как вы узнаете типы данных, которые требуются, вы должны понять, как вы можете получить эти данные. Сбор данных может производиться вручную или с помощью веб-скрейпинга. Однако, если вы новичок и просто хотите изучить машинное обучение, вам не нужно беспокоиться о получении данных.В Интернете есть тысячи ресурсов данных, вы можете просто загрузить набор данных и приступить к работе.

   Возвращаясь к рассматриваемой проблеме, данные, необходимые для прогнозирования погоды, включают такие показатели, как уровень влажности, температура, давление, местность, независимо от того, живете ли вы на горной станции и т. Д. Такие данные должны быть собраны и сохранены для анализа .

   Шаг 3 : Подготовка данных

   Собранные вами данные почти никогда не имеют правильного формата. Вы столкнетесь с множеством несоответствий в наборе данных, таких как отсутствующие значения, избыточные переменные, повторяющиеся значения и т. Д.Устранение таких несоответствий очень важно, поскольку они могут привести к ошибочным вычислениям и прогнозам. Поэтому на этом этапе вы просматриваете набор данных на предмет любых несоответствий и исправляете их тут же.

   Шаг 4: Исследовательский анализ данных

   Хватайте свои детективные очки, потому что этот этап посвящен глубокому погружению в данные и поиску всех скрытых тайн данных. EDA или исследовательский анализ данных — это этап мозгового штурма машинного обучения. Исследование данных предполагает понимание закономерностей и тенденций в данных.На этом этапе делается вся полезная информация и выясняются корреляции между переменными.

   Например, в случае прогнозирования дождя мы знаем, что существует большая вероятность дождя, если температура упала. Такие корреляции необходимо понять и нанести на карту на данном этапе.

   Шаг 5: Построение модели машинного обучения

   Все идеи и шаблоны, полученные в ходе исследования данных, используются для построения модели машинного обучения.Этот этап всегда начинается с разделения набора данных на две части: данные обучения и данные тестирования. Данные обучения будут использоваться для построения и анализа модели. Логика модели основана на реализуемом алгоритме машинного обучения.

   В случае прогнозирования дождя, поскольку результат будет в форме Истина (если завтра будет дождь) или Ложь (завтра дождя не будет), мы можем использовать алгоритм классификации, такой как логистическая регрессия.

   Выбор правильного алгоритма зависит от типа проблемы, которую вы пытаетесь решить, набора данных и уровня сложности проблемы.В следующих разделах мы обсудим различные типы проблем, которые можно решить с помощью машинного обучения.

   Шаг 6: Оценка и оптимизация модели

   После построения модели с использованием обучающего набора данных, наконец, пришло время протестировать модель. Набор данных тестирования используется для проверки эффективности модели и того, насколько точно она может предсказать результат. После расчета точности любые дальнейшие улучшения модели могут быть реализованы на этом этапе.Такие методы, как настройка параметров и перекрестная проверка, могут использоваться для повышения производительности модели.

   Шаг 7: Прогнозы

   После того, как модель оценена и улучшена, она, наконец, используется для прогнозирования. Конечный результат может быть категориальной переменной (например, True или False) или непрерывным количеством (например, прогнозируемой стоимостью акции).

   В нашем случае для прогнозирования выпадения дождя на выходе будет категориальная переменная.

   Итак, это был весь процесс машинного обучения.Пришло время узнать о различных способах обучения машин.

   Типы машинного обучения

   Машина может научиться решать проблему, следуя любому из следующих трех подходов. Вот способы, которыми машина может обучаться:

   1. Обучение с учителем
   2. Обучение без учителя
   3. Обучение с подкреплением
   Обучение с учителем

   Обучение с учителем — это метод, с помощью которого мы обучаем или обучаем машину с использованием данных, которые хорошо обозначен.

   Чтобы понять контролируемое обучение, давайте рассмотрим аналогию. В детстве всем нам требовалось руководство для решения математических задач. Наши учителя помогли нам понять, что такое сложение и как оно делается. Точно так же вы можете думать о контролируемом обучении как о типе машинного обучения, которое включает в себя руководство. Помеченный набор данных — это учитель, который научит вас понимать закономерности в данных. Помеченный набор данных — это не что иное, как набор обучающих данных.

   Обучение с учителем — Введение в машинное обучение — Edureka

   Обратите внимание на приведенный выше рисунок.Здесь мы загружаем машинные изображения Тома и Джерри, и цель состоит в том, чтобы машина идентифицировала и классифицировала изображения на две группы (изображения Тома и изображения Джерри). Набор обучающих данных, который передается в модель, помечен, как мы говорим машине: «Вот как выглядит Том, а это Джерри». Таким образом вы тренируете машину, используя размеченные данные. В контролируемом обучении есть четко определенная фаза обучения, выполняемая с помощью помеченных данных.

   Обучение без учителя

   Обучение без учителя включает обучение с использованием немаркированных данных и позволяет модели действовать на основе этой информации без руководства.

   Думайте об обучении без учителя как о умном ребенке, который учится без какого-либо руководства. В этом типе машинного обучения модель не снабжается помеченными данными, поскольку в модели нет подсказки, что « это изображение — Том, а это Джерри », она самостоятельно определяет закономерности и различия между Томом и Джерри. принимая тонны данных.

   Неконтролируемое обучение — Введение в машинное обучение — Edureka

   Например, он определяет характерные черты Тома, такие как заостренные уши, больший размер и т. Д., Чтобы понять, что это изображение относится к типу 1.Точно так же он находит такие особенности у Джерри и знает, что это изображение типа 2. Поэтому он классифицирует изображения на два разных класса, не зная, кто такие Том или Джерри.

   Обучение с подкреплением

   Обучение с подкреплением — это часть машинного обучения, когда агент помещается в среду, и он учится вести себя в этой среде, выполняя определенные действия и наблюдая за вознаграждением, которое он получает от этих действий.

   
   Этот тип машинного обучения сравнительно отличается.Представьте, что вас высадили на изолированном острове! Чтобы ты делал?

   Паника? Да, конечно, поначалу все были бы. Но со временем вы научитесь жить на острове. Вы исследуете окружающую среду, поймете климатические условия, тип пищи, которая там растет, опасности острова и т. Д. Именно так работает обучение с подкреплением, оно включает агента (вы, застрявшего на острове), который в неизвестной среде (острове), где он должен учиться, наблюдая и выполняя действия, которые приводят к наградам.

   Обучение с подкреплением в основном используется в продвинутых областях машинного обучения, таких как беспилотные автомобили, AplhaGo и т. Д.

   Чтобы лучше понять разницу между контролируемым, неконтролируемым и обучением с подкреплением, вы можете просмотреть это короткое видео.

   Контролируемое против неконтролируемого против обучения с подкреплением | Тренинг по сертификации в области науки о данных | Edureka

   В этом видео, посвященном обучению с учителем, неконтролируемому и обучению с подкреплением, мы будем обсуждать типы машинного обучения и различать их по нескольким ключевым параметрам.

   Итак, мы суммируем типы машинного обучения. Теперь давайте посмотрим, какие проблемы решаются с помощью машинного обучения.

   Типы проблем в машинном обучении

   Типы проблем, решаемых с помощью машинного обучения — Введение в машинное обучение — Edureka

   Рассмотрим приведенный выше рисунок, есть три основных типа проблем, которые могут быть решены в машине. Обучение:

   1. Регрессия: В задачах этого типа выход является непрерывной величиной.Так, например, если вы хотите предсказать скорость автомобиля с учетом расстояния, это проблема регрессии. Проблемы регрессии можно решить с помощью алгоритмов контролируемого обучения, таких как линейная регрессия.
   2. Классификация: Выходные данные этого типа являются категориальными значениями. Классификация электронных писем на два класса: спам и не спам — это проблема классификации, которую можно решить с помощью алгоритмов классификации с контролируемым обучением, таких как Support Vector Machines, Naive Bayes, Logistic Regression, K Nearest Neighbor и т. Д.
   3. Кластеризация: Этот тип проблемы включает распределение входных данных в два или более кластеров на основе сходства функций. Например, объединение зрителей в похожие группы на основе их интересов, возраста, географии и т. Д. Может быть выполнено с помощью алгоритмов неконтролируемого обучения, таких как кластеризация K-средних.

   Вот таблица, в которой суммируются различия между регрессией, классификацией и кластеризацией.

   Регрессия против классификации против кластеризации — Введение в машинное обучение — Edureka

   Теперь, чтобы сделать вещи интересными, я оставлю несколько формулировок проблемы ниже, а ваша домашняя работа — угадать тип проблемы (регрессия, классификация или Кластеризация) это:

   1. Постановка проблемы 1: Изучите набор данных о банковских кредитах и ​​примите решение о том, одобрять ли ссуду заявителю, исходя из его социально-экономического профиля.
   2. Постановка задачи 2: Изучить набор данных «Продажи дома» и построить модель машинного обучения, которая прогнозирует индекс цен на жилье.
   3. Постановка проблемы 3: Сгруппировать набор фильмов как хорошие или средние на основе их охвата в социальных сетях.

   Не забудьте оставить свой ответ в разделе комментариев.

   Теперь, когда у вас есть хорошее представление о том, что такое машинное обучение и какие процессы в нем задействованы, давайте запустим демонстрацию, которая поможет вам понять, как на самом деле работает машинное обучение.

   Машинное обучение в R

   Короткий отказ от ответственности: я буду использовать язык R, чтобы показать, как работает машинное обучение. R — это язык статистического программирования, который в основном используется для обработки данных и машинного обучения. Чтобы узнать больше о R, вы можете посетить следующие блоги:

   1. R Tutorial — A Beginner’s Guide to Learn R Programming
   2. R Programming — Beginners Guide to R Programming Language
   3. Top 50 R Interview Questions you must prepare in 2019
   4. Полное руководство по R для науки о данных

   Теперь приступим.

   Постановка проблемы: Для изучения набора данных прогноза погоды в Сиэтле и построения модели машинного обучения, которая может предсказать вероятность дождя.

   Описание набора данных: Набор данных был собран путем исследования и наблюдения за погодными условиями в международном аэропорту Сиэтл-Такома. Набор данных содержит следующие переменные:

   • DATE = дата наблюдения
   • PRCP = количество осадков в дюймах
   • TMAX = максимальная температура для этого дня в градусах Фаренгейта
   • TMIN = минимальная температура для этого дня, в градусов по Фаренгейту
   • RAIN = TRUE, если в этот день наблюдался дождь, FALSE, если он не был

   Целевая переменная или ответная переменная в данном случае — RAIN.Если вы заметили, эта переменная является категориальной по своей природе, то есть ее значение бывает двух категорий: True или False. Следовательно, это проблема классификации, и мы будем использовать алгоритм классификации, называемый логистической регрессией.

   Несмотря на то, что название предполагает, что это алгоритм «регрессии», на самом деле это не так. Он принадлежит к семейству GLM (обобщенная линейная модель) и, следовательно, называется логистической регрессией.

   Следуйте этому всестороннему руководству по логистической регрессии в блоге R, чтобы узнать больше о логистической регрессии.

   Логика: Для построения модели логистической регрессии, чтобы предсказать, будет ли дождь в конкретный день на основе погодных условий.

   Теперь, когда вы знаете цель этой демонстрации, давайте заставим наш мозг работать и приступим к программированию.

   Шаг 1. Установка и загрузка библиотек

   R предоставляет тысячи пакетов для запуска алгоритмов машинного обучения и математических моделей. Итак, первый шаг — установить и загрузить все соответствующие библиотеки.

   
   # Загрузить необходимые библиотеки
   библиотека (тидиверс)
   библиотека (загрузка)
   install.packages ('прогноз')
   библиотека (прогноз)
   библиотека (серия)
   install.packages ('каретка')
   библиотека (каретка)
   install.packages ('ROCR')
   библиотека (ROCR)
   
    

   Каждая из этих библиотек служит определенной цели, вы можете узнать больше о библиотеках в официальной документации R.

   Шаг 2. Импортируйте набор данных

   К счастью, я нашел набор данных в Интернете, и мне не нужно собирать его вручную.В приведенном ниже фрагменте кода я загрузил набор данных в переменную с именем ‘data.df’ с помощью функции ‘read.csv ()’, предоставленной R. Эта функция предназначена для загрузки файла версии, разделенной запятыми (CSV). .

   
   # Импорт набора данных
   data.df <- read.csv ("/ Users / Zulaikha_Geer / Desktop / Data / seattleWeather_1948-2017.csv", header = TRUE)
   
    

   Шаг 3. Изучение набора данных

   Давайте взглянем на пару наблюдений в наборе данных. Для этого мы можем использовать функцию head (), предоставляемую R.Это перечислит первые 6 наблюдений в наборе данных.

   
   > голова (data.df)
   ДАТА & nbsp; & nbsp; & nbsp; PRCP & nbsp; & nbsp; TMAX & nbsp; & nbsp; TMIN & nbsp; ДОЖДЬ
   1 1 января 1948 & nbsp; & nbsp; 0,47 & nbsp; & nbsp; & nbsp; & nbsp; 51 & nbsp; & nbsp; & nbsp; 42 & nbsp; & nbsp; ПРАВДА
   2 1948-01-02 & nbsp; & nbsp; 0,59 & nbsp; & nbsp; & nbsp; 45 & nbsp; & nbsp; & nbsp; 36 & nbsp; & nbsp; ПРАВДА
   3 1948-01-03 & nbsp; & nbsp; 0.42 & nbsp; & nbsp; & nbsp; 45 & nbsp; & nbsp; & nbsp; 35 & nbsp; & nbsp; ПРАВДА
   4 1948-01-04 & nbsp; & nbsp; 0,31 & nbsp; & nbsp; & nbsp; 45 & nbsp; & nbsp; & nbsp; 34 & nbsp; & nbsp; & nbsp; ИСТИНА
   5 1948-01-05 & nbsp; & nbsp; 0,17 & nbsp; & nbsp; & nbsp; 45 & nbsp; & nbsp; & nbsp; 32 & nbsp; & nbsp; & nbsp; ИСТИНА
   6 1948-01-06 & nbsp; & nbsp; 0,44 & nbsp; & nbsp; & nbsp; 48 & nbsp; & nbsp; & nbsp; 39 & nbsp; & nbsp; & nbsp; ИСТИНА
   
    

   Теперь давайте посмотрим на структуру набора данных с помощью функции str ().

   
   # Изучение структуры набора данных
   > str (data.df)
   'data.frame': 25551 набл. из 5 переменных:
   $ DATE: Фактор с 25551 уровнями "1948-01-01", "1948-01-02", ..: 1 2 3 4 5 6 7 8 9 10 ...
   $ PRCP: число 0,47 0,59 0,42 0,31 0,17 0,44 0,41 0,04 0,12 0,74 ...
   $ TMAX: внутренний 51 45 45 45 45 48 50 48 50 43 ...
   $ TMIN: int 42 36 35 34 32 39 40 35 31 34 ...
   $ RAIN: logi ИСТИНА ИСТИНА ИСТИНА ИСТИНА ИСТИНА ИСТИНА ...
   
    

   В приведенном выше коде вы можете видеть, что тип данных для переменных «DATE» и «RAIN» отформатирован неправильно.Переменная «DATE» должна иметь тип Date, а переменная «RAIN» должна быть фактором.

   Шаг 4. Очистка данных

   Приведенный ниже фрагмент кода при форматировании переменных «ДАТА» и «ДОЖДЬ»:

   
   # Форматирование переменных date и rain
   data.df $ DATE <- as.Date (data.df $ DATE)
   data.df $ RAIN <- as.factor (data.df $ RAIN)
   
    

   Как я уже упоминал ранее, важно проверить наличие каких-либо отсутствующих значений или значений NA в наборе данных, приведенный ниже фрагмент кода проверяет значения NA в каждой переменной:

   
   # Проверка значений NA в переменной "DATE"
   > который (есть.na (data.df $ DATE))
   целое число (0)
   
   # Проверка значений NA в переменной 'TMAX'
   > который (is.na (data.df $ TMAX))
   целое число (0)
   
   # Проверка значений NA в переменной TMIN
   > который (is.na (data.df $ TMIN))
   целое число (0)
   
   # Проверка значений NA в переменной 'PRCP'
   > который (is.na (data.df $ PRCP))
   [1] 18416 18417 21068
   
   # Проверка значений NA в переменной 'rain'
   > который (is.na (data.df $ RAIN))
   [1] 18416 18417 21068
   
    

   Если вы заметили приведенный выше фрагмент кода, вы увидите, что переменные TMAX, TMIN и DATE не имеют значений NA, тогда как переменные «PRCP» и «RAIN» имеют 3 пропущенных значения, эти значения необходимо удалить.

   
   # Удаляем строки с отсутствующим значением RAIN
   > data.df <- data.df [-c (18416, 18417, 21068),]
   
    

   Значения успешно удалены!

   Шаг 5: Объединение данных

   Объединение данных - еще один причудливый термин для разделения набора данных на набор для обучения и тестирования. Набор данных для обучения должен быть больше, поскольку для обучения модели и помощи в изучении тенденций требуется гораздо больше данных. В приведенном ниже фрагменте кода набор данных разбивается на наборы для обучения и тестирования в соотношении 7: 3.Это означает, что 70% данных используется для обучения, а 30% - для тестирования.

   
   # Объединение данных
   #Data Partitioning: создать набор данных для поезда и тестирования (0,7: 0,3)
   index <- createDataPartition (data.df $ RAIN, p = 0.7, list = FALSE)
   # Обучающий набор
   train.df <- data.df [индекс,]
   # Тестирование набора данных
   test.df <- data.df [-index,]
   
    

   Вы можете проверить сводку набора данных тестирования и обучения с помощью функции summary () в R:

   
   > резюме (поезд.df)
   
   > сводка (test.df)
   
    

   Шаг 6: Исследование данных

   Этот этап включает в себя обнаружение закономерностей в данных и выяснение корреляций между переменными-предикторами и переменной ответа. В приведенном ниже фрагменте кода я использовал функцию cor.test (), предоставленную R.

   Этот тест корреляции показывает значимость переменных-предикторов при построении модели. Кроме того, функция cor.test () требует наличия переменных числового типа, поэтому в приведенном ниже коде я отформатировал переменную «Rain» как числовую.

   
   # Установка переменной дождя как числовой для вычисления корреляции
   train.df $ RAIN <- as.numeric (train.df $ RAIN) # Корреляция между переменной Rain и TMAX> cor.test (train.df $ TMAX, train.df $ RAIN)
   
   Корреляция продукта и момента Пирсона
   
   данные: train.df $ TMAX и train.df $ RAIN
   t = -55,492, df = 17882, значение p <2,2e-16 Альтернативная гипотеза: истинная корреляция не равна 0 95-процентный доверительный интервал: -0,3957173 -0,3707104 выборочные оценки: cor -0,3832841> # Корреляция между переменной 'Rain' и TMIN
   кор.тест (train.df $ TMIN, train.df $ RAIN)
   
   Корреляция продукта и момента Пирсона
   
   данные: train.df $ TMIN и train.df $ RAIN
   t = -18,163, df = 17882, значение p <2,2e-16
   альтернативная гипотеза: истинная корреляция не равна 0
   95-процентный доверительный интервал:
   -0,1489493 -0,1201678
   примерные оценки:
   кор
   -0,1345869
   
    

   Приведенные выше выходные данные показывают, что и TMIN, и TMAX являются важными переменными-предикторами. Обратите внимание на значение p для обеих переменных. Значение p или значение вероятности является наиболее важным параметром для понимания значимости модели.

   Если p-значение переменной меньше 0,05, это считается важной характеристикой при прогнозировании результата. В нашем случае значение p для каждой из этих переменных намного ниже 0,05, что хорошо.

   Прежде чем двигаться дальше, давайте снова преобразуем переменную «RAIN» в тип «factor»:

   
   # Установка переменной дождя как фактора для построения модели
   train.df $ RAIN <- as.factor (train.df $ RAIN)
   
    

   Шаг 7. Построение модели машинного обучения

   После понимания корреляций пора построить модель.Мы будем использовать алгоритм логистической регрессии для построения модели. R предоставляет функцию glm (), которая содержит алгоритм логистической регрессии. Синтаксис функции glm ():

   glm (формула, данные, семейство)

   В приведенном выше синтаксисе:

   • Формула: Формула представляет связь между зависимыми и независимыми переменными.
   • Данные: набор данных, к которому применяется формула.
   • Семейство: в этом поле указывается тип регрессионной модели.В нашем случае это бинарная модель логистической регрессии.

   
   > # Построение модели логической регрессии
   > # GLM логистическая регрессия
   > модель <- glm (RAIN ~ TMAX + TMIN, data = train.df, family = binomial)> summary (model)
   
   Вызов:
   glm (формула = RAIN ~ TMAX + TMIN, family = binomial, data = train.df)
   
   Остаточные отклонения:
   Мин. 1 квартал Медиана 3 квартал Макс.
   -2,4700 -0,8119 -0,2557 0,8490 3,2691
   
   Коэффициенты:
   Расчетная Станд. Ошибка z значение Pr (> | z |)
   (Перехват) 2,808373 0,098668 28,46 <2e-16 ***
   TMAX -0.250859 0,004121 -60,87 <2e-16 ***
   TMIN 0,259747 0,005036 51,57 <2e-16 ***
   ---
   Сигниф. коды: 0 & lsquo; *** & rsquo; 0,001 & lsquo; ** & rsquo; 0,01 & lsquo; * & rsquo; 0,05 & lsquo;. & Rsquo; 0,1 & lsquo; & rsquo; 1
   
   (Параметр дисперсии для биномиального семейства принят равным 1)
   
   Нулевое отклонение: 24406 на 17883 степенях свободы
   Остаточное отклонение: 17905 по 17881 степени свободы
   АИК: 17911
   
   Количество итераций подсчета очков Фишера: 5
   
    

   Мы успешно построили модель с использованием переменных «TMAX» и «TMIN», поскольку они имеют сильную корреляцию с целевой переменной («Rain»).

   Шаг 8: Оценка модели

   На этом этапе мы собираемся проверить эффективность модели машинного обучения, используя набор данных тестирования.

   
   #Model Evaluation
   # Сохранение прогнозируемых значений
   > predicted_values ​​<- predicted (model, test.df, type = "response")> head (predicted_values)
   2 4 5 8 9 18
   0,7048729 0,5868884 0,4580049 0,4646309 0,1567753 0,8585068
   
   # Создание таблицы, содержащей фактические значения RAIN в наборе тестовых данных
   > таблица (test.df $ RAIN)
   
   FALSE TRUE
   4394 & nbsp; & nbsp; & nbsp; 3270
   > nrows_prediction <-nrow (test.df) # Создание кадра данных, содержащего предсказанные значения 'Rain'> prediction <- data.frame (c (1: nrows_prediction))> colnames (prediction) <- c ("RAIN") > str (прогноз)
   'data.frame': 7664 набл. из 1 переменной:
   $ RAIN: int 1 2 3 4 5 6 7 8 9 10 ...
   
   # Преобразование переменной 'Rain' в символ, который хранит либо (T / F)
   прогноз $ RAIN <- as.character (прогноз $ RAIN)
   
   # Установка порогового значения
   прогноз $ RAIN <- "ИСТИНА"
   прогноз $ RAIN [predicted_values ​​<0.5] <- "ЛОЖЬ" # прогноз [предсказанные_значения> 0,5] <- "ИСТИНА"
   прогноз $ RAIN <- as.factor (прогноз $ RAIN)
   
    

   См. Комментарии к коду, он легко понятен.

   
   # Сравнение прогнозируемых значений и фактических значений
   > таблица (прогноз $ RAIN, test.df $ RAIN)
   
   FALSE TRUE
   ЛОЖЬ & nbsp; & nbsp; 3460 & nbsp; & nbsp; 931
   ИСТИНА & nbsp; & nbsp; & nbsp; & nbsp; 934 & nbsp; & nbsp; 2339
   
    

   В приведенном ниже фрагменте кода мы используем матрицу путаницы для оценки точности модели.

   
   # Матрица путаницы
   > confusionMatrix (прогноз $ RAIN, test.df $ RAIN)
   Матрица неточностей и статистика
   
   Справка
   Прогноз FALSE TRUE
   ЛОЖЬ 3460 931
   ИСТИНА 934 2339
   
   Точность: 0,7567
   95% ДИ: (0,7469, 0,7662)
   Нет информации Скорость: 0,5733
   Значение P [Acc> NIR]: <2e-16
   
   Каппа: 0,5027
   
   Значение P теста Макнемара: 0,9631
   
   Чувствительность: 0,7874
   Специфичность: 0,7153
   Предполагаемое значение позиции: 0,7880
   Отрицательное прогнозное значение: 0,7146
   Распространенность: 0,5733
   Скорость обнаружения: 0,4515
   Распространенность обнаружения: 0,5729
   Сбалансированная точность: 0.7514
   
   "Положительный" класс: ЛОЖЬ
   
    

   Согласно вышеприведенному выводу, модель может предсказать вероятность дождя с точностью примерно 76%, что является довольно хорошим показателем. Подводя итог, давайте построим график, показывающий кривую логистической регрессии, известную как сигмовидная кривая, между переменной-предиктором TMAX и целевой переменной RAIN.

   
   # Выходной график, показывающий разницу между TMAX и Rainfall
   ggplot (test.df, aes (x = test.df $ TMAX, y = predicted_values)) +
   geom_point () + # добавить точки
   geom_smooth (method = "glm", # построить регрессию...
   method.args = list (family = "binomial"))
   
    

   ggplot - Введение в машинное обучение - Edureka

   Теперь, когда вы знакомы с основами машинного обучения, я уверен, что вам интересно узнать больше о различных алгоритмах машинного обучения. Вот список блогов, в которых подробно рассматриваются различные типы алгоритмов машинного обучения:

   Итак, на этом мы подошли к концу блога «Введение в машинное обучение». Я надеюсь, что вы все нашли этот блог информативным.Если у вас есть какие-либо мысли, прокомментируйте их ниже. Следите за новостями, чтобы увидеть больше подобных блогов!

   Если вы ищете структурированное онлайн-обучение по Data Science, edureka! имеет специально подобранный курс Data Science, который поможет вам получить опыт в области статистики, обработки данных, исследовательского анализа данных, алгоритмов машинного обучения, таких как кластеризация K-средних, деревья решений, случайный лес, наивный байесовский анализ. Вы изучите концепции временных рядов, интеллектуального анализа текста, а также познакомитесь с глубоким обучением.Новые партии для этого курса скоро начнутся !!

   7 отличных книг о машинном обучении для начинающих

   Машинное обучение и искусственный интеллект - растущие области и постоянно растущие темы изучения. Хотя продвинутые реализации машинного обучения, о которых мы слышим в новостях, могут показаться пугающими и недоступными, основные концепции на самом деле довольно легко понять. В этой статье мы рассмотрим некоторые из самых популярных ресурсов для новичков в области машинного обучения (или всех, кому просто интересно узнать).Некоторые из этих книг потребуют знания некоторых языков программирования и математики, но мы обязательно упомянем об этом, когда это произойдет.

   Автор: Оливер Теобальд
   Веб-сайт: Amazon

   Название носит пояснительный характер, не так ли? Если вам нужно полное введение в машинное обучение для начинающих, это может быть хорошим началом. Когда Теобальд говорит «абсолютные новички», он абсолютно уверен в этом. Не требуется ни математического образования, ни опыта программирования - это самое базовое введение в тему для всех, кто интересуется машинным обучением.

   Здесь очень ценится «простой» язык, чтобы новички не были перегружены техническим жаргоном. Четкие, доступные объяснения и наглядные примеры сопровождают различные алгоритмы, чтобы упростить выполнение действий. Также предлагается простое программирование, чтобы поместить машинное обучение в контекст.

   Авторы: Джон Пол Мюллер и Лука Массарон
   Веб-сайт: Amazon

   Пока мы собираемся «абсолютные новички», популярная серия «Чайников» - еще одна полезная отправная точка.Эта книга призвана познакомить читателей с основными концепциями и теориями машинного обучения и их применением в реальном мире. В нем представлены языки программирования и инструменты, являющиеся неотъемлемой частью машинного обучения, и показано, как превратить, казалось бы, эзотерическое машинное обучение в нечто практическое.

   Книга вводит небольшое кодирование на Python и R, используемое для обучения машин поиску закономерностей и анализу результатов. На основе этих небольших задач и шаблонов мы можем экстраполировать, насколько машинное обучение полезно в повседневной жизни, с помощью веб-поиска, интернет-рекламы, фильтров электронной почты, обнаружения мошенничества и т. Д.С помощью этой книги вы сможете сделать небольшой шаг в сферу машинного обучения.

   Авторы: Джон Д. Келлехер, Брайан Мак Нейм и Аойф Д'Арси
   Веб-сайт: Amazon

   Эта книга охватывает все основы машинного обучения, углубляясь в теорию предмета и используя практические приложения, рабочие примеры и тематические исследования для распространения знаний. «Основы» лучше всего читают люди с некоторыми знаниями в области аналитики.

   В нем представлены различные подходы к обучению с помощью машинного обучения и каждая концепция обучения сопровождается алгоритмами и моделями, а также рабочими примерами, демонстрирующими концепции на практике.

   Автор: Тоби Сегаран
   Веб-сайт: О'Рейли | Amazon

   Это скорее практическое руководство по внедрению машинного обучения, а не введение в машинное обучение. Из этой книги вы узнаете, как создавать алгоритмы машинного обучения для сбора данных, полезных для конкретных проектов. Он учит читателей, как создавать программы для доступа к данным с веб-сайтов, сбора данных из приложений и выяснения значения этих данных после того, как вы их собрали.

   «Программирование коллективного разума» также демонстрирует методы фильтрации, методы обнаружения групп или шаблонов, алгоритмы поисковых систем, способы прогнозирования и многое другое. Каждая глава включает упражнения для отображения уроков в приложении.

   Авторы: Дрю Конвей и Джон Майлз Уайт
   Веб-сайт: O’Reilly | Amazon

   Здесь слово «хакеры» используется в более техническом смысле: программисты, которые собирают код для конкретных целей и практических проектов.Для тех, кто плохо разбирается в математике, но имеет опыт работы с языками программирования и кодирования, подойдет «Машинное обучение для хакеров». Машинное обучение обычно основано на большом количестве математических операций из-за алгоритмов, необходимых для его синтаксического анализа. данных, но многие опытные программисты не всегда развивают эти математические навыки.

   В книге используются практические тематические исследования, чтобы представить материал в реальных практических приложениях, а не углубляться в математическую теорию. В нем представлены типичные проблемы машинного обучения и способы их решения с помощью языка программирования R.Приложения для машинного обучения бесконечны: от сравнения сенаторов США на основе их голосований до создания системы рекомендаций для подписчиков в Твиттере и обнаружения спам-писем на основе текста электронного письма.

   Автор: Питер Харрингтон
   Веб-сайт: Amazon

   «Машинное обучение в действии» - это руководство, которое знакомит новичков с методами, необходимыми для машинного обучения, а также с концепциями, лежащими в основе этих практик. Он действует как учебное пособие, чтобы научить разработчиков программировать свои собственные программы для сбора данных для анализа.

   Из этой книги вы познакомитесь с методами, используемыми на практике, с уделением особого внимания самим алгоритмам. Фрагменты кода языка программирования содержат примеры кода и алгоритмов, которые помогут вам начать работу и увидеть, как они развивают машинное обучение. Знакомство с языком программирования Python полезно, поскольку он используется в большинстве примеров.

   Авторы: Ян Х. Виттен, Эйбе Франк и Марк А. Холл
   Веб-сайт: Amazon

   В статье «Интеллектуальный анализ данных» авторы сосредотачиваются на технической работе в области машинного обучения и на том, как собрать необходимые данные с помощью определенных методов интеллектуального анализа данных.Они рассматривают технические детали машинного обучения, обучение методам получения данных, а также то, как использовать различные входные и выходные данные для оценки результатов.

   Поскольку машинное обучение постоянно меняется, в книге также обсуждаются вопросы модернизации и нового программного обеспечения, которые формируют эту сферу.