Zvukobook.ru - Первый аудиокнижный | Воронцов лекции по машинному обучению: Воронцов. Курс «Машинное обучение» 2019 (Школа анализа данных)

Содержание

Воронцов. Курс «Машинное обучение» 2019 (Школа анализа данных) — Журнал «Я Robot»

На YouTube опубликован цикл из 22 лекций курса «Машинное обучение» К.В.Воронцова, прочитанных в 2019 году в Школе анализа данных (Яндекс).

Воронцов Константин Вячеславович — профессор кафедры интеллектуальных систем факультета управления и прикладной математики МФТИ, доктор физико-математических наук, доцент кафедры математических методов прогнозирования факультета ВМиК МГУ, преподаватель Школы анализа данных Яндекса, профессор ВШЭ.

Школа анализа данных (ШАД) — это бесплатная двухгодичная программа для тех, кто хочет стать продвинутым датасаентистом или архитектором систем хранения и обработки больших данных. Лекции и семинары в ШАДе проводят сотрудники Яндекса, преподаватели ведущих университетов.

Вводная лекция

В первой половине лекции вводятся обозначения и понятия, которые будут использоваться на протяжении всего курса: объекты, признаки, функция потерь, предсказательная модель, минимизация эмпирического риска, обучающая выборка, тестовая выборка, переобучение, скользящий контроль.

Во второй половине лекции приводятся примеры прикладных задач классификации, регрессии, ранжирования. В конце кратко обсуждаются некоторые вопросы методологии машинного обучения: особенности реальных данных, межотраслевой стандарт CRISP-DM, организация вычислительных экспериментов.

2. Линейные методы

Линейная модель играет фундаментальную роль в теории машинного обучения. Это простейшая модель нейрона и основной строительный блок для нейронных сетей. Обучать её можно с помощью метода стохастического градиента. На практике он нуждается в различных эвристических усовершенствованиях. Одно из важнейших – регуляризация. Она делает решение устойчивым в случае мультиколлинеарных признаков и уменьшает переобучение. Постановка задачи построения разделяющей поверхности в терминах теории вероятности приводит к пониманию регуляризатора через априорное распределение параметров модели. В конце рассматривается логистическая регрессия – метод классификации, способный не только классифицировать объекты, но и давать оценки вероятностей классов.

3. Метрические методы

Метод ближайшего соседа является, пожалуй, самым простым методом классификации. Разбирая один за другим его недостатки, мы приходим к методам взвешенных ближайших соседей, парзеновского окна, потенциальных функций… и осознаём, что снова пришли к линейному классификатору. Отбор эталонных объектов в ленивом обучении в некоторых задачах позволяет радикально уменьшить объём хранимых данных, а, если повезёт, то и улучшить качество классификации. Идея, что схожим объектам должны соответствовать схожие ответы, в регрессии приводит к непараметрическим методам типа ядерного сглаживания. Выводы на удивление те же, что и для классификации: подбор ширины окна принципиально важен для оптимизации качества модели, а выбор ядра сглаживания отвечает лишь за её гладкость. В конце рассматривается проблема обнаружения и отсева выбросов.

4. Метод опорных векторов

Снова линейный классификатор. Принцип максимума ширины зазора между классами приводит к выпуклой задаче квадратичного программирования, которая имеет массу замечательных свойств. Во-первых, её решение единственно. Во-вторых, оно зависит не от всей выборки, а только от горстки объектов на границе между классами, которые и называются опорными векторами. В-третьих, заменяя скалярное произведение между объектами (не совсем) произвольной функцией от пары объектов, можно из линейной модели классификации получить нелинейную. Это один из самых красивых математических трюков во всём машинном обучении. Наконец, заменяя общепринятую L2 регуляризацию более экзотическими регуляризаторами, можно наделить SVM свойством отбора признаков. Интересный общий вывод: в линейных моделях негладкость функции потерь приводит к отбору объектов.

5. Многомерная линейная регрессия (А.Ю.Фонарев)

Классический способ обучения линейной модели регрессии – это метод наименьших квадратов. Сингулярное разложение матрицы признаковых описаний объектов позволяет изящно записать классическое решение МНК. Мультиколлинеарность или скрытые линейные зависимости между признаками приводит к неустойчивости решения и переобучению. Гребневая регрессия с помощью L2-регуляризации делает решение немного смещённым, но намного более устойчивым. Сингулярное разложение и в этом случае позволяет записать решение. Более того, оно позволяет эффективно оптимизировать параметр регуляризации. Метод LASSO или L1-регуляризация решает проблему мультиколлинеарности по-другому – отбрасывая лишние признаки. Третье решение – линейный переход от большого числа исходных признаков к малому числу новых признаков, но так, чтобы исходные по новым можно было восстановить как можно точнее. Это приводит к методу главных компонент, который оказывается обобщением всё того же сингулярного разложения.

6. Нелинейная регрессия

Что делать, если модель регрессии не линейная или функция потерь не квадратичная? Общий рецепт такой: применение метода Ньютона-Рафсона приводит к итерационному процессу, на каждом шаге которого решается задача линейной регрессии. Смысл её сводится к тому, чтобы поточнее настроиться на тех объектах, на которых модель в текущем её приближении работает недостаточно хорошо. В этот общий сценарий неплохо вписывается серия важных частных случаев. Нелинейная регрессия с квадратичной функцией потерь. Логистическая регрессия. Обобщённая линейная модель (GLM), в которой прогнозируемая величина описывается экспоненциальным семейством распределений. Логистическая регрессия является частным случаем GLM, и, благодаря этому факту, мы теперь понимаем, почему вероятность классов выражается через сигмоиду от дискриминантной функции. В конце немного про неквадратичные функции потерь: метод наименьших модулей, квантильная регрессия, робастная регрессия и SVM-регрессия.

7. Прогнозирование временных рядов

Прогнозирование временных рядов – это специальный случай задачи регрессии, в которой объекты выборки линейно упорядочены по времени. Обучающая выборка находится в прошлом, тестовая – в будущем. В простых задачах из области эконометрики поведение временного ряда складывается из медленно меняющегося тренда, сезонной квазипериодичности и различных календарных эффектов. В этих случаях неплохо работают адаптивные методы краткосрочного прогнозирования. Они основаны на рекуррентных формулах, которые выводятся методом наименьших квадратов. Если модель временного ряда не известна, а временных рядов много, используются методы адаптивной селекции и адаптивного комбинирования моделей. Их точности вполне хватает для решения многих практических задач, а неоспоримым преимуществом является вычислительная эффективность.

8. Критерии выбора моделей

Лекция состоит из двух слабо связанных частей. В первой части рассматриваются критерии качества классификации, от простейшего «числа ошибок» до правдоподобия, AUC и PR-AUC. Каждый из них имеет свои границы применимости и противопоказания. От них мы переходим к критериям, характеризующим обобщающую способность моделей. От скользящего контроля до разного рода штрафов за сложность модели: AIC, BIC, VC-bound и прочие. Во второй части рассматривается задача отбора признаков, имеющая экспоненциальную вычислительную сложность, и эвристические методы сокращения полного перебора. Жадные алгоритмы. Поиск в глубину и в ширину. Эволюционные алгоритмы. Случайный поиск с адаптацией.

9. Логические методы классификации

Логическая закономерность в задаче классификации – это предикат с простой интерпретируемой формулой, выделяющий много объектов одного класса и мало объектов всех остальных классов. Самый распространённый вид предикатов – конъюнкции небольшого числа пороговых условий на признаки. Алгоритмы поиска информативных конъюнкций очень похожи на алгоритмы отбора признаков из предыдущей лекции. Специальный вариант – методы индукции решающих деревьев. Недостаток деревьев в том, что они не устойчивы к составу обучающей выборки и ошибкам в данных. Справиться с переобучением деревьев помогает процедура усечения (pruning) либо ансамблирование – разного рода решающие леса, в том числе очень известный метод случайного леса.

10. Поиск ассоциативных правил

Специальный случай поиска логических закономерностей в форме правил «если выполняется конъюнкция признаков X, то выполняется также конъюнкция признаков Y». Это обучение без учителя, поскольку целевой признак-класс изначально не задан для объектов. Задача пришла из анализа рыночных корзин в конце 90х годов, но быстро нашла массу применений в других областях. Есть простой классический алгоритм APriori, но на больших данных он не эффективен. Большая часть лекции посвящена алгоритму FP-growth, основанному на построении очень эффективной структуры данных – префиксного дерева, позволяющего сохранить в оперативной памяти полную информацию о всех часто встречающихся наборах признаков за один линейный проход по всем объектам выборки.

11. Байесовская классификация

Восстановление плотности распределения по выборке – важный класс задач машинного обучения. В частности, к ним сводится построение байесовского классификатора. Рассматриваются три подхода к восстановлению плотности. Самый простой – непараметрический, это оценка плотности Парзена-Розенблатта. Классическим считается параметрический подход, и мы рассматриваем его подробно на примере восстановления плотности многомерного нормального распределения. Третий подход – восстановление смеси вероятностных распределений. Познакомимся с ЕМ-алгоритмом в общем виде и в одном частном случае, когда компонентами смеси являются сферические гауссианы. В байесовском классификаторе это приводит к конструкции, одновременно похожей на метод потенциальных функций, SVM с гауссовским ядром и двухслойную нейронную сеть с радиальными базисными функциями.

12. Кластеризация и частичное обучение

Задача кластеризации – это обучение без учителя. Требуется разбить конечное множество объектов на кластеры по их взаимной близости. Если для части объектов, обычно очень небольшой, классификации всё же известны, то это задача с частичным обучением. Самый известный метод кластеризации – k-средних, если внимательно присмотреться, является сильно упрощённым вариантом ЕМ-алгоритма для разделения смеси сферических гауссиан. Метод DBSCAN более удобен в тех задачах, где нельзя делать предположение о сферичности кластеров. Если требуется иерархически объединять мелкие кластеры в более крупные, используется алгоритм Ланса-Уильямса. Все методы кластеризации очень легко приспосабливаются для частичного обучения. Есть и противоположный подход – приспосабливать методы классификации с учителем. Кроме простых эвристических методов, существует трансдуктивный SVM и различные подходы на основе регуляризаторов.

13. Нейронные сети и градиентные методы

Любую непрерывную функцию можно приблизить многослойной нейронной сетью с любой заданной точностью. Теоретически, двух слоёв для этого достаточно. На практике для обучения искусственных нейронных сетей чаще всего используется метод BackPropagation – обратное распространение ошибок. Он позволяет эффективно вычислять градиент функции потерь по вектору параметров сети. Чтобы этот метод действительно работал, приходится использовать совокупность эвристик для ускорения сходимости, выбора начального приближения, градиентного шага и регуляризации. Методы разреживания сети позволяют радикально сокращать число нейронов и связей.

14. Нейронные сети глубокого обучения

Современный бум искусственных нейронных сетей обязан своим появлением конкурсу по классификации изображений ImageNet. Свёрточные нейронные сети осуществили прорыв в компьютерном зрении, впервые обеспечив высокое качество распознавания при обучении по большим данным. Свёрточные слои осуществляют обучаемое преобразование сырого представления объекта в векторное представление фиксированной размерности, с которым далее работает полносвязная сеть, как правило, из небольшого числа слоёв. Для обработки сигналов и текстов используются рекуррентные нейронные сети, для которых есть свой вариант метода BackPropagation. Одна из самых известных рекуррентных сетей – LSTM, а также её упрощённый вариант GRU. Вкратце рассматриваются важнейшие нейросетевые техники – автокодировщики, перенос обучения, самостоятельное обучение, генеративные состязательные сети.

15. Линейные композиции, бустинг

Композиционные методы машинного обучения дают положительный конструктивный ответ на вопрос, возможно ли из большого числа ненадёжных алгоритмов построить один надёжный. Алгоритм AdaBoost строит последовательность алгоритмов так, чтобы каждый следующий стремился исправлять ошибки предыдущих. В AdaBoost используется экспоненциальная аппроксимация пороговой функции потерь и дискретно-значные базовые классификаторы. Градиентный бустинг обобщает эту идею и позволяет использовать произвольную функцию потерь и вещественно-значные базовые алгоритмы. С помощью градиентного бустинга можно решать задачи регрессии и ранжирования. Алгоритмы MatrixNet и CatBoost, разработанные в Яндексе, представляют собой градиентный бустинг над решающими деревьями специального вида.

16. Композиции классификаторов, часть 2

Бэггинг похож на бустинг, но использует простое голосование вместо взвешенного, бутстрепинг объектов обучающей выборки вместо их перевзвешивания, независимое параллельное построение базовых алгоритмов вместо строго последовательного. По критерию качества бустинг, бэггинг и случайные леса, как правило, сопоставимы. Во многих приложениях базовые алгоритмы проще обучать на отдельных частях признакового пространства, называемых областями компетенции. Такие методы похожи на восстановление смеси распределений и используют ЕМ-подобные алгоритмы для поочерёдной оптимизации базовых алгоритмов и их областей компетенции.

17. Обучение ранжированию

Задача ранжирования отличается от классификации и регрессии тем, что вместо правильных ответов на объектах обучающей выборке задаётся отношение частичного порядка. Модель ранжирования – это функция от объекта (как и в задаче регрессии), с помощью которой можно отранжировать произвольное множество объектов. Задачи ранжирования решаются в информационно-поисковых, рекламных и рекомендательных системах. Критерии качества ранжирования весьма разнообразны, наиболее важные из них рассматриваются в лекции. Методы обучения ранжированию делятся на три большие группы: поточеченые, попарные и списочные. Поточечные являются незначительными модификациями методов классификации или регрессии. Попарные оптимизируют критерии, представляющие собой сумму по парам объектов, а не по отдельным объектам. Для оптимизации часто используется метод стохастического градиента. Списочные методы приближённо оптимизируют качество ранжирования в списках поисковой выдачи.

18. Рекомендательные системы

Имеются транзакционные данные о предпочтениях объектов клиентами. Требуется для заданного клиента спрогнозировать, какие объекты для него наиболее предпочтительны. Простые и уже устаревшие методы коллаборативной фильтрации основаны на поиске схожих клиентов, которые предпочитают схожие множества объектов. Более современные методы основаны на поиске латентных векторов интересов клиентов и объектов. Для этого используются методы матричных разложений. Качество рекомендаций измеряется многими критериями: это не только точность предсказания известных предпочтений, но и разнообразие, новизна, покрытие, догадливость. Кроме того, рекомендательная система должна обеспечивать адекватность рекомендаций даже в условиях «холодного старта», когда по объекту или по клиенту не хватает информации о предпочтениях.

19. Тематическое моделирование

Имеется коллекция текстовых документов. Требуется выявить тематическую кластерную структуру коллекции и оценить, к каким темам относится каждый документ, и какими словами описывается каждая тема. Как и в рекомендательных системах, задача сводится к построению низкорангового неотрицательного матричного разложения. Данная задача является многокритериальной и некорректно поставленной, поскольку имеет бесконечное множество решений. Для нахождения устойчивого решения вводятся дополнительные критерии-регуляризаторы и используется регуляризованный ЕМ-алгоритм. В лекции рассматриваются регуляризаторы для учёта дополнительной информации, ограничений и требований к тематической модели.

20. Обучение с подкреплением

Процесс обучения представляется в виде игры агента со средой, в которой агент совершает действия, среда в ответ даёт премии, и агент должен корректировать свою стратегию принятия решений таким образом, чтобы максимизировать суммарную будущую премию. Задача имеет черты классификации и прогнозирования. В простейшем случае это задача выбора действия по накопленной статистике премий, называемая задачей о многоруком бандите. В более сложном случае на каждом шаге известно, в каком из состояний находится среда. Если состояние среды описывается вектором признаков, то для принятия решений возможно приспособить инкрементные методы классификации, а для оптимизации стратегии агента применять градиентные методы. Во всех случаях основным вопросом обучения с подкреплением остаётся компромисс «exploration-exploitation» между изучающими действиями и действиями, непосредственно нацеленными на получение премий.

21. Активное обучение

Активное обучение используется в тех случаях, когда получение ответа от учителя стоит дорого, но есть возможность выбирать, какой объект предъявить учителю следующим. Активное обучение позволяет сокращать объём обучающей выборки по сравнению с пассивным случайным выбором. Для сэмплирования объектов используются различные стратегии: по неуверенности, по ожидаемому изменению модели, по ожидаемому сокращению ошибки, по уменьшению дисперсии параметров модели. Как и в обучении с подкреплением, здесь также имеется компромисс «exploration-exploitation» и методы для введения изучающих действий.

22. Заключительная лекция

В заключительной лекции даётся беглый обзор курса, выделяются многочисленные сходства и взаимосвязи между различными методами машинного обучения, обсуждаются идеи разнообразных гибридных подходов.

Введение в машинное обучение | Coursera

Не так давно получил распространение термин «большие данные», обозначивший новую прикладную область — поиск способов автоматического быстрого анализа огромных объёмов разнородной информации. Наука о больших данных ещё только оформляется, но уже сейчас она очень востребована — и в будущем будет востребована только больше.

С её помощью можно решать невероятные задачи: оценивать состояние печени по кардиограмме, предсказывать зарплату по описанию вакансии, предлагать пользователю музыку на основании его анкеты в интернете. Большими данными может оказаться что угодно: результаты научных экспериментов, логи банковских транзакций, метеорологические наблюдения, профили в социальных сетях — словом, всё, что может быть полезно проанализировать. Самым перспективным подходом к анализу больших данных считается применение машинного обучения — набора методов, благодаря которым компьютер может находить в массивах изначально неизвестные взаимосвязи и закономерности. На факультете компьютерных наук ВШЭ и в Школе анализа данных есть люди, активно использующие машинное обучение и разрабатывающие новые подходы к нему. Именно они — преподаватели этого курса. Вы изучите основные типы задач, решаемых с помощью машинного обучения — в основном речь пойдёт о классификации, регрессии и кластеризации. Узнаете об основных методах машинного обучения и их особенностях, научитесь оценивать качество моделей — и решать, подходит ли модель для решения конкретной задачи. Наконец, познакомитесь с современными библиотеками, в которых реализованы обсуждаемые модели и методы оценки их качества. Для работы мы будем использовать реальные данные из реальных задач. Краткая программа курса: Неделя 1. Введение. Примеры задач. Логические методы: решающие деревья и решающие леса. Неделя 2. Метрические методы классификации. Линейные методы, стохастический градиент. Неделя 3. Метод опорных векторов (SVM). Логистическая регрессия. Метрики качества классификации. Неделя 4. Линейная регрессия. Понижение размерности, метод главных компонент. Неделя 5. Композиции алгоритмов, градиентный бустинг. Нейронные сети. Неделя 6. Кластеризация и визуализация. Частичное обучение. Неделя 7. Прикладные задачи анализа данных: постановки и методы решения. Слушателю нужно знать об основных понятиях математики: функциях, производных, векторах, матрицах. Для выполнения практических заданий потребуются базовые навыки программирования. Очень желательно знать Python. Задания рассчитаны на использование этого языка и его библиотек numpy, pandas и scikit-learn. Чтобы успешно завершить курс, нужно набрать проходную сумму баллов за тесты и практические задания, а также выполнить финальный проект, посвящённый решению прикладной задачи анализа данных. Мы уверены, что этот курс будет полезен каждому, кто хочет постичь искусство предсказательного моделирования и освоить интеллектуальный анализ данных. Появились технические трудности? Обращайтесь на адрес: [email protected]

8 лекций, которые помогут разобраться в машинном обучении и нейросетях

Мы собрали интересные лекции, которые помогут понять, как работает машинное обучение, какие задачи решает и что нам в ближайшем будущем ждать от машин, умеющих учиться. Первая лекция рассчитана скорее на тех, кто вообще не понимает, как работает machine learning, в остальных много интересных кейсов.

Машинное обучение

Вводная лекция от кандидата физико-математических наук Дмитрия Ветрова. Ученый объясняет, как работает машинное обучение, что такое глубинное обучение и как устроены нейросети.

Математические методы прогнозирования объемов продаж

Другая лекция от ПостНауки — член Российской академии наук Константин Воронцов показывает частный пример применения методов машинного обучения в бизнесе. Математик объясняет, как его команда построила модель прогнозирования объемов продаж для крупной розничной сети.

Прекрасные и ужасные последствия самообучения компьютеров

Спикер TED, специалист по машинному обучению и CEO компании Enlitic Джереми Говард делает свои прогнозы о том, что произойдет, когда мы научим компьютеры учиться.

Как мы учим компьютеры понимать изображения

Еще одна лекция в рамках TED. Эксперт по компьютерному зрению Фей-Фей Ли описывает последние достижения машинного обучения, включая базу данных, содержащую 15 миллионов фотографий, которую создала её команда, чтобы научить компьютер понимать изображения.

Как мы обучаем технику не смотреть и слушать, а видеть и слышать?

Несмотря на первые 20 минут тишины, довольно бодрая лекция по глубинному обучению от теххаба KL10CH и инженера в области машинного обучения, компьютерного зрения и обработки сигналов в Исследовательского центра Samsung Дмитрия Коробченко. Для самых стойких и продвинутых.

И бонус для тех, кто настроен серьезно:

Recent Developments in Deep Learning

Лекция известного специалиста по искусственным нейросетям Джеффри Хинтона, прочитанная в Торонтском университете. Профессор Хинтон рассказывает об основных достижениях в области глубинного обучения.

Deep Learning, Self-Taught Learning and Unsupervised Feature Learning

Один из основателей Coursera, доцент Стэнфорда и специалист в области машинного обучения и робототехники Эндрю Ын объясняет тонкости обучения «с учителем» и без.

Machine Learning for Video Games

За пять минут на примере Марио вам расскажут, как машинное обучение применяется в разработке видеоигр.

Константин Вячеславович Воронцов. О науке о данных и машинном обучении

– Чем вы занимаетесь?
– Я занимаюсь наукой о данных, по-английски Data Science. Это раздел информатики, изучающий способы переработки данных, собираемых и накапливаемых с помощью компьютеров, в полезные людям знания, прогнозы, решения. Науки о данных охватывают как относительно старые дисциплины — прикладную статистику, анализ сигналов, прогнозирование, распознавание образов, так и более новые — компьютерное зрение, машинное обучение, глубокое обучение, data mining (добыча знаний из данных), business intelligence (интеллектуальные системы для бизнеса).

– Всё чаще приходится слышать слова «машинное обучение» и «глубокое обучение». Это одно и то же, и если нет, то в чём отличия?
– Машинное обучение (machine learning) — это обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться по данным. Глубокое обучение (deep learning) — это узкая подобласть машинного обучения, в которой изучаются и применяются недавно открытые новые методы обучения искусственных нейронных сетей. Искусственные нейронные сети основаны на принципе работы человеческого мозга. Процессы обработки информации в нашем мозге похожи на параллельные вычисления. Еще в пятидесятые годы были созданы достаточно успешные математические модели, имитирующие работу нейронов головного мозга. Долгое время ученые считали, что двух-трёх слоёв нейронов достаточно, чтобы воспроизвести вычисления любой сложности, и даже работу биологической нейросети. Однако по скорости реакции человека можно оценить, что в обработке сигналов участвуют в среднем 10–15 слоев. Видимо, природа не спроста так распорядилась. С развитием технических возможностей модель усовершенствовали, и оказалось, что многослойные сети действительно работают лучше. Это открытие и привело к появлению глубокого обучения.

– Где применяют машинное и глубокое обучение?
– Глубокое обучение применяют для решения задач, в которых изначальные данные обладают сложной структурой. Это могут быть изображения, тексты, сигналы, которые нужно преобразовать в удобный для машины вид. Появление глубоких сетей улучшило качество распознавания зрительных образов скачком на 10–15% и сделало его сопоставимым с человеческим зрением. До этого компьютерное зрение улучшалось на доли процента в год ценой огромных усилий всего научного сообщества. Теперь технические устройства могут распознавать надписи, номерные знаки, окружающие предметы, лица людей. Летательные аппараты, наделенные компьютерным зрением, могут распознавать, что за объекты расположены внизу.

В то же время остаётся огромное число приложений, где не требуется сложной предварительной обработки данных и вполне можно обойтись обычными методами машинного обучения. Они работают с четко формализованной информацией, когда каждый объект реального мира описывается набором признаков — мы его называем вектором признаков. Машинное обучение используется в самых разных областях: для постановки медицинских диагнозов, принятия решений о выдаче кредита, поиска месторождений полезных ископаемых, прогнозирования момента выхода оборудования из строя. Поисковые, рекомендательные и рекламные системы в Интернете работают на машинном обучении. Огромное множество бизнес-задач у торговых сетей, банков, сотовых операторов решается с помощью машинного обучения. Анализ накопленных данных о всех действиях клиентов позволяет привлекать новых клиентов, формировать индивидуальные предложения, предсказывать уход клиентов.

– Как вы пришли в профессию?
– Мне всегда хотелось заниматься математическим моделированием и программированием. Вуз и кафедру я выбирал таким образом, чтобы совместить эти два увлечения и в дальнейшем иметь возможность заниматься чем угодно, где применяется математика. Поэтому я поступил в МФТИ на факультет управления прикладной математики. После второго курса, когда надо было выбирать кафедру, я выбрал ту, на которой, как мне показалось, самый широкий спектр прикладных задач, и попал в Вычислительный центр Российской академии наук.

Позже я узнал, что этот принцип — оставлять себе максимальную свободу выбора для принятия последующих решений — в философии называется принципом неокончательных решений Габора. Любопытно, что он также применяется в некоторых алгоритмах машинного обучения.

Вообще, это очень красивая и заманчивая идея, что одна и та же математика может использоваться в медицине, биологии, геологии, социологии, бизнесе. Никогда не знаешь, чем будешь заниматься через три года. Можно менять вид деятельности, оставаясь компетентным специалистом с большим опытом работы. Например, сейчас я занимаюсь анализом текстов, компьютерной лингвистикой. Если бы мне пять лет назад об этом сказали, я бы не поверил.

– Какое образование нужно получить, чтобы стать специалистом в машинном обучении?
– Главное — любить математику, программирование и компьютерные технологии. Ещё очень важно быть в душе исследователем, то есть интересоваться, как устроен мир. Любая задача машинного обучения — это прежде всего математическое моделирование какой-то конкретной предметной области, в которой вам должно быть не противно разбираться, причём делать это надо быстро и глубоко.

Машинное обучение, и в особенности глубокое обучение, сейчас на пике популярности. Но я бы не рекомендовал ограничиваться только этим. Популярность приходит и уходит, да и не каждую задачу удобно решать с помощью глубокого обучения. Важно уметь подобрать метод под задачу, а не подходить к любой задаче со своим универсальным молотком. Можно увлекаться последними научными трендами, но широта кругозора важнее.Чтобы стать специалистом по Data Science, нужно хорошо знать такие разделы математики, как теория вероятностей, математическая статистика, методы оптимизации, линейная алгебра, структуры данных и алгоритмы. Из информатики понадобятся технологии баз данных, параллельные и распределенные вычисления, язык программирования Python. Для работы в области нейронных сетей пригодятся базовые знания нейрофизиологии.Из московских вузов я бы порекомендовал МФТИ, факультет вычислительной математики и кибернетики МГУ, в частности, кафедру математических методов прогнозирования, которая давно занимается машинным обучением. Хорошее высшее образование можно получить и на факультете компьютерных наук в НИУ ВШЭ, созданном совместно со Школой анализа данных «Яндекса». Из учебных заведений Санкт-Петербурга я бы выделил ИТМО и СПбГУ.

– Какие компетенции необходимы специалисту по машинному обучению?
– Быть «универсальным солдатом» анализа данных означает уметь многое: формализовать требования заказчика, разобраться в специальной литературе, найти и применить стандартные методы, при необходимости изобрести свои, более «заточенные» под задачу, внедрить, протестировать, найти ошибки, вернуться в самое начало, чтобы их исправить, и так несколько раз по кругу. Это сценарий типичного проекта по анализу данных. Если ты умеешь что-то одно из этого, то ты простой исполнитель. Если ты прошёл весь круг много раз и умеешь работать с людьми, то ты готов управлять такими проектами.

Мне кажется, что главное не в компетенциях. Анализ данных — это творческая работа, способная доставлять удовольствие. Меня в свое время заворожила возможность заставить компьютер делать то, что я хочу, и так я увлёкся программированием. Когда профессия совпадает с хобби, компетенции нарабатываются очень быстро.

– Будут ли специалисты по Data Science востребованы в ближайшем будущем?
– Сегодня мы видим настоящий «бум» Data Science. Это связано с тем, что уже пару десятилетий компьютеры повсеместно собирают данные. Закономерно встал вопрос, что с этими данными можно сделать. Как из них извлечь пользу для бизнеса, производства, науки? Неудивительно, что специалисты по молодой дисциплине Data Science, умеющие использовать данные для получения полезных знаний и создания автоматических систем, сейчас очень востребованы. Чем более «компьютеризированной» будет наша жизнь, тем больше людей будут заниматься анализом данных. Это профессия будущего.

Кроме того, мы ещё не знаем всех возможностей искусственного интеллекта. Нас наверняка ожидают новые прорывы, похожие на тот, что уже случился в компьютерном зрении. Например, в 2016 году произошёл взрыв интереса к чат-ботам (виртуальным собеседникам — прим. сайта). На мой взгляд, это перегретые ожидания, и вместо разговорного интеллекта мы пока видим его имитацию. Однако, когда сотни тысяч умных людей по всему миру с энтузиазмом берутся разрабатывать модное научное направление, из этого иногда выходит толк.

– Если специалисту по машинному обучению захочется попробовать себя в другой области, куда он может пойти работать?
– Специалист по анализу данных всегда работает на стыке с какой-нибудь другой областью. Это может быть медицина, геология, финансы, связь, транспорт, промышленное производство, социология, маркетинг, да что угодно! Можно проработать несколько лет в одной области и там остаться. Иногда я наблюдаю противоположную картину. Люди других профессий начинают увлекаться анализом данных и машинным обучением, когда видят, какие огромные возможности оно открывает.

– Существуют ли кружки, где школьники могут получить практические знания по машинному обучению?
– С каждым годом у подростков появляется все больше возможностей «попробовать» будущую профессию. Этим летом я преподавал в проектной смене Образовательного центра Сириус. Центр принимает детей 10–17 лет. Мы со школьниками занимались анализом электрокардиограмм (записей биоэлектрической активности сердца — прим. сайта) для медицинской диагностики. Многие реальные задачи анализа данных возможно упростить до доступного детям уровня математики и программирования. У ребят появляется огромный энтузиазм, когда они видят, что это настоящее дело, что оно нужно людям. Мы ставили задачу в виде конкурса, соревновательной игры, и это тоже понижало входной барьер. Конкурс по анализу данных становится точкой входа в предметную область, например, в медицину. Это какой-то совершенно новый элемент в школьном образовании. Тут есть над чем вместе подумать учёным и педагогам.

В Москве школьники могут присоединиться к малому ШАДу — школе анализа данных для старшеклассников, организованной компанией «Яндекс». Кроме того, школьник может принять участие в различных конкурсах по анализу данных.

– Что представляют собой конкурсы по анализу данных?
– Различные компании выкладывают свои наборы данных и ставят задачу, например, повысить точность прогнозов, а любой желающий может предложить свое решение. Такие конкурсы существуют уже более 10 лет, большинство из них проводится на платформе Kaggle (kaggle.com). Практически всегда победителю конкурса полагается денежный приз. Помимо вознаграждения, победы в соревнованиях дают важную строчку в резюме. Для начала не обязательно глубоко разбираться в машинном обучении, достаточно овладеть несколькими приёмами. Опыт и знания придут со временем.Один из первых конкурсов в 2006 году организовала американская компания Netflix, занимающаяся прокатом видео через интернет. На тот момент 70% ее выручки приходилось на персональные предложения фильмов через сайт. Предложения формировались с помощью машинного обучения, и компания хотела повысить качество своих рекомендаций на 10%. Они назначили приз в один миллион долларов — это был первый конкурс со столь крупной суммой. В течение трех лет на Netflixprize.com соревновались лучшие специалисты со всего мира. Это оказалась весьма выгодно для компании, ведь за миллион она не смогла бы нанять такую армию профессионалов. Успешный опыт Netflix потянул за собой череду конкурсов, с тех пор их популярность постоянно растёт.

Конкурсы по анализу данных могут служить не только для поиска новых бизнес-решений, но и способствовать популяризации науки среди школьников и студентов. Мы уже работаем над созданием ресурса, на котором компании и университеты могли бы выкладывать свои задачи в форме конкурсов анализа данных, сопровождая их просветительскими и обучающими материалами. Компания Kaggle выкладывает довольно скупые описания задач, рассчитанные на профессионалов. Нам хотелось бы сместить этот акцент, чтобы любой желающий мог разобраться в задаче и поучаствовать в её решении. Это даст школьникам и студентам шанс позаниматься реальным делом, порешать проблемы на переднем крае науки и технологий и получить входной билет в интересную профессию.

– Есть ли у вас какая-либо ролевая модель? Про кого школьникам было бы полезно узнать?
– Какой-то одной модели нет. Было много людей, которые воодушевляли. Одним из первых был Учитель моего Учителя, академик Юрий Иванович Журавлёв. Когда я был студентом Физтеха, он рассказывал нам, как в 60-е годы ему досталась задача о прогнозировании месторождений золота на территории СССР. Задача выглядела совершенно «гиблой» с точки зрения математической статистики тех лет — построить функцию в 150-мерном пространстве по 17 точкам. Тогда было придумано оригинальное решение, используемое в машинном обучении по сей день. И были найдены два месторождения, ровно там, где указал алгоритм. Когда я попал к Журавлёву в отдел, он нам «по секрету» рассказал, что для геологов не менее важным оказался способ табличного представления данных, который привнесли математики. Когда данные были упорядочены и систематизированы, геологи стали замечать в них закономерности без всяких компьютерных вычислений. Мы привыкли к банальной истине, что математика — это универсальный язык, способный навести порядок в любой сложной области. Но когда тебе показывают, как это происходит в каждом конкретном случае, это всегда ярко и неожиданно. Открытия часто происходят не там, где их ожидают.

Очень рекомендую найти мемуарную литературу про научные школы Михаила Моисеевича Бонгарда в ИППИ АН СССР и Марка Ароновича Айзермана в ИПУ АН СССР. Это были выдающиеся учёные и организаторы, увлечённые идеями кибернетики и создания искусственного интеллекта. Удивительна атмосфера искреннего научного поиска, которую им удавалось поддерживать в своих коллективах. Вряд ли я смогу передать это в двух словах — надо читать воспоминания людей, которые работали вместе с ними.

Из современных зарубежных учёных рекомендую обратить внимание на работы Джеффри Хинтона — специалиста по нейронным сетям и глубокому обучению. Это ученый с мировым именем, один из создателей этого направления. Также я рекомендую школьникам обратить внимание на выступления и лекции гуру машинного обучения, главы кембриджского департамента Microsoft Research Кристофера Бишопа. По его учебникам учатся в ведущих университетах мира. Его научно-популярные лекции — это настоящие шоу. Он иллюстрирует многие концепции компьютерных наук столь же наглядно, как физические или химические опыты. У него есть короткие видеолекции, предназначенные для школьников.

– Что вы могли бы посоветовать почитать или посмотреть школьникам, заинтересовавшимся машинным обучением?
– Я бы порекомендовал посмотреть видеолекции малого ШАДа. У них замечательный материал, который будет полезен школьникам.

Недавно в издательстве «Манн, Иванов и Фербер» вышла популярная книга довольно известного учёного Педро Домингоса «Верховный алгоритм». В ней нет формул, но есть огромное количество примеров того, как машинное обучение входит в нашу жизнь. Кажется, ему удалось сделать невозможное — книга будет интересна и школьнику, и бизнесмену, и профессионалу в области анализа данных.

8 лекций, чтобы разобраться в машинном обучении и нейросетях

Spark.ru собрал лекции, которые помогут понять, как работает машинное обучение, какие задачи решает и что нам в ближайшем будущем ждать от машин, умеющих учиться.

С работой алгоритмов машинного обучения вы сталкиваетесь каждый день. Это распознавание изображений, поисковая выдача, голосовые помощники, рекомендации контента и, конечно же, реклама. Здесь собраны лекции, которые помогут понять, как работает машинное обучение, какие задачи решает и что нам в ближайшем будущем ждать от машин, умеющих учиться.

Вводная лекция от кандидата физико-математических наук Дмитрия Ветрова. Учёный объясняет, как работает машинное обучение, что такое глубинное обучение и как устроены нейросети.

Другая лекция от ПостНауки — член РАН Константин Воронцов показывает частный пример применения методов машинного обучения в бизнесе. Математик объясняет, как его команда построила модель прогнозирования объёмов продаж для крупной розничной сети.

Спикер TED, специалист по машинному обучению и CEO компании Enlitic Джереми Говард делает свои прогнозы о том, что произойдёт, когда мы научим компьютеры учиться.

Ещё одна лекция в рамках TED. Эксперт по компьютерному зрению Фей-Фей Ли описывает последние достижения машинного обучения, включая базу данных, содержащую 15 миллионов фотографий, которую создала её команда, чтобы научить компьютер понимать изображения.

Несмотря на первые 20 минут тишины, довольно бодрая лекция по глубинному обучению от теххаба KL10CH и инженера в области машинного обучения, компьютерного зрения и обработки сигналов Исследовательского центра Samsung Дмитрия Коробченко. Для самых стойких и продвинутых.

И бонус для тех, кто настроен серьёзно:

Лекция известного специалиста по искусственным нейросетям Джеффри Хинтона, прочитанная в Торонтском университете. Профессор Хинтон рассказывает об основных достижениях в области глубинного обучения.

Один из основателей Coursera, доцент Стэнфорда и специалист в области машинного обучения и робототехники Эндрю Ын объясняет тонкости обучения с учителем и без.

За пять минут на примере Марио вам расскажут, как машинное обучение применяется в разработке видеоигр.

Очно-заочный курс по нейронным сетям

Смешанное занятие № 1. Вводное занятие

Вводное занятие

Консультация № 1. Модуль 1. Алгоритм обратного распространения ошибки. Часть 1

Алгоритм обратного распространения ошибки.

Консультация № 2. Модуль 1. Алгоритм обратного распространения ошибки. Часть 2

Модуль 1. Алгоритм обратного распространения ошибки. Часть 2

Рубежный контроль № 1. Модуль 1. Зачет

Зачет по первому модулю

Консультация № 3. Модуль 2. Ускорение обучения нейронных сетей: batch normalization, dropout, методы оптимизации

Модуль 2. Сверточные нейронные сети, batch normalization, dropout

Рубежный контроль № 2. Модуль 2. Зачет

Зачет по модулю 2

Консультация № 4. Модуль 3. Сверточные нейронные сети, Архитектуры глубинных нейронных сетей

Проект 1: решение задачи на Kaggle

Рубежный контроль № 3. Модуль 3. Зачет

Зачет по модулю 3

Консультация № 5. Модуль 4. Рекуррентные нейронные сети

Модуль 4. Рекуррентные нейронные сети

Рубежный контроль № 4. Модуль 4. Зачет

Зачет по модулю 4

Консультация № 6. Модуль 5.Генеративные модели

Модуль 5.Генеративные модели

Рубежный контроль № 5. Модуль 5. Зачет

Зачет по модулю 5

Экзамен № 1. Итоговый экзамен

Итоговый экзамен по курсу

16 бесплатных онлайн-курсов по машинному обучению

Популярная тенденция в сфере онлайн-образования — массовые открытые онлайн-курсы (Massive open online-courses, MOOC). Появились бесплатные курсы по машинному обучению и data science. Они доступны каждому и основаны на образовательных программах от ведущих университетов, например, МФТИ.

Большинство MOOC по машинному обучению доступны на английском языке и представлены на известных платформах онлайн-образования, таких как Coursera, Udacity, World Education University и edX.

Отдельно стоит отметить, что курсы Coursera доступны бесплатно только для прослушивания лекций. Для того, чтобы выполнять задания или получить сертификат по окончании курса, нужно оформить подписку или оплатить курс.

Видео-материалы и лекции курса можно получить бесплатно, для этого на странице курса внизу нужно нажать кнопку «прослушать курс», как показано на картинке:

Как бесплатно прослушать курсы по машинному обучению
В этой статье собраны бесплатные курсы по машинному обучению и Data Science на русском языке или с русскими субтитрами.
Курсы по data science
Введение в машинное обучение
Авторы: ВШЭ и Яндекс
Платформа: Coursera
Язык: русский
На курсе Константина Воронцова Введение в машинное обучение рассматриваются популярные задачи, решаемые с помощью машинного обучения — классификация, регрессия, кластеризация. Слушателю нужно знать об основных понятиях математики: функциях, производных, векторах, матрицах, желательно иметь базовые навыки программирования и быть знакомым с python.
Продолжительность: 35 часов
Машинное обучение и анализ данных
Авторы: МФТИ и Яндекс
Платформа: Coursera
Язык: русский
Специализация Машинное обучение и анализ данных включает 6 курсов. Осваиваются основные инструменты, необходимые в работе с большим массивом данных: современные методы классификации и регрессии, поиск структуры в данных, проведение экспериментов, построение выводов, фундаментальная математика, основы программирования на python.
Продолжительность: 8 месяцев (7 часов в неделю)
Python для анализа данных
Авторы: МФТИ, ФРОО, Mail.ru Group
Платформа: Coursera
Язык: русский
Курс Python для анализа данных ориентирован на решение практических задач. Студенты будут применять свои навыки программирования для построения предиктивных моделей, визуализации данных и работы с нейросетями.
Продолжительность: 25 часов
Введение в науку о данных
Автор: СПбГУ
Платформа: Coursera
Язык: русский
Курс Введение в науку о данных рассматривает постановку и решение типичных задач, с которыми может столкнуться в своей работе data scientist, подходы к сбору, анализу, обработке и визуализации массивов данных.
Продолжительность: 17 часов
Глубокое обучение в творчестве с TensorFlow
Автор: Google Magenta
Платформа: Kadenze
Язык: английский, русские субтитры
MOOC Использование глубокого обучения в творчестве с помощью TensorFlow расскажет о том, как строить алгоритмы глубокого обучения на основе сверточных, рекуррентных, генеративных нейросетей и применять их для создания творческих приложений.
Продолжительность: 60 часов
Data Science
Автор: Johns Hopkins University
Платформа: Courserа
Язык: английский, русские субтитры
В специализацию Data Science университета John Hopkins входят 10 курсов, включая сбор и сортировку данных, программирование на языке R, регрессионные модели, разработку продуктов для обработки данных и другие.
Продолжительность: 8 месяцев (5 часов в неделю)
Data science для руководителей
Автор: Johns Hopkins University
Платформа: Courserа
Язык: английский, русские субтитры
Data Science для руководителей — это ускоренная обучающая программа — 5 курсов, которые дают базовое понимание о том, что такое data science и как работать с проектами в этой сфере, собирать и развивать команду и даже лидерские качества.
Продолжительность: 40 часов
Нейронные сети
Автор: Институт биоинформатики
Платформа: Stepic
Язык: русский
Бесплатный курс Нейронные сети дает основы теории нейронных сетей и практики применения. Детальный разбор процесса создания и применения нейронных сетей. Алгоритмы, лежащие в основе нейросетей и множество практических задач.
Продолжительность: 33 часа
Программирование на Python
Автор: Институт биоинформатики
Платформа: Stepic
Язык: русский
На курсе Программирование на Python представлены базовые понятия программирования на python и большое количество практических задач. Решения будут проверяться автоматической системой.
Продолжительность: 22 часа
Алгоритмы: теория и практика. Методы
Автор: Computer Science Center
Платформа: Stepic
Язык: русский
Рассматриваются теоретические основы создания алгоритмов и особенности реализации на языках C++, Java и Python.
Продолжительность: 35 часов
Основы программирования на R
Автор: Институт биоинформатики
Платформа: Stepic
Язык: русский
На курсе Основы программирования на R изучаются основные типы данных и семантические правила, анализ и обработка данных.
Продолжительность: 19 часов
Анализ данных в R
Автор: Институт биоинформатики
Платформа: Stepic
Язык: русский
На курсе рассматриваются этапы статистического анализа на R — предварительная обработка данных, применение статистических методов анализа и визуализация данных.
Продолжительность: 21 час
Базы данных
Автор: СПбГУ
Платформа: Coursera
Язык: русский
В основе курса Базы данных изучение и применение языка SQL для создания, модификации объектов и управления данными в реляционных базах данных. Рассматриваются сферы применения NoSQL баз данных и современные подходы к обработке big data.
Продолжительность: 20 часов
От Excel до MySQL: способы анализа бизнес-данных
Автор: Duke University
Платформа: Coursera
Язык: английский, русские субтитры
В специализацию входят 5 курсов, которые демонстрируют, как использовать Excel, Tableau и MySQL для анализа данных, прогнозирования, создания моделей и визуализации данных для решения задач и улучшения бизнес-процессов.
Продолжительность: 8 месяцев (5 часов в неделю)
Линейная регрессия
Автор: СПбГУ
Платформа: Coursera
Язык: русский
В курсе Линейная регрессия разбираются основные методы описания взаимосвязей между количественными признаками, регрессионный анализ и построение моделей. Специальное место отводится операциям с матрицами. Курс ориентирован на людей, которые уже знакомы с базовыми понятиями анализа данных.
Продолжительность: 22 часа
Анализ данных
Автор: НГУ
Платформа: Coursera
Язык: русский
В специализацию Анализ данных Новосибирского государственного Университета входят 4 курса. Курсы содержат материалы по основам теории вероятностей и математической статистики, исследованию связей между признаками, построению прогнозов на основе регрессионных моделей, кластерному и статистическому анализу. Курсы разработаны совместно с 2GIS.
Продолжительность: 4 месяца (3 часа в неделю)
К.Воронцов: главная
Машинное обучение, интеллектуальный анализ данных, прикладная статистика, комбинаторика.
Машинное обучение изнутри: теория вычислительного обучения, ансамбли, совместная фильтрация.
1988–1994 студент МФТИ.
1993–1997 Программист, РТИАК (Центр научно-прикладной токсикологии Федерального агентства по здравоохранению и социальному развитию).
1994–1997 аспирант ВЦ РАН.
1996–2000 Разработка языка программирования ASDIEL для описания обучаемых композиций алгоритмов.
Разработка библиотек алгоритмов классификации, кластеризации и многомерного масштабирования для ASDIEL.
1996–2005 LaTeX-2e в примерах.Сборник наглядных примеров для более быстрого изучения LaTeX2e. Мои ученики осваивают LaTeX за два часа!
1997–2001 Эксперт Московской межбанковской валютной биржи (ММВБ).
Разработка и поддержка систем анализа рынка и наблюдения САФРАН и СМАРТС.
1998–2006 Разработка библиотеки C ++ научных и бизнес-графиков. ChartLib (документация только на русском языке).
1999 Кандидатская диссертация «Локальные основы в алгебраическом подходе к проблеме распознавания» (на русском см. некоторые английские статьи в публикациях).
Пожалуйста, пусть вас не смущает наша (русскоязычная) терминология; на самом деле эта работа посвящена ансамблевому обучению, что-то вроде бустинга, но в более общем плане. В частности, нелинейные монотонные функции слияния предлагаются как для классификации, так и для регрессии.
2000–2002 Разработка библиотеки C ++ MoTor для моделирования торговли. Уникальной характеристикой MoTor является то, что мы моделируем каждого участника торгов (трейдера, учетную фирму) отдельно. Конфиденциальные данные участников используются для корректировки модели. После создания модели вся конфиденциальная информация может быть забыта, что позволит каждому использовать и изучить модель.
Разработка и управление проектами FORECSYS Симулятор торговли ImiTrade.
2001 – наст. Время Исследователь, Вычислительный центр Российской академии наук (ВЦ РАН).
Заместитель директора по научной работе FORECSYS.
2002 г. Разработка и управление проектами Системы мониторинга фьючерсов и опционов ММВБ FORECSYS.
2002 Разработка внутреннего стандарта FORECSYS «Компоненты матричных алгоритмов maCom » для многомерного анализа данных.
2003–2005 Разработка внутреннего стандарта FORECSYS «CommFace». для более быстрого развития демонстрационных и пилотных проектов.
2003 Разработка пилотной версии системы прогнозирования продаж FORECSYS Goods4Cast.
2004 Разработка пилотной версии системы кредитного скоринга FORECSYS ScoringPilot.
2004 – наст. Время Доцент, заместитель заведующего кафедрой «Интеллектуальные системы» из CMAM МФТИ.
2004 Разработка годичного курса машинного обучения для МФТИ.
Конспекты лекций здесь.
2004 Управление проектами по отбору портфелей и механической торговой системе.
2005 Управление проектами по совместной фильтрации и визуализации карты сходства в Интернете.
2007 Редакция трудов Российской конференции. «Математические методы распознавания образов», ММРО-2007.
Разработка стиля конференции LaTeX (например, комбинированный стиль, поддерживающий заметки рецензента внутри текста).
2007 Разработка семестрового курса прикладной статистики для Факультет ВМК.
2007–2008 Разработка годичного курса вычислительной теории обучения для Факультет ВМК.
2008 – наст. Время Разработка концепции, администрирование, редактирование вики-ресурс www.MachineLearning.ru.
Моя страница участника : Воков (на русском).
Советы и ссылки по изучению машинного обучения! — Блог информационных технологий
Всем привет!
Не секрет, что интерес к машинному обучению и искусственному интеллекту растет в лучшем случае экспоненциально. Тем временем мой Google Drive превратился в огромную корзину с бумагами, а закладки в Google Chrome превратились в список, длина которого каждый день стремится к бесконечности.
Таким образом, чтобы упростить себе и себе жизнь, решил структурировать информацию и дать множество ссылок на интересные ресурсы, которые мы изучили и которые мы рекомендуем изучить вам, если вы только в начале пути.
Путь развития новичка мы видим так:
Попробуйте начать с малого, если у вас нет 6-летнего опыта ВМК по методам прогнозирования, не скачивайте сразу архив лекций Э.Соколова или К. Воронцова, возможно, статьи на Medium будут для вас более оптимальными.
Также могут возникнуть трудности с пониманием алгоритмов, если вы плохо разбираетесь в теории вероятностей, теории оптимизации и статистике, поэтому мы советуем вам запастись лекциями по математике.
Далее, ознакомившись с теорией, легче будет применять знания при решении задач. Далее мы предоставим вам список интересных ресурсов, через которые мы прошли.И, конечно же, желаем успехов в пути.
Новичков:
Лайфхак для быстрого подбора моделей от команды SmartSpate:
Хорошие объяснения того, как работает ROC-AUC:
Аванс:
Основатель Smart Spate.Его роль включает создание работы в соответствии с высочайшими стандартами, поддержку других членов команды и исследование методов и систем, чтобы SmartSpate оставался в авангарде цифровых технологий. Мы потратили много времени на то, чтобы темы были качественными и с максимально информативным подходом.
У него нездоровая любовь к веб-разработке / дизайну и ИТ в целом, ему нравится исследовать постоянно меняющийся мир веб-разработки.
Рабочий процесс глубокого обучения в радиологии: учебник | Insights into Imaging
1.
Chartrand G, Cheng PM, Vorontsov E et al (2017) Глубокое обучение: учебник для радиологов. Радиография 37: 2113–2131
Статья Google Scholar
2.
Miotto R, Wang F, Wang S, Jiang X, Dudley JT (2017) Глубокое обучение для здравоохранения: обзор, возможности и проблемы. Краткий Биоинформ 19: 1236–1246
Статья Google Scholar
3.
Litjens G, Kooi T, Bejnordi BE et al (2017) Обзор глубокого обучения в анализе медицинских изображений.Med Image Anal 42: 60–88
Статья Google Scholar
4.
Луо В., Фунг Д., Тран Т. и др. (2016) Рекомендации по разработке и составлению отчетов по прогнозным моделям машинного обучения в биомедицинских исследованиях: мультидисциплинарный подход. J Med Internet Res 18: e323
Статья Google Scholar
5.
Бен-Коэн A, Diamant I, Klang E, Amitai M, Greenspan H (2016) Полностью сверточная сеть для сегментации печени и обнаружения повреждений.В: Carneiro G et al (Eds) Deep Learning and Data Labeling for Medical Applications. DLMIA 2016, LABELS 2016. Lecture Notes in Computer Science, vol 10008. Springer, Cham, pp 77-85
Chapter Google Scholar
6.
Roth HR, Lu L, Liu J et al (2016) Улучшение компьютерного обнаружения с использованием сверточных нейронных сетей и случайной агрегации представлений. IEEE Trans Med Imaging 35: 1170–1181
Статья Google Scholar
7.
Yasaka K, Akai H, Abe O, Kiryu S (2017) Глубокое обучение со сверточной нейронной сетью для дифференциации масс печени при динамической КТ с контрастным усилением: предварительное исследование. Радиология 286: 887–896
Статья Google Scholar
8.
Summers RM (2016) Прогресс в полностью автоматизированной интерпретации компьютерной томографии брюшной полости. AJR Am J Roentgenol. https://doi.org/10.2214/AJR.15.15996:1-13
9.
Воронцов Э., Черни М., Ренье П. и др. (2019) Глубокое обучение для автоматизированной сегментации поражений печени при КТ у пациентов с метастазами в печень колоректального рака.Radiol Artif Intell 1: 180014
10.
Ямасита Р., Нишио М., До РКГ, Тогаши К. (2018) Сверточные нейронные сети: обзор и применение в радиологии. Insights Imaging: 1–19
11.
Drozdzal M, Chartrand G, Vorontsov E et al (2018) Изучение нормализованных входных данных для итеративной оценки в сегментации медицинских изображений. Med Image Anal 44: 1–13
Статья Google Scholar
12.
He K, Gkioxari G, Dollár P, Girshick RB (2017) Mask R-CNN.CoRR abs / 1703.06870 (2017). Доступно на https://arxiv.org/abs/1703.06870.
13.
Gillies RJ, Kinahan PE, Hricak H (2015) Радиомика: изображения — это больше, чем изображения, они — данные. Радиология 278: 563–577
Статья Google Scholar
14.
Lambin P, Rios-Velazquez E, Leijenaar R et al (2012) Радиомика: извлечение дополнительной информации из медицинских изображений с использованием расширенного анализа признаков. Eur J Cancer 48: 441–446
Статья Google Scholar
15.
Sun J, Li H, Xu Z (2016) Deep ADMM-Net для МРТ с компрессионным зондированием. Достижения в системах обработки нейронной информации, стр. 10-18
16.
Ян Кью, Ян П, Чжан И и др. (2018) Шумоподавление КТ изображений с низкой дозой с использованием генеративной враждебной сети с расстоянием Вассерштейна и потерей восприятия. IEEE Trans Med Imaging 37: 1348–1357
Статья Google Scholar
17.
Higaki T, Nakamura Y, Tatsugami F, Nakaura T, Awai K (2019) Повышение качества изображения при КТ и МРТ с использованием глубокого обучения.Jpn J Radiology 37: 73–80
Статья Google Scholar
18.
Li X, Chen H, Qi X, Dou Q, Fu C-W, Heng PA (2017) H-DenseUNet: гибридный UNet с плотным подключением для сегментации печени и опухоли печени из томов компьютерной томографии. Доступно на https://arxiv.org/abs/1709.07330. По состоянию на 15 августа 2019 г.
19.
Christ PF, Ettlinger F, Grün F et al (2017) Автоматическая сегментация печени и опухолей в объемах КТ и МРТ с использованием каскадных полностью сверточных нейронных сетей.Доступно на https://arxiv.org/abs/1702.05970. Доступ 10 августа 2019 г.
20.
Prasad SR, Jhaveri KS, Saini S, Hahn PF, Halpern EF, Sumner JE (2002) КТ-измерение опухоли для оценки терапевтического ответа: сравнение начальных наблюдений одномерных, двумерных и объемных методов. Радиология 225: 416–419
Статья Google Scholar
21.
Хаяно К., Ли С.Х., Сахани Д.В. (2015) Визуализация для оценки ответа на лечение при гепатоцеллюлярной карциноме: текущее обновление.Indian J Radiol Imaging 25: 121–128
Статья Google Scholar
22.
Gotra A, Sivakumaran L, Chartrand G et al (2017) Сегментация печени: показания, методы и будущие направления. Insights Imaging 8: 377–392
Статья Google Scholar
23.
Хенце Дж., Майнц Д., Персигель Т. (2016) RECIST 1.1, irRECIST 1.1 и mRECIST: как это сделать. Curr Radiol Rep 4:48
24.
Gruber N, Antholzer S, Jaschke W, Kremser C, Haltmeier M (2019) Совместное глубокое обучение для автоматизированной сегментации печени и опухоли. Доступно на https://arxiv.org/abs/1902.07971. По состоянию на 18 ноября 2019 г.
25.
Nancarrow SA, Booth A, Ariss S, Smith T., Enderby P, Roots A (2013) Десять принципов хорошей междисциплинарной командной работы. Hum Resour Health 11:19
Статья Google Scholar
26.
Rubbia-Brandt L, Giostra E, Brezault C et al (2006) Важность оценки гистологического ответа опухоли в прогнозировании исхода у пациентов с колоректальными метастазами в печени, получавших неоадъювантную химиотерапию с последующей операцией на печени.Ann Oncol 18: 299–304
Статья Google Scholar
27.
Whitney CW, Lind BK, Wahl PW (1998) Обеспечение качества и контроль качества в продольных исследованиях. Epidemiol Rev 20: 71–80
CAS Статья Google Scholar
28.
Knatterud GL, Rockhold FW, George SL et al (1998) Рекомендации по обеспечению качества в многоцентровых исследованиях: документ с изложением позиции. Контрольные клинические испытания 19: 477–493
CAS Статья Google Scholar
29.
Nosowsky R, Giordano TJ (2006) Правило конфиденциальности Закона о переносимости и подотчетности медицинского страхования 1996 года (HIPAA): значение для клинических исследований. Annu Rev Med 57: 575–590
CAS Статья Google Scholar
30.
Custers B, Dechesne F, Sears AM, Tani T, van der Hof S (2018) Сравнение законодательства и политик защиты данных в странах ЕС. Comput Law Security Rev 34: 234–243
Статья Google Scholar
31.
Канадский институт исследований в области здравоохранения (2018 г.) Заявление трех советов: этическое поведение в исследованиях с участием людей. Доступно на http://pre.ethics.gc.ca/eng/documents/tcps2-2018-en-interactive-final.pdf. По состоянию на 15 ноября 2019 г.
32.
Ballantyne A, Schaefer GO (2018) Согласие и этический долг участвовать в исследовании данных о состоянии здоровья. J Med Ethics 44: 392–396
Статья Google Scholar
33.
Техасский биобанк исследований рака.Доступно на http://txcrb.org/. Получено 09.09.2019
34.
Манчестерский онкологический исследовательский центр. Доступно на http://www.mcrc.manchester.ac.uk/Biobank. Получено 09.09.2019
35.
Cancer Research Network. Доступно на http://www.hcsrn.org/crn/en/. Доступ 09-09-2019
36.
Яремко Дж. Л., Азар М., Бромвич Р и др. (2019) Белая книга Канадской ассоциации радиологов по этическим и правовым вопросам, связанным с искусственным интеллектом в радиологии.Может Assoc Radiol J. https://doi.org/10.1016/j.carj.2019.03.001
37.
Pesapane F, Volonté C, Codari M, Sardanelli F (2018) Искусственный интеллект как медицинское устройство в радиологии: этические и нормативные проблемы в Европе и США. Insights Imaging 9: 745–753
Статья Google Scholar
38.
Мерфи Дж., Скотт Дж., Кауфман Д., Геллер Дж., Лерой Л., Хадсон К. (2009) Общественные взгляды на информированное согласие на использование биобанков.Am J Public Health 99: 2128–2134
Статья Google Scholar
39.
Nelson G (2015) Практические последствия обмена данными: учебник по конфиденциальности данных, анонимности и деидентификации. SAS Global Forum Proceedings
40.
Neubauer T, Heurix J (2011) Методология псевдонимизации медицинских данных. Int J Med Inform 80: 190–204
Статья Google Scholar
41.
Академия медицинских наук (2006) Персональные данные для общественного блага: использование информации о здоровье в медицинских исследованиях. Доступно на https://acmedsci.ac.uk/policy/policy-projects/personal-data. По состоянию на 4 сентября 2019 г.
42.
Tang A, Tam R, Cadrin-Chênevert A et al (2018) Белая книга Канадской ассоциации радиологов по искусственному интеллекту в радиологии. Can Assoc Radiol J
43.
Aryanto K, Oudkerk M, van Ooijen P (2015) Бесплатные инструменты деидентификации DICOM в клинических исследованиях: функционирование и безопасность конфиденциальности пациентов.Eur Radiol 25: 3685–3695
CAS Статья Google Scholar
44.
Библиотека DICOM. Доступно на https://www.dicomlibrary.com/. Доступ 04-09-2019
45.
Центр ресурсов медицинской визуализации Ассоциация радиологического общества Северной Америки. Доступно на https://mircwiki.rsna.org/index.php?title=Main_Page#MIRC_CTP. Доступ 04-09-2019
46.
Chennubhotla C, Clarke L, Fedorov A et al (2017) Оценка информатики визуализации для точной медицины при раке.Годб Мед Информ 26: 110-119
CAS Статья Google Scholar
47.
Гебру Т., Моргенштерн Дж., Векчионе Б. и др. (2018) Таблицы данных для наборов данных. Доступно на https://arxiv.org/abs/1803.09010. Доступ 22 августа 2019 г.
48.
Thirumuruganathan S, Tang N, Ouzzani M (2018) Data Curation with Deep Learning [Vision]: Towards Self-Driving Data Curation. Доступно на https://arxiv.org/abs/1803.01384. По состоянию на 12 августа 2019 г.
49.
Чаннин Д.С., Монгколват П., Клепер В., Рубин Д.Л. (2009) Проект разметки аннотаций и изображений. Радиология 253: 590–592
Статья Google Scholar
50.
Wolf I, Vetter M, Wegner I. et al (2004) Набор инструментов взаимодействия с медицинской визуализацией (MITK): набор инструментов, облегчающий создание интерактивного программного обеспечения путем расширения VTK и ITK. Proc. SPIE 5367, Медицинская визуализация 2004: Визуализация, процедуры с использованием изображений и отображение, стр. 16-27
51.
Zhu X, Goldberg AB (2009) Введение в полу-контролируемое обучение (синтез лекций по искусственному интеллекту и машинному обучению). Морган и Клейпул Publishers 14
52.
Хинтон Г.Е., Сейновски Т.Дж., Поджио Т.А. (1999) Обучение без учителя: основы нейронных вычислений. MIT press
53.
Bengio Y (2009) Изучение глубинных архитектур для искусственного интеллекта. Основы и тенденции® в машинном обучении 2: 1–127
Статья Google Scholar
54.
Pedregosa F, Varoquaux G, Gramfort A et al (2012) Scikit-learn: машинное обучение на Python. Доступно на https://arxiv.org/abs/1201.0490. Доступ 10 апреля 2019 г.
55.
Папандреу Г., Чен Л-К, Мерфи К.П., Юилль А.Л. (2015) Слабо- и полу-контролируемое обучение глубокой сверточной сети для семантической сегментации изображений. Труды международной конференции IEEE по компьютерному зрению, стр 1742-1750
56.
Ратнер А., Бах С., Варма П., Ре С. (2017) Слабый надзор: новая парадигма программирования для машинного обучения.Hazy Research. Доступно на https://dawn.cs.stanford.edu//2017/07/16/weak-supervision/. Доступ 05-09-2019
57.
Wang Y, Yao Q, Kwok J, Ni LM (2019) Кратковременное обучение: обзор. Доступно на https://arxiv.org/abs/1904.05046. По состоянию на 12 августа 2019 г.
58.
Glorot X, Bengio Y (2010) Понимание сложности обучения глубоких нейронных сетей с прямой связью. Материалы тринадцатой международной конференции по искусственному интеллекту и статистике, стр. 249-256
59.
Родригес Дж. Д., Перес А., Лозано Дж. А. (2009) Анализ чувствительности k-кратной перекрестной проверки при оценке ошибки прогнозирования. IEEE Trans Pattern Anal Mach Intell 32: 569–575
Статья Google Scholar
60.
Goodfellow I, Bengio Y, Courville A (2016) Deep Learning, 1st edn. MIT Press, Кембридж
Google Scholar
61.
Erickson BJ, Korfiatis P, Akkus Z, Kline T, Philbrick K (2017) Наборы инструментов и библиотеки для глубокого обучения.J Digit Imaging 30: 400–405
Артикул Google Scholar
62.
Абади М., Агарвал А., Бархам П. и др. (2015) TensorFlow: крупномасштабное машинное обучение в гетерогенных распределенных системах. Предварительный технический документ, 9 ноября 2015 г.
63.
Paszke A, Gross S, Chintala S, Chanan G (2017) Pytorch: тензоры и динамические нейронные сети на Python с сильным ускорением графического процессора. Pytorch: тензоры и динамические нейронные сети на Python с сильным ускорением графического процессора 6
64.
Chollet F (2015) Керас. Доступно на https://keras.io. По состоянию на 7 января 2019 г.
65.
Dieleman S, Schlüter J, Raffel C et al (2015) Lasagne. Доступно по адресу https://doi.org/10.5281/zenodo.27878. 10.5281 / zenodo.27878
66.
Jia Y, Shelhamer E, Donahue J et al (2014) Caffe: сверточная архитектура для быстрого встраивания функций. Материалы 22-й международной конференции ACM по мультимедиа. ACM, pp 675-678
67.
Soffer S, Ben-Cohen A, Shimon O, Amitai MM, Greenspan H, Klang E (2019) Сверточные нейронные сети для радиологических изображений: руководство радиолога.Радиология 290: 590–606
Статья Google Scholar
68.
Крижевский А., Суцкевер И., Хинтон Г. (2012) Классификация ImageNet с глубокими сверточными нейронными сетями. Достижения в системах обработки нейронной информации 25 (NIPS 2012)
69.
Summers RM (2016) Прогресс в полностью автоматизированной интерпретации компьютерной томографии брюшной полости. AJR Am J Roentgenol 207: 67–79
Статья Google Scholar
70.
Otter DW, Medina JR, Kalita JK (2018) Обзор использования глубокого обучения в обработке естественного языка. Доступно на https://arxiv.org/abs/1807.10854. По состоянию на 10 августа 2019 г.
71.
Thrun S, Pratt L (2012) Learning to learn. Springer Science & Business Media
72.
Уолтер С.Д. (2005) Частичная площадь под сводной кривой ROC. Stat Med 24: 2025–2040
CAS Статья Google Scholar
73.
Raina R, Madhavan A, Ng AY (2009) Крупномасштабное глубокое неконтролируемое обучение с использованием графических процессоров. Материалы 26-й ежегодной международной конференции по машинному обучению. ACM, Монреаль, Квебек, Канада, стр. 873–880
74.
Wei G-Y, Brooks D (2019) Бенчмаркинг платформ TPU, GPU и CPU для глубокого обучения. Доступно на https://arxiv.org/abs/1907.10701. По состоянию на 18 ноября 2019 г.
75.
Kaleeswari C, Maheswari P, Kuppusamy K, Jeyabalu M (2018) Краткий обзор сценариев облачной безопасности.International Journal of Scientific Research in Science and Technology
76.
Cho J, Lee K, Shin E, Choy G, Do S (2015) Сколько данных необходимо для обучения системы глубокого обучения медицинских изображений для достижения необходимой высокой точности ? Доступно на https://arxiv.org/abs/1511.06348. По состоянию на 5 августа 2019 г.
77.
Bernstein D (2014) Контейнеры и облако: от LXC до Docker и Kubernetes. IEEE Cloud Comput 1: 81–84
Статья Google Scholar
78.
Boettiger C (2015) Введение в Docker для воспроизводимых исследований. Доступно на https://arxiv.org/abs/1410.0846. По состоянию на 24 марта 2019 г.
79.
Hightower K, Burns B, Beda J (2017) Kubernetes: начало работы — погружение в будущее инфраструктуры. O’Reilly Media, Inc.
80.
Spanou D (2013) Программное обеспечение как медицинское устройство (SaMD): ключевые определения. IMDRF SaMD Working Group
81.
Форум IMDR (2017) Программное обеспечение как медицинское устройство (SaMD): клиническая оценка.Доступно на http://www.imdrf.org/docs/imdrf/final/technical/imdrf-tech-170921-samd-n41-clinical-evaluation_1.pdf. По состоянию на 22 ноября 2019 г.
82.
IEC I (2006) 62304: 2006 Программное обеспечение для медицинских устройств — процессы жизненного цикла программного обеспечения. Международная электротехническая комиссия, Женева
83.
Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (2019) Предлагаемая нормативно-правовая база для модификации программного обеспечения на основе искусственного интеллекта / машинного обучения (AI / ML) в качестве медицинского устройства (SaMD).Доступно на https://www.fda.gov/media/122535/download. По состоянию на 15 ноября 2019 г.
Основы машинного обучения
При использовании линейных методов нам может потребоваться множество функций, чтобы получить пространство гипотез, достаточно выразительное, чтобы соответствовать нашим данным — функций может быть на порядки больше, чем обучающих примеров. Хотя регуляризация может контролировать переоснащение, наличие огромного количества функций может сделать вещи очень сложными в вычислительном отношении, если обращаться с ними наивно.Для целевых функций особой общей формы, которая включает в себя регрессию гребня и SVM, но не регрессию лассо, мы можем «ядро», что может обеспечить значительное ускорение в определенных ситуациях. Фактически, с помощью «трюка с ядром» мы даже можем использовать бесконечномерное пространство функций с вычислительными затратами, которые зависят в первую очередь от размера обучающей выборки.
Подробнее … Более подробно, оказывается, что даже когда оптимальный вектор параметров, который мы ищем, живет в очень многомерном векторном пространстве (размерность — это количество функций), основной аргумент линейной алгебры показывает, что для некоторых целевых функций оптимальный вектор параметров находится в подпространстве, охватываемом входными векторами обучения.Таким образом, когда у нас больше функций, чем обучающих точек, нам может быть лучше ограничить наш поиск подпространством более низкой размерности, охватываемым обучающими входными данными. Мы можем сделать это, просто изменив параметры целевой функции. Этот результат называется «теоремой о представителе», и его доказательство можно привести на одном слайде.
После повторной параметризации мы обнаружим, что целевая функция зависит от данных только через матрицу Грама или «матрицу ядра», которая содержит скалярные произведения между всеми парами векторов обучающих признаков.Здесь все становится интереснее во второй раз: предположим, что f — наша функция определения характеристик. Иногда скалярное произведение между двумя векторами признаков f (x) и f (x ‘) может быть вычислено намного эффективнее, чем умножение вместе соответствующих признаков и суммирование. В такой ситуации мы записываем точечные произведения в терминах «ядерной функции»: k (x, x ‘) = 〈f (x), f (x’)〉, которые мы надеемся вычислить гораздо быстрее, чем O (d), где d — размер пространства признаков. Суть «метода ядра» заключается в использовании этого «трюка с ядром» вместе с описанной выше повторной параметризацией.Это позволяет использовать огромные (даже бесконечные) пространства функций с вычислительной нагрузкой, которая зависит в первую очередь от размера вашей обучающей выборки. На практике это полезно для небольших и средних наборов данных, для которых вычисление матрицы ядра выполнимо. Масштабирование методов ядра для больших наборов данных все еще является активной областью исследований.

Отделения вмк мгу.Факультет вычислительной математики и кибернетики МГУ
Заведующий кафедрой: Журавлев Юрий Васильевич, академик РАН, профессор, д.т.н.
Контактная информация Другая контактная информация
119991, г. Москва, ГСП-1, Ленинские горы, МГУ, 2-й учебный корпус, факультет ЦМК, кабинеты 530, 532, 573, 680 (зав. Кафедрой)
Кафедра готовит специалистов в области машинного обучения, интеллектуального анализа данных, алгоритмов обработки изображений и их приложений в естественных науках, экономике, финансах и др.Специализация кафедры включает математические методы диагностики сложных систем (в том числе технико-экономических), анализа этих систем, построения оптимальных или близких к оптимальным решений, основанных на косвенной, неполной или противоречивой информации.
Во время обучения студенты получают фундаментальное образование в различных областях математики, таких как современная алгебра и математическая логика, теория алгоритмов, дискретная и комбинаторная математика, математические модели искусственного интеллекта, в том числе математические методы распознавания образов, машинное обучение, обработка изображений. , теория вероятностей, прикладная статистика, графические модели.
Посещая практические занятия, студенты приобретают навыки работы с современными базами данных и программного обеспечения, изучают современные языки и методики программирования, получают опыт решения прикладных задач. Также студенты проходят практику в научно-исследовательских учреждениях Российской академии наук, инновационных компаниях, финансовых организациях и т. Д. Многие из них к моменту обучения в магистратуре уже имеют статьи в научных журналах и труды ведущих конференций.
Кафедра готовит профессионалов в области разработки и применения математических методов для решения различных задач обработки данных, таких как системы оценки, обнаружение мошенничества, прогнозирование розничных продаж, биоинформатика, обработка естественного языка, компьютерное зрение, экспертные системы и т. Д.
Персонал:
Рудаков Константин, член-корреспондент РАН, профессор, д.т.н.
Местецкий Леонид, член-корреспондент РАН, профессор, д.т.н.
Дьяконов Александр Сергеевич, профессор, д.т.н.
Леонтьев Владимир, профессор, д.т.н.
Воронцов Константин, доцент, д.т.н.
Гуревич Игорь, доцент, к.м.н.
Гуров Сергей Александрович, доцент, к.м.н.
Дюкова Елена Александровна, доцент, д.Sc.
Маисурадзе Арчил, доцент, PhD
Рязанов Владимир, доцент, д.т.н.
Сенько Олег, доцент, д.т.н.
Ветров Дмитрий, доцент, к.м.н.
Кропотов Дмитрий Александрович, научный сотрудник, ученый секретарь отдела
Обычные курсы:
Алгебраические методы в машинном обучении профессора Журавлева, 16 лекционных часов и 16 семинарских часов.
Прикладная алгебра проф.Дьяконов, проф. Леонтьев, доц. Проф. Гуров, 48 лекционных часов и 48 семинарских часов.
Машинное обучение от доц. Проф. Воронцов, 32 лекционных часа.
Байесовские методы в машинном обучении, доц. Проф. Ветров, 16 лекционных часов и 16 семинарских часов.
Графические модели доц. Проф. Ветров, 16 лекционных часов и 16 семинарских часов.
Математические методы классификации проф. Рудакова, 32 лекционных часа.
Компьютерная мастерская доц. Проф.Майсурадзе, 48 часов лекций.
Обработка и анализ изображений проф. Местецкого, 16 часов лекций.
Алгоритмы, модели, алгебры проф. Дьяконова, 16 часов лекций.
Прикладная статистика доц. Проф. Воронцов, 16 лекционных часов и 16 семинарских часов.
Обработка сигналов Асс. Проф. Красоткина, 16 часов лекций.
Спецкурсы:
Байесовские методы машинного обучения доктора Ветрова, 16 часов лекций.
Вычислительные проблемы биоинформатики доц.Проф. Махортых и доц. Панкратов, 16 часов лекций.
Image Mining от Assoc. Проф. Гуревич, 16 часов лекций.
Исчисление высказываний классической логики доц. Проф. Гуров, 32 лекционных часа.
Комбинаторные основы теории информации доц. Проф. Воронцов, 16 часов лекций.
Логические методы распознавания образов доц. Проф. Дюкова, 16 часов лекций.
Математические методы биометрии проф. Рудакова, 16 часов лекций.
Метрические методы интеллектуального анализа данных доц. Проф. Майсурадзе, 16 часов лекций.
Непрерывные морфологические модели и алгоритмы проф. Местецкого, 16 часов лекций.
Нестатистические методы интеллектуального анализа и классификации данных по доц. Рязанов, 32 часа лекций.
Обобщенный спектрально-аналитический метод, 16 лекционных часов.
Специальные научные семинары и направления исследований:
Алгебраический подход к интеллектуальному анализу данных, машинному обучению и распознаванию образов
(академик РАН Ю.И. Журавлев, член-корреспондент РАН К.В. Рудаков, д.т.н. В.В. Рязанов, д.т.н. А.Г. Дьяконов).
В рамках алгебраического подхода новые алгоритмы строятся как формулы над исходными алгоритмами (слабые обучающиеся) или как булевы функции (логические корректоры). Главный результат состоит в том, что любой алгоритм можно представить как суперпозицию оператора распознавания и решающего правила. Это позволяет описывать результаты алгоритма как специальные матрицы — матрицы оценок (выходы операторов распознавания) и матрицы результатов (выходы решающих правил).Операции над алгоритмами индуцируются операциями над соответствующими матрицами оценок. Алгебраический подход позволяет строить формулы на основе алгоритмов, формулы, которые верны на тестовом наборе (или имеют лучшую производительность, чем исходные алгоритмы).
Теория вычислительного обучения и приложения машинного обучения
(д-р К. Воронцов)
Одна из самых сложных проблем в исследованиях машинного обучения — это анализ общей производительности обучающейся машины.Разработана комбинаторная теория переобучения, дающая точные, а в некоторых случаях и точные обобщающие оценки. Эти границы применяются для разработки алгоритмов обучения в таких подобластях машинного обучения, как ансамблевое обучение, индукция правил, дистанционное обучение, выбор функций, выбор прототипа. Другое направление исследований — поиск информации, совместная фильтрация и вероятностное тематическое моделирование с приложениями для анализа больших коллекций научных документов.
Непрерывные модели в анализе и классификации формы изображений
(Проф. Л. Местецкий)
Исследуются подходы и методы представления формы объектов на цифровых изображениях непрерывными моделями. Человеческий глаз не видит дискретной природы цифровых изображений. Изображения выглядят как сплошные картинки, и более привычно и проще оперировать «сплошными» непрерывными геометрическими моделями формы. Поэтому использование непрерывных моделей значительно упрощает создание алгоритмов анализа, классификации и преобразования форм изображений.Используется понятие фигуры как универсальной непрерывной модели формы. Фигура определяется как замкнутая область, граница которой состоит из конечного числа непересекающихся жордановых кривых. Исследуются три взаимосвязанных метода изображения фигур; это граничные, срединные и круговые описания. Задача построения непрерывной модели цифрового изображения сводится к аппроксимации этого изображения непрерывными фигурами. Затем эффективные алгоритмы вычислительной геометрии применяются для анализа формы и соответствующей классификации дискретных объектов на цифровых изображениях.
Байесовские методы в машинном обучении
(д-р Д. Ветров, Д. Кропотов)
Исследовательская работа сосредоточена на изучении байесовского подхода в теории вероятностей и его применении для решения различных задач машинного обучения и компьютерного зрения. Байесовские методы получили широкое распространение за последние 15 лет. К их основным преимуществам относятся автоматическая настройка структурных параметров в моделях машинного обучения, правильный способ рассуждений в случае неопределенности, возможность учета структурных и вероятностных взаимодействий в массивах данных (на основе активно развивающейся концепции графических моделей) и подход для представление данных и параметров модели, которое позволяет легко сочетать косвенные наблюдения и предшествующие идеи.
Разработанные методики интенсивно используются для решения различных прикладных задач, в том числе для анализа экспрессии генов в мозге животных во время когнитивных процессов.
Интеллектуальный анализ данных: новые вызовы и методы
Семинар по теме предназначен для студентов 2-5 курсов, аспирантов и всех желающих. Проходит в весеннем семестре в виде отчетов участников и приглашенных экспертов. Темы разнообразны. Они включают (но не ограничиваются) гипотезу компактности в распознавании образов; решение булевых уравнений и синтез схем управления; математические методы анализа мозговой активности; характеристики частично упорядоченных множеств; обнаружение скрытого изображения на основе обработки рентгенограмм и фотографий картин; анализ формальных понятий в прикладных задачах.
Проблемы кластеризации
(академики РАН Ю. Журавлев и д-р В. Рязанов)
Существует множество алгоритмов кластеризации, основанных на разных принципах и приводящих к различным разделам данной выборки. В отсутствие статистических моделей данных возникают проблемы оценки и сравнения кластеризации. Соответствует ли полученная кластеризация объективной реальности или просто получается разбиение? Разработаны критерии оценки качества кластеризации и методы их расчета.Эти критерии позволяют строить ансамбли алгоритмов кластеризации.
Интеллектуальный анализ данных: новые проблемы и методы
(д-р С. Гуров и д-р А. Майсурадзе)
Интеллектуальный анализ данных в метрических пространствах
(д-р А. Майсурадзе)
Анализ и оценка информации, содержащейся в изображениях
(д-р И. Гуревич)
Логические методы распознавания образов
(Д-р Э. Дюкова)
Комбинаторные методы теории информации
(Др.В. Леонтьев)
Проблемные методы распознавания образов
(члены-корреспонденты РАН проф. К. Рудаков и д-р Ю. Чехович)
Последние статьи
В.В. Рязанов, Ю.И. Ткачев, Оценка зависимостей на основе байесовской коррекции комитета классификационных алгоритмов // Ж. вычисл. Матем. и математика. Физика, т. 50. нет. 9. С. 1605-1614, 2010.
.
В.В. Рязанов, Некоторые алгоритмы вменения для восстановления недостающих данных // Lecture Notes in Computer Science (LNCS), vol.7042, стр. 372-379, 2011.
К. Воронцов, Точные комбинаторные границы вероятности переобучения для минимизации эмпирического риска // Распознавание образов и анализ изображений, вып. 20, нет. 3. С. 269-285, PDF, 427Кб, 2010.
К. Воронцов, А. Ивахненко, Тесные комбинаторные границы обобщения для правил пороговой конъюнкции // Конспект лекций по информатике. 4-я Международная конференция по распознаванию образов и машинному интеллекту (PReMI’11), Россия, Москва, 27 июня — 1 июля, с.66–73, PDF, 153Кб, 2011.
Спирин Н., Воронцов К. Обучение ранжированию с помощью нелинейного монотонного ансамбля // Конспект лекций по информатике. 10-й Международный семинар по системам с несколькими классификаторами (MCS-10). Неаполь, Италия, 15–17 июня, стр. 16–25, PDF, 490 КБ, 2011.
Д. Ветров, А. Осокин, Сохраняющая граф декомпозиция меток в дискретных MRF с эгоистичным потенциалом // Труды международного семинара по дискретной оптимизации в машинном обучении (DISSML NIPS 2011), 2011.
Осокин, Д. Ветров и В. Колмогоров, Структура субмодульной декомпозиции для вывода в ассоциативных марковских сетях с глобальными ограничениями // Труды Международной конференции по компьютерному зрению и распознаванию образов (CVPR2011), Нью-Йорк, США, Springer, стр. 135-142 , 2011.
Янгель, Д. Ветров, Сегментация изображений с априорными формами на основе упрощенного скелета // Труды международного семинара по методам минимизации энергии (EMMCVPR2011), 2011.
Дьяконов, Два рекомендательных алгоритма на основе деформированных линейных комбинаций // Тр.ECML-PKDD, 2011, Discovery Challenge Workshop, стр. 21-28, 2011.
Дьяконов, Теория систем эквивалентности для описания алгебраических замыканий обобщенной модели оценивания. II // Вычислительная математика и математическая физика, т. 51, нет. 3. С. 490-504, 2011.
.
Н. Дышкант, Л. Местецкий, Б. Шекар и Шармила Кумари, Распознавание лиц с использованием компонентного анализа ядра // Нейрокомпьютинг, т. 74, нет. 6. С. 1053-1057, 2011.
.
B.H. Шекар, Шармила Кумари, Н.Дышкант, Л. Местецкий, FLD-SIFT: Масштабно-инвариантное преобразование признаков на основе классов для точной классификации лиц // Comm. in Computer and Information Science, 1, Computer Networks and Information Technologies, Vol. 142, часть 1, стр. 15-21, 2011.
Куракин и Л. Местецкий, Распознавание жестов руки посредством онлайн-скелетонизации — применение непрерывного скелета для анализа формы в реальном времени // Труды Международной конференции по теории и приложениям компьютерного зрения (VISAPP 2011), Виламура, Португалия, 2011, 5-7 марта, стр.555-560, 2011.
Бакина, А. Куракин, Л. Местецкий, Анализ геометрии руки по сплошным скелетам // Конспект лекций по информатике, Анализ и распознавание изображений, Springer, vol. 6753/2011, часть 2, с. 130-139, 2011.
I.G. Бакина, Л.М. Местецкий, Распознавание формы руки по естественному положению руки // Труды Международной конференции IEEE по биометрии рук, Гонконгский политехнический университет, Гонконг, стр. 170-175, 2011.
Двусторонний российско-индийский научный семинар по новым приложениям компьютерного зрения: Workshop Proc./ Под ред. А. Майсурадзе — М .: МАКС Пресс, 2011. — 224 с. ISBN 978-5-317-03937-0
Д.П. Ветров, Д.А. Кропотов, А.А. Осокин, Д.А. Лаптев, Алгоритмы вариационной сегментации с ограничениями частоты метки // Распознавание образов. и Image Anal., vol. 20, нет. 3. С. 324-334, 2010.
.
Д.П. Ветров, Д.А. Кропотов, А.А. Осокин, А. Лебедев, В. Галатенко, К. Анохин, Интерактивный метод анатомической сегментации и оценки экспрессии генов для экспериментального среза мозга мыши // Тр.7-го Междунар. Конф. по методам вычислительного интеллекта для биостатистики и биоинформатики, Палермо, Италия: Springer, no. 1. С. 23-34, 2010.
Д.П. Ветров, В. Вишневский, Алгоритм обнаружения нечетких поведенческих паттернов // Тр. измерения поведения 2010, 7-й Междунар. Конф. по методам и техникам поведенческих исследований, Эйндовен, Голландия: Springer, no. 1. С. 41-45, 2010.
Гуров С.И. Новый принцип задания априорного распределения и оценки интервала согласованности // Научные вычисления.Proc. Междунар. Юджин Лоулер Ph.D. Школа. Уотерфорд, Ирландия: WIT Press, стр. 8-20, 2010.
Гуров С.И. Оценка вероятности 0-события // Научные вычисления. Proc. Междунар. Юджин Лоулер Ph.D. Школа. Уотерфорд, Ирландия: WIT Press, стр. 198-209, 2010.
А. Майсурадзе, Доменно-ориентированные базисы в пространствах конечных метрик заданного ранга // Научные вычисления. Proc. Междунар. Юджин Лоулер Ph.D. Школа. Уотерфорд, Ирландия: WIT press, стр. 210-221, 2010.
Д.П. Ветров, Д.А. Кропотов, А.А. Осокин, Реконструкция трехмерной модели мозга мыши из последовательности двумерных срезов в приложении к атласу головного мозга // Методы компьютерного интеллекта для биоинформатики и биостатистики. Конспект лекций по информатике, Берлин, Германия: Springer, no. 6160, стр. 291-303, 2010.
Е.В. Дюкова, Ю.И. Журавлев, Р.М. Кузнецов. Сотнезов, Построение ансамбля логических корректоров на основе элементарных классификаторов // Распознавание образов. и Image Anal., т. 21, нет. 4. С. 599-605, 2011.
.
Д.П. Ветров, Б.К. Янгель, Сегментация изображения с априорной формой на основе упрощенного каркаса // Тр. Междунар. Практикум по методам минимизации энергии. Берлин, Германия: Springer, стр. 148-161, 2011.
Новиков Александр, Родоманов Антон, Осокин Антон, Ветров Дмитрий. Накладываем мрф на тензорный поезд. Journal of Machine Learning Research, 32 (1): 811–819, 2014.
.
А. Осокин и Д. Ветров. Субмодульная релаксация для вывода в марковских случайных полях.IEEE Transactions on Pattern Analysis and Machine Intelligence, 99, 2014.
.
Бартунов Сергей и Ветров Дмитрий. Вариационный вывод для последовательного зависящего от расстояния китайского ресторанного процесса. Журнал исследований в области машинного обучения, 32 (1): 1404-1412, 2014.
Л. Местецкий. Представление линейно сегментной диаграммы Вороного кривыми Безье. В материалах 24-й Международной конф. ГРАФИКОН-2014, стр. 83–87. Академия архитектуры и искусств ЮФУ Ростов-на-Дону, 2014.
С.В. Абламейко, А. Бирюков, А.А. Докукин, А.Г. Дьяконов, Ю.И. Журавлев, В.В. Краснопрошин, В.А. Образцов, М.Ю. Романов, В.В. Рязанов. Практические алгоритмы алгебраической и логической коррекции в задачах распознавания прецедентов. Вычислительная математика и математическая физика, 54 (12): 1915-1928, 2014.
Цумакас Григориос, Пападопулос Апостолос, Цянь Вейнинг, Вологианнидис Ставрос, Дьяконов Александр, Пуурула Антти, Рид Джесси, Свец Ян и Семенов Станислав.Wise 2014: Многопозиционная классификация статей в печатных СМИ по темам. Конспект лекций по информатике, 8787: 541-548, 2014.
Воронцов К. В. Аддитивная регуляризация тематических моделей текстовых коллекций // Доклады математики. 2014, Pleiades Publishing, Ltd. — Vol. 89, No. 3, pp. 301-304.
Воронцов К. В., Потапенко А. А. Учебное пособие по вероятностному тематическому моделированию: аддитивная регуляризация для стохастической матричной факторизации // АИСТ’2014, Анализ изображений, социальных сетей и текстов.Springer International Publishing Switzerland, 2014. Коммуникации в компьютерных и информационных науках (CCIS). Vol. 436. С. 29–46.
Успенский В.М., Воронцов К.В., Целых В.Р., Бунаков В.А. Информационная функция сердца: дискретное и нечеткое кодирование ЭКГ-сигнала для системы диагностики множественных заболеваний // Успехи математических и вычислительных средств в метрологии и тестировании X (т. 10) , Серия «Успехи математики для прикладных наук», т. 86, World Scientific, Сингапур (2015), стр. 375-382.
Воронцов К. В., Потапенко А. А. Аддитивная регуляризация тематических моделей // Машинное обучение. Спецвыпуск «Анализ данных и интеллектуальная оптимизация с помощью приложений» (в печати).
Гуров С.И. Оценка надежности алгоритма классификации на основе новой информационной модели // Ж. вычисл. Математика и математика. Phys. 2013.53.N 5. С. 640–656.
Некрасов К.В., Лаптев Д.А., Ветров Д.П. Автоматическое определение скорости деления клеток по изображениям с микроскопа // Распознавание образов.и Image Anal. 2013.23.N. 1.П. 105-110.
Осокин А.А., Амельченко Е.М., Зворикина С.В., Чехов С.А., Лебедев А.Е., Воронин П.А., Галатенко В.В., Ветров Д.П., Анохин К.В. Статистическое параметрическое картирование изменений активности генов в головном мозге животных при акустической стимуляции // Вестник экспериментальной биологии и медицины. 2013.154. № 5.П. 697-699.
Воронин П.А., Ветров Д.П., Исмаилов К. Подход к сегментации изображений мозга мыши с помощью интермодальной регистрации // Распознавание образов.и Image Anal. 2013.23.N 2.P. 335-339.
Журавлев Ю.И., Лаптин Ю., Виноградов А., Лиховид А. Сравнение некоторых подходов к решению задач распознавания при уходе за двумя классами // Информационные модели и анализ. 2013. 2. N 2.P. 103-111.
Чернышов В.А., Местецкий Л.М. Мобильная система машинного зрения для распознавания по ладони // Тр. 11-й Междунар. Конф. Распознавание образов. и Image Anal .: Новые информационные технологии. № 1. Самара: ИСОИ РАН, 2013. С. 398-401.
Дюкова Е.В., Любимцева М.М., Прокофьев П.А. Логические корректоры в задачах распознавания // Тр. 11-й Междунар. Конф. Распознавание образов. и Image Anal .: Новые информационные технологии. № 1. Самара: ИСОИ РАН, 2013. С. 82-83.
Дышкант Н.Ф. Сравнение облаков точек, полученных с помощью 3D-сканера // Дискретная геометрия для компьютерных изображений. 17-й Междунар. Конф. Конспект лекций по информатике. № 7749. Берлин, Германия: Springer, 2013. С. 47-58.
Гуров С.И., Прокашева О.В., Онищенко А.А.Методы классификации, основанные на анализе формальных понятий // 35-й Европейский FCAIR 2013 г. Анализ формальных понятий встречает информационный поиск. № 1. М .: Издательство НИУ ВШЭ, 2013. С. 95-104.
Местецкий Л.М., Зимовнов А.В. Выделение кривой-каркаса с использованием силуэтов «медиальных осей» // GraphiCon 2013. 23-я Международная конференция по компьютерной графике и зрению. Материалы конференций. Владивосток: Дальнаука, 2013. С. 91-94.
Осокин А., Коли П., Йегелка С. Принципиальная модель глубокого случайного поля для сегментации изображений // IEEE Conf. по компьютерному зрению и распознаванию образов. Нью-Йорк, США: IEEE Computer Society Press, 2013. P. 1971–1978.
Журавлев Ю.И., Гуревич И., Трусова Ю., Вашина В. Проблемы и задачи описательных подходов к анализу изображений // Тр. 11-й Междунар. Конф. Распознавание образов. и Image Anal .: Новые информационные технологии. № 1. Самара: ИСОИ РАН, 2013. С. 30-35.
Дьяконов А.Г. Деформация откликов алгоритмов анализа данных // Спектральные и эволюционные проблемы. № 23. Симферополь, Украина: Таврический национальный университет им. В. Вернадского, 2013. С. 74-78.
Бондаренко Н.Н., Журавлев Ю.И. Алгоритм выбора конъюнкций для методов логического распознавания // Ж. вычисл. Математика. и математика. Phys. 2012. 52. № 4. С. 746-749.
Дъяконов А.Г. Критерии особенности парной L1-дистанционной матрицы и их обобщения // Известия.Математика. 2012.76. № 3.П. 517-534.
Онищенко А.А., Гуров С.И. Классификация на основе анализа формальных понятий и бикластеризации: возможности подхода // Вычислительная математика и моделирование. 2012.23.N 3. С. 329-336.
Воронин П.А., Адинец А.В., Ветров Д.П. Новая мера для сопоставления форм на основе поля расстояния // GraphiCon «2012. 22-я Международная конференция по компьютерной графике и зрению. Материалы конференции. М .: МАКС Пресс, 2012. С. 101-106.
Д «Яконов А.G. Смешивание простых алгоритмов для тематической классификации // Грубые множества и текущие тенденции в вычислительной технике. Конспект лекций по информатике. N 7413. Берлин, Германия: Springer, 2012. С. 432-438.
Осокин А.А., Ветров Д.П. Субмодульная релаксация для MRF с потенциалами высокого порядка // Компьютерное зрение — ECCV 2012. Семинары и демонстрации. Конспект лекций по информатике. N 7585. Берлин, Германия: Springer, 2012. С. 305-314.
Воронин П.А., Ветров Д.П. Устойчивые поля расстояний для регистрации на основе форм // Интеллектуализация обработки информации: 9-я международная конференция.М .: Торус Пресс, 2012. С. 382–385.
Янгель Б.К., Ветров Д.П. Глобально оптимальная сегментация с помощью графической априорной формы // Интеллектуализация обработки информации: 9-я международная конференция. М .: Торус Пресс, 2012. С. 456-459.
Президент — академик РАН Моисеев Евгений Иванович
Исполняющий обязанности декана — академик РАН Соколов Игорь Анатольевич
Факультет вычислительной математики и кибернетики (КВМ) МГУ им. М.В. Ломоносова — ведущий образовательный центр в России по подготовке кадров в области фундаментальных исследований в области прикладной математики, вычислительной математики, информатики и программирования.
Факультет основан в 1970 году. Самим фактом своего создания, развитием структуры и основных направлений научной деятельности факультет ЦМК целиком и полностью обязан одному из крупнейших ученых России — академику Андрею Николаевичу Тихонову. Усилиями А. Тихонова в создании факультета ЦМК получил поддержку академика М.В. Келдыш — тогда президент Академии наук СССР. Помимо А. Тихонова, который был деканом факультета СМС в первые 20 лет его существования, важную роль сыграли первые сотрудники факультета: академик Л.Понтрягин, члены-корреспонденты АН СССР Л.Н. Большев и С. Яблонский и профессора И.С. Березин, Ю.Б. Гермейер.
За прошедшие годы на факультете сформировались ведущие российские научные школы в различных фундаментальных областях прикладной математики и информатики: в теории некорректных задач, в математической физике и спектральной теории дифференциальных уравнений, в нелинейных динамических системах и управлении. процессов, в вычислительных методах и математическом моделировании, в теории игр и исследовании операций, в оптимальном управлении и системном анализе, в математической кибернетике и математической логике, в теории вероятностей и математической статистике, в прикладном и теоретическом программировании, в архитектуре вычислительных систем и сети.
Факультет CMC включает 19 кафедр: математической физики, вычислительных методов, общей математики, функционального анализа и его приложений, автоматизации научных исследований, вычислительных технологий и моделирования, суперкомпьютеров и квантовой информатики, нелинейных динамических систем и процессов управления, оптимального управления, системного анализа. , математическая статистика, исследование операций, математические методы прогнозирования, математическая кибернетика, системное программирование, алгоритмические языки, автоматизация компьютерных систем, информационная безопасность, английский язык.
Среди заведующих кафедрами академики Ю.И. Журавлев, А. Куржанский, Э. Моисеев, Ю.С. Осипов, И. Соколов, Е.Е.Тыртышников, Б. Четвертушкин, член-корреспондент В.В. Воеводин, А. Аветисян, Р.Л.Смелянский.
Обучение на факультете осуществляется по следующим основным образовательным программам подготовки бакалавров и магистров: 010300 «Фундаментальная информатика и информационные технологии», 010400 «Прикладная математика и информатика».
Учебным планом студентов факультета вычислительной математики и кибернетики МГУ по программам бакалавриата предусмотрена фундаментальная математическая подготовка. Студенты изучают математический анализ, теорию функций комплексного переменного, функциональный анализ, линейную алгебру, аналитическую геометрию, обыкновенные дифференциальные уравнения, уравнения математической физики, теорию вероятностей, математическую статистику, математическую логику, дискретную математику, численные методы, исследование операций, игру. теория, оптимальное управление, экстремальные задачи.
Студентам факультета преподается широкий спектр курсов, связанных с вычислительной техникой и программированием: алгоритмы и алгоритмические языки, компьютерная архитектура и язык ассемблера, операционные системы, прикладное программное обеспечение, компьютерная графика, параллельные вычисления, базы данных, операционные системы, искусственный интеллект, объектно-ориентированное программирование, компьютерные сети, сетевые технологии, системы программирования, проверка программ на моделях, объектно-ориентированный анализ и проектирование, формальные методы спецификации программ.
Практическая работа на ЭВМ, в том числе работа на высокопроизводительных вычислительных системах, занимает значительное место в обучении. Во время учебы студенты учатся работать в нескольких операционных системах и изучают как минимум три языка программирования. Все студенты изучают английский язык и цикл гуманитарных наук.
На первых двух курсах обучение ведется по общеобразовательным планам и программам. Основное внимание уделяется общей математической подготовке, теоретическому и прикладному программированию.В последнее время большое внимание уделяется использованию суперкомпьютеров, суперкомпьютерных технологий в моделировании, параллельных вычислениях. Начиная с третьего курса студенты проходят специализацию на выбранных ими факультетах. Каждый студент работает на специальном семинаре и имеет своего научного руководителя.
Выпускники бакалавриата могут продолжить обучение в магистратуре факультета. Срок обучения в магистратуре — 2 года. Прием в магистратуру осуществляется на конкурсной основе.Выпускники магистратуры факультета, проявившие склонность к исследовательской работе, могут продолжить обучение в аспирантуре факультета. Срок обучения в очной аспирантуре — 4 года.
Подготовка магистров по направлению «Прикладная математика и информатика» осуществляется по программам: «Вычислительные технологии и моделирование», «Спектральная теория дифференциальных операторов и управление распределенными системами», «Численные методы и математическое моделирование», «Компьютерные методы в математической физике, обратные задачи и обработка изображений», «Современные методы математического моделирования», «Исследование операций и актуарная математика», «Дискретные структуры и алгоритмы», «Дискретные системы управления и их приложения», «Статистический анализ и прогнозирование рисков »,« Информационная безопасность компьютерных систем »,« Теория нелинейных динамических систем: анализ, синтез и управление »,« Методы математического моделирования и методы оптимизации управляемых процессов »,« Логико-комбинаторные методы анализа данных »,» Математические методы системного анализа, динамики и управления »,« Интеллектуальные системы »,« Интеллектуальный анализ больших да данных. »,« Компиляторные технологии »,« Технологии программирования »,« Суперкомпьютерные системы и приложения »,« Распределенные системы и компьютерные сети »,« Квантовая информатика »,« Программное обеспечение для компьютерных сетей »,« Математические и программные средства защиты информации »,« Математические и компьютерные методы обработки изображений »,« Технологии параллельного программирования и высокопроизводительные вычисления »,« Большие данные: инфраструктура и методы решения проблем ».Подготовка магистров по направлению «Фундаментальная информатика и информационные технологии» осуществляется по программам: «Открытые информационные системы», «Информационные системы для управления предприятием».
Обучение на факультете немыслимо без тесной связи с наукой. Студенты обязательно привлекаются к научным исследованиям, проводимым на кафедрах факультета, в академических институтах или в научных лабораториях. На факультете созданы исследовательские лаборатории: математическая физика, вычислительная электродинамика, моделирование процессов тепломассопереноса, обратные задачи, математические методы обработки изображений, математическое моделирование в физике, разностные методы, открытые информационные технологии, статистический анализ, математические проблемы компьютерная безопасность, вычислительная практика и информационные системы, вычислительные системы, информационные системы в образовании и научных исследованиях, компьютерная графика и мультимедиа, технологии программирования, электронные компьютеры, инструменты математического моделирования, промышленная математика, а также студенческая исследовательская лаборатория Intel и Microsoft технологическая лаборатория.
Факультет хорошо оснащен компьютерами. Есть несколько компьютерных классов, оснащенных самой современной мультимедийной техникой и программным обеспечением на базе процессоров Intel, несколько классов рабочих станций под управлением операционных систем UNIX. Все классы подключены к локальной сети на основе оптоволоконной связи с доступом в Интернет. На факультете имеется несколько графических станций, в том числе высокопроизводительный кластер HP Apollo-9000 и многопроцессорные суперкомпьютеры IBM eServer pSeries 690 Regatta.В 2008 году на факультете был установлен суперкомпьютер IBM Blue Gene / P производительностью около 30 терафлопс (триллионы операций с плавающей запятой в секунду). С 2009 года находится в эксплуатации суперкомпьютер «Ломоносов».
Факультет поддерживает тесные рабочие контакты с крупными ИТ-компаниями, такими как Intel, Microsoft, Microsoft Research, IBM, Hewlett-Packard, Sun, Cisco, SAP, Samsung; многие российские компании: Luxoft, Redlab, IT, Гарант, Консультант-Плюс, DVM, Лаборатория Касперского, Mail.Ru Group и другие.На факультете действует региональная академия CISCO. Совместно с институтами РАН на факультете создан учебно-научный центр суперкомпьютерного моделирования.
Проблем с трудоустройством выпускников факультета нет. Выпускники факультета работают во всех сферах, где используются компьютерные технологии: академические и исследовательские институты, высшие учебные заведения, государственные и правительственные учреждения, банки, страховые, финансовые, консалтинговые фирмы, российские и зарубежные фирмы и т. Д.Около трети выпускников продолжают обучение в аспирантуре.
Факультет имеет договоры с рядом зарубежных вузов о сотрудничестве и обмене студентами. Сочетание глубокой теоретической подготовки с активной практической и исследовательской работой под руководством преподавателей и исследователей делает выпускников факультета конкурентоспособными на рынке труда.
Странные описания стульев … что означает «Одно из немногих мест, где есть конкуренция в математических результатах.»- не понял
Попробуем про SA …
Сайт отдела http://sa.cs.msu.su/
Этот отдел выделяется на фоне остальных … тем, что предоставляет наиболее полный и высокий -качественное математическое образование на факультете.
Ядром учебной программы являются курсы по оптимальному менеджменту. Суть ОА — оптимально перемещать и контролировать объект А в множество Б. При всей своей абстрактности эта задача имеет широкое применение в совершенно разных Таким образом, объектом А может быть ракета, пулемет на заводе, сам завод как часть экономики или даже портфель ценных бумаг.
Понятно, что для решения этой задачи в общем случае нужно знать хилый вагон математики — все это дается в рамках курсов кафедры … по функциональному и выпуклому анализу (КА — это единственный отдел, который помогает ОМ получить признание за функционал), теория идентификации, т.е. устойчивость, т.е. динамические системы + некоторые классы ODE и PDE + фильтр Калмана и основные сведения о временных рядах. Теория сопровождается объемными практическими заданиями, которые студенты выполняют в Matlab, ведущем математическом пакете для квантовых инженеров и финансистов.Также студентам рассказывают, как вся эта теория применяется в математической биологии, экономике и финансовой математике …
Несмотря на широту охвата — глубина материала соответствует лучшим традициям советского периода … кафедра тоже ответственно относится к проверке знаний студентов, что выгодно отличает его типичное raspyazdiai отношение на других факультетах … студент может сдавать экзамен-тест до бесконечности, пока не усвоит материал… мой личный рекорд был — 6 попыток (после того, как я выучил все определения — доказательство теорем — решение задач — тест был получен за 20 минут). В результате студенты CA не испытывают ни малейшей проблемы при прохождении онлайн-курсов, которые читаются на отвратительном уровне из-за огромного количества лекторов.
В отделе работают прекрасные специалисты:
Куржанский — отец-основатель, мегамозг, редко бывает в России, но постоянно на связи, очень требовательный, строгий, но справедливый.
Братуш — один из ведущих специалистов в области математической биологии в стране, очень приятный человек с очень непростой судьбой
Шананин — один из ведущих специалистов страны по математической экономике
Арутюнов — чистая математика, выпуклый анализ, много времени уделяет своим ученикам
Лотов — многокритериальная оптимизация, сидит в Институте РАН — мало общался с ним
Смирнов — финансовый математик, С.Н. занимается множеством прикладных проектов, его научные интересы — случайные процессы, замечательный человек, но у него очень мало времени на студентов.
А также несколько молодых ребят Дарин, Точилин, Рублев
К сожалению, многим из них приходится подрабатывать в других местах. зарплата профессоров просто неадекватная … как следствие, их время ограничено, но если студент действительно хочет что-то обсудить в научной работе, то он всегда найдет время
Ежегодно кафедре удается собрать талантливых детей. Трудности в учебе объединяют коллектив — я до сих пор поддерживаю связь со многими одноклассниками, хотя живу на другом конце света.Удивительно, но по проценту выпускников с отличием кафедра стабильно входит в число лидеров факультета. Качество диссертаций также выгодно отличается от других кафедр, где большинство людей работают с 4-го курса и их дипломы напоминают формальный ответ, а не серьезную научную работу. Кафедра предполагает полную занятость, редко кому удается совмещать это с работой на 3-4 курсе … Пришлось совмещать — из-за этого, к сожалению, знаний на кафедре я получил гораздо меньше, чем мог бы.
Кто работают выпускники и стоит ли? Как и ребята из других отделений Академии наук, они в основном работают в сфере информационных технологий и финансов … у нас в стране спрос на сильных прикладных математиков невелик — есть возможность уехать для продолжения обучения за границу (PhD)
Иногда я спрашиваю себя, какой отдел я бы выбрал, если бы меня перенесли в прошлое — и я отвечаю, что снова выбрал бы SA.
PS: Сори за ошибки в языке, по русски пишу не часто.
И.А. Ирхин, К. Воронцов. Сходимость алгоритма аддитивной регуляризации тематических моделей … С. 56-86
Задача вероятностного тематического моделирования заключается в следующем. Для данной коллекции текстовых документов найдите условное распределение по темам для каждого документа и условное распределение по словам или терминам для каждой темы. Для решения этой проблемы используется максимизация логарифма правдоподобия. Проблема обычно имеет бесконечный набор решений, которые, согласно Адамару, некорректны.В рамках аддитивной регуляризации тематических моделей (ARTM) взвешенная сумма критериев регуляризации добавляется к основному критерию логарифмического правдоподобия. Численный метод решения данной оптимизационной задачи представляет собой своего рода итерационный EM-алгоритм. В ARTM он выводится в довольно общем виде для произвольного гладкого регуляризатора, а также для линейной комбинации гладких регуляризаторов. В данной статье исследуется проблема сходимости итерационного процесса ЭМ. Получены достаточные условия сходимости к стационарной точке регуляризованного логарифмического правдоподобия.Ограничения, накладываемые на регуляризатор, не слишком строгие. Дадим их интерпретации с точки зрения практической реализации алгоритма. Предлагается модификация алгоритма, улучшающая сходимость без дополнительных затрат времени и памяти. Эксперименты с набором новостных текстов показали, что наша модификация не только ускоряет сходимость, но и улучшает значение критерия, к которому она сходится.
Ключевые слова: обработка естественного языка, вероятностное тематическое моделирование, вероятностный латентно-семантический анализ (PLSA), латентное распределение Дирихле (LDA), аддитивная регуляризация тематических моделей (ARTM), EM-алгоритм, достаточные условия сходимости
Поступила 20.07.2020
Пересмотрено 6 августа 2020 г.
Принят в печать 17 августа 2020 г.
Агентство по финансированию: Работа выполнена в рамках проекта «Инструменты интеллектуального анализа текста для больших данных» по программе Центра компетенций Национальной технологической инициативы «Центр хранения и обработки больших данных» при поддержке Министерства науки и технологий. Высшее образование Российской Федерации по соглашению между МГУ и Фондом НТИ от 15 августа 2019 г.12.07.2019. Работа также частично поддержана Российским фондом фундаментальных исследований (проект № 20-07-00936).
Константин Вячеславович Воронцов, д-р физ.-мат. Наук, проф., Московский физико-технический институт (государственный университет), Долгопрудный, 141701 Россия, e-mail: [email protected]
Ирхин Илья Александрович , докторант, Московский физико-технический институт (государственный университет), Россия, 141701, г. Долгопрудный, e-mail: ilirhin @ gmail.com
ССЫЛКИ
1. Аписев М.А., Воронцов К.В. Изучение тематических моделей с произвольной потерей. В: Материалы 26-й конф. ассоциации FRUCT (Финско-российское университетское сотрудничество в области телекоммуникаций) , 2020, стр. 30–37. DOI: 10.23919 / FRUCT48808.2020.
59
2. Блей Д.М., Нг А.Ю., Джордан М.И. Скрытое размещение Дирихле. J. Mach. Учить. Res. , 2003, т. 3. С. 993–1022.
3. Демпстер А.П., Лэрд Н.М., Рубин Д. Максимальная вероятность получения неполных данных с помощью алгоритма EM. J. Королевское статистическое общество: Серия B , 1977, т. 39, нет. 1. С. 1–38.
4. Фрей О.И., Апишев М.А. Параллельный неблокирующий детерминированный алгоритм для онлайн-тематического моделирования. В кн .: Игнатов Д. и др. (eds), Анализ изображений, социальных сетей и текстов (AIST’2016) , 2017, Коммуникации в компьютерных и информационных науках, т. 661, Cham: Springer, стр. 132–144. DOI: 10.1007 / 978-3-319-52920-2_13
5. Хофманн Т. Вероятностное латентно-семантическое индексирование. В: Proc. 22-й ежегодной международной конференции ACM SIGIR Conf. по исследованиям и разработкам в области информационного поиска . Н И: ACM, 1999, стр. 50–57. DOI: 10.1145 / 312624.312649.
6. Кочедыков Д.А., Аписев М.А., Голицын Л.В., Воронцов К.В. Быстрое и модульное регуляризованное тематическое моделирование. В: Proc. 21-й конф. ассоциации FRUCT (Финско-российское университетское сотрудничество в области телекоммуникаций).Семинар по разведке, социальным сетям и Интернету (ISMW), Хельсинки, Финляндия, 6–10 ноября 2017 г. , 2017 г., стр. 182–193. DOI: 10.23919 / FRUCT.2017.8250181
7. Ланг К. 20 групп новостей . 2008. Данные получены с официального сайта набора данных. Доступно на http://qwone.com/ jason / 20Newsgroups /
8. Тан Ю., О. З. Тематически-слабокоррелированное скрытое распределение Дирихле. В: 7-й Международный симпозиум по обработке разговорного китайского языка (ISCSLP) . 2010, стр.224–228. DOI: 10.1109 / ISCSLP.2010.5684906
9. Тихонов А.Н., Арсенин В.Я. Решения некорректно поставленных задач. N Y и т.д .: John Wiley & Sons, 1977, 258 p. ISBN: 0-470-99124-0.
10. Топсе Ф. Некое неравенство в отношении расхождения информации и связанные с этим меры дискриминации. IEEE Transactions on Information Theory, 2000, vol. 46, нет. 4. С. 1602–1609. DOI: 10.1109 / 18.850703
11. Воронцов К.В. Аддитивная регуляризация тематических моделей текстовых коллекций. Докл. Матем., 2014, т. 89, нет. 3. С. 301–304. DOI: 10.1134 / S1064562414020185
12. Воронцов К.В., Фрей О.И., Апишев М.А., Ромов П.А., Суворова М.А. BigARTM: Библиотека с открытым исходным кодом для регулярного мультимодального тематического моделирования больших коллекций. В: Хачай М., Константинова Н., Панченко А., Игнатов Д., Лабунец В. (ред.), Анализ изображений, социальных сетей и текстов , 2015, Коммуникации в компьютерных и информационных науках, т. 542, Cham: Springer, стр.370–381. DOI: 10.1007 / 978-3-319-26123-2_36
13. Воронцов К.В., Потапенко А.А. Учебное пособие по вероятностному тематическому моделированию: аддитивная регуляризация для стохастической матричной факторизации. В: Игнатов Д., Хачай М., Панченко А., Константинова Н., Яворский Р. (ред.), Анализ изображений, социальных сетей и текстов , 2014, Коммуникации в компьютерных и информационных науках, т. 436, Cham: Springer, стр. 29–46. DOI: 10.1007 / 978-3-319-12580-0_3
14. Воронцов К.В., Потапенко А.А. Аддитивная регуляризация тематических моделей. Машинное обучение , 2015, т. 101, нет. 1. С. 303–323. DOI: 10.1007 / s10994-014-5476-6
15. Воронцов К.В., Потапенко А.А., Плавин А.В. Аддитивная регуляризация тематических моделей для выбора темы и разреженной факторизации. В: Гаммерман А., Вовк В., Пападопулос Х. (ред.), Статистическое обучение и науки о данных, 2015, Конспект лекций по информатике, т. 9047, Cham: Springer, стр. 193–202. DOI: 10.1007 / 978-3-319-17091-6_14
16. Уоллах Х.М., Мимно Д.М., МакКаллум А. Переосмысление LDA: почему важны априорные значения. В: Труды 22-й Международной конференции по системам обработки нейронной информации (NIPS’09). Red Hook: Curran Associates, стр.

1988–1994	студент МФТИ.
1993–1997	Программист, РТИАК (Центр научно-прикладной токсикологии Федерального агентства по здравоохранению и социальному развитию).
1994–1997	аспирант ВЦ РАН.
1996–2000	Разработка языка программирования ASDIEL для описания обучаемых композиций алгоритмов. Разработка библиотек алгоритмов классификации, кластеризации и многомерного масштабирования для ASDIEL.
1996–2005	LaTeX-2e в примерах.Сборник наглядных примеров для более быстрого изучения LaTeX2e. Мои ученики осваивают LaTeX за два часа!
1997–2001	Эксперт Московской межбанковской валютной биржи (ММВБ). Разработка и поддержка систем анализа рынка и наблюдения САФРАН и СМАРТС.
1998–2006	Разработка библиотеки C ++ научных и бизнес-графиков. ChartLib (документация только на русском языке).
1999	Кандидатская диссертация «Локальные основы в алгебраическом подходе к проблеме распознавания» (на русском см. некоторые английские статьи в публикациях). Пожалуйста, пусть вас не смущает наша (русскоязычная) терминология; на самом деле эта работа посвящена ансамблевому обучению, что-то вроде бустинга, но в более общем плане. В частности, нелинейные монотонные функции слияния предлагаются как для классификации, так и для регрессии.
2000–2002	Разработка библиотеки C ++ MoTor для моделирования торговли. Уникальной характеристикой MoTor является то, что мы моделируем каждого участника торгов (трейдера, учетную фирму) отдельно. Конфиденциальные данные участников используются для корректировки модели. После создания модели вся конфиденциальная информация может быть забыта, что позволит каждому использовать и изучить модель. Разработка и управление проектами FORECSYS Симулятор торговли ImiTrade.
2001 – наст. Время	Исследователь, Вычислительный центр Российской академии наук (ВЦ РАН). Заместитель директора по научной работе FORECSYS.
2002 г.	Разработка и управление проектами Системы мониторинга фьючерсов и опционов ММВБ FORECSYS.
2002	Разработка внутреннего стандарта FORECSYS «Компоненты матричных алгоритмов maCom » для многомерного анализа данных.
2003–2005	Разработка внутреннего стандарта FORECSYS «CommFace». для более быстрого развития демонстрационных и пилотных проектов.
2003	Разработка пилотной версии системы прогнозирования продаж FORECSYS Goods4Cast.
2004	Разработка пилотной версии системы кредитного скоринга FORECSYS ScoringPilot.
2004 – наст. Время	Доцент, заместитель заведующего кафедрой «Интеллектуальные системы» из CMAM МФТИ.
2004	Разработка годичного курса машинного обучения для МФТИ. Конспекты лекций здесь.
2004	Управление проектами по отбору портфелей и механической торговой системе.
2005	Управление проектами по совместной фильтрации и визуализации карты сходства в Интернете.
2007	Редакция трудов Российской конференции. «Математические методы распознавания образов», ММРО-2007. Разработка стиля конференции LaTeX (например, комбинированный стиль, поддерживающий заметки рецензента внутри текста).
2007	Разработка семестрового курса прикладной статистики для Факультет ВМК.
2007–2008	Разработка годичного курса вычислительной теории обучения для Факультет ВМК.
2008 – наст. Время	Разработка концепции, администрирование, редактирование вики-ресурс www.MachineLearning.ru. Моя страница участника : Воков (на русском).

Воронцов. Курс «Машинное обучение» 2019 (Школа анализа данных) — Журнал «Я Robot»

Введение в машинное обучение | Coursera

8 лекций, которые помогут разобраться в машинном обучении и нейросетях

Машинное обучение

Математические методы прогнозирования объемов продаж

Прекрасные и ужасные последствия самообучения компьютеров

Как мы учим компьютеры понимать изображения

Как мы обучаем технику не смотреть и слушать, а видеть и слышать?

Recent Developments in Deep Learning

Deep Learning, Self-Taught Learning and Unsupervised Feature Learning

Machine Learning for Video Games

Константин Вячеславович Воронцов. О науке о данных и машинном обучении

8 лекций, чтобы разобраться в машинном обучении и нейросетях

Очно-заочный курс по нейронным сетям

16 бесплатных онлайн-курсов по машинному обучению

Введение в машинное обучение

Машинное обучение и анализ данных

Python для анализа данных

Введение в науку о данных

Глубокое обучение в творчестве с TensorFlow

Data Science

Data science для руководителей

Нейронные сети

Программирование на Python

Алгоритмы: теория и практика. Методы

Основы программирования на R

Анализ данных в R

Базы данных

От Excel до MySQL: способы анализа бизнес-данных

Линейная регрессия

Анализ данных

К.Воронцов: главная

Советы и ссылки по изучению машинного обучения! — Блог информационных технологий

Рабочий процесс глубокого обучения в радиологии: учебник | Insights into Imaging

Основы машинного обучения

Отделения вмк мгу.Факультет вычислительной математики и кибернетики МГУ

Персонал:

Обычные курсы:

Спецкурсы:

Специальные научные семинары и направления исследований:

Алгебраический подход к интеллектуальному анализу данных, машинному обучению и распознаванию образов

Теория вычислительного обучения и приложения машинного обучения

Непрерывные модели в анализе и классификации формы изображений

Байесовские методы в машинном обучении

Интеллектуальный анализ данных: новые вызовы и методы

Проблемы кластеризации

Интеллектуальный анализ данных: новые проблемы и методы

Интеллектуальный анализ данных в метрических пространствах

Анализ и оценка информации, содержащейся в изображениях

Логические методы распознавания образов

Комбинаторные методы теории информации

Проблемные методы распознавания образов

Последние статьи

И.А. Ирхин, К. Воронцов. Сходимость алгоритма аддитивной регуляризации тематических моделей … С. 56-86

Related Posts

Post A Comment