Тема курсовой работы у всех обучающихся единая – «Применение ансамблевых методов для решения прикладной задачи анализа данных». Данная тема указывается на титульном листе.

Решение прикладной задачи выполняется по одному из предложенных вариантов предметных областей. Выбор варианта предметной области, обучающийся осуществляет самостоятельно из перечня в Приложении 2. Выбранный вариант предметной области указывается во введении, в целях и задачах курсовой работы.

Задания для выполнения:

1. Выбрать набор данных для анализа. В соответствии с выбранной темой курсовой работы. Описать этот набор и решаемую задачу.

2. Провести предварительный анализ и очистку данных. Этот этап включает в себя вывод информации о количественных характеристиках датасета, информацию об отсутствующих значениях, характеристиках и физическом смысле каждого атрибута данных, его значимости для предсказания целевой переменной, вывод нескольких точек данных для иллюстрации структуры данных.

3. При необходимости, преобразовать атрибуты исходного датасета в числовые признаки. Этот этап сильно зависит от типа исследуемых данных и может включать в себя векторизацию текста, извлечение признаков их аудио и видео данных, преобразование изображений в плоский численный массив и другие преобразования.

4. Провести описательный анализ данных. Сделать выводы. Этот этап включает в себя определение шкалы измерения каждого признака, выявление аномальных значений, визуализацию распределения каждого признака, при необходимости - проверка на нормальность, построение кореллограмм и совместных распределений каждого признака с целевой переменной, выявление коррелированных признаков и признаков, не несущих информации для данной задачи.

5. Применить при необходимости к данным методы обучения без учителя: кластеризацию, понижение размерности и поиск аномалий. Сделать выводы.

6. Разделить набор данных на обучающую и тестовую выборки. Обосновать количественные характеристики и метод разделения (временной, случайный, последовательный).

7. Обучить несколько моделей для решения выбранной задачи (для задач классификации - не менее 7 различных алгоритмов). Проанализировать результаты, сделать выводы.

8. Выбрать наиболее перспективные ансамблевые модели для решения поставленной задачи и непосредственно применить ансамблевые методы на основе исходных моделей. Проанализировать результаты, сделать выводы, в том числе в сравнении с результатами прошлого шага.

9. С учетом сделанных выводов провести усовершенствование моделей. Это можно осуществить с помощью поиска оптимальных гиперпараметров как базовых, так и ансамблевых моделей с помощью grid search или другого подхода, введения регуляризации, введения суррогатных признаков, отбора признаков, нормализацией данных, изменением алгоритма предварительной обработки данных. Проанализировать результаты, сделать выводы, в том числе в сравнении с результатами прошлого шага.

10. Представить результаты моделирования в наглядном виде (графики, линии обучения, таблицы сравнения моделей, таблицы классификации, и другие). Сделать выводы, сравнить с существующими аналогичными решениями, порассуждать о перспективах решения проблемы.

Для всех тем курсовых работ, все пункты являются обязательными.

Работа выполняется на языке Python. Студент обязательно предоставляет файл с исходным программным кодом или ссылку на публично доступный репозиторий (GitHub, GitFlic) с полным кодом выполнения работы.

Все пояснения, выводы и замечания, на которые необходимо обратить внимание должны присутствовать в работе в виде ячеек документации либо программных комментариев.

Оценка качества моделирования должна производиться с использованием определенных метрик. Их выбор должен быть описан и обоснован до начала моделирования. Плюсом работы является широкий набор метрик эффективности моделей.

Работа должна содержать:

1. Предобработку данных. Работа должна содержать исчерпывающий алгоритм предварительной обработки данных. Он служит для того, чтобы исправить все несовершенства в данных и сделать набор данных как можно более пригодным для машинного обучения.  Процедура предварительной обработки данных должна быть воспроизводима и должна наиболее эффективно решать задачи предобработки.

2. Замеры времени (для анализа временной сложности алгоритмов). Все инструкции, запускающие цикл обучения модели должны содержать замер времени обучения. Замер можно производить с помощью магических инструкций Jupyter или (более предпочтительно) с использованием стандартной библиотеки Python. Сравнение моделей должно учитывать и время обучения.

3. Визуализацию. Работа должна демонстрировать навыки студента визуализировать информацию. Особенно на этапах описательного анализа и анализа обучаемости модели. Оценивается разнообразие, наглядность и информативность визуализации.

4. Использование метрик эффективности. Оценивается разнообразие и адекватность задаче примененных метрик эффективности (включая время обучения) а также полнота сравнения и правильность выводов из сравнения моделей по разным метрикам.

5. Оценку валидности результатов. Студент должен продемонстрировать умение оценивать достоверность измерения метрик моделей и повышать ее с использованием перекрестной проверки (кросс-валидации). Использование k-fold cross validation является предпочтительным методом измерения эффективности модели. Если происходит выбор модели, то ее итоговая эффективность должна измеряться на чистом наборе данных.

Структура курсовой работы должна включать в себя следующие составные части:

– титульный лист (приложение 3);

– оглавление (приложение 4);

– введение;

– текст работы, структурированный по главам (параграфам, разделам);

– заключение;

– список литературы;

– приложения (при необходимости).

Оглавление должно быть создано с помощью инструмента «Автосодержание» текстового редактора и собираться автоматически из заголовков глав и параграфов.

Во введении автор обосновывает тему курсовой работы, ее актуальность, степень разработанности, кратко характеризуя современное состояние научной проблемы (вопроса), которой посвящена работа, определяет цель, задачи, объект и предмет исследования.

Актуальность темы. Обоснование того, почему нужно заниматься исследованием выбранной темы. Обоснование актуальности темы показывает главное – суть проблемной ситуации (противоречивой ситуации требующей своего разрешения). Актуальность темы означает ее связь с конкретными потребностями пользователей, отражает важность, своевременность выбранной темы, ее значимость.

Цели и задачи. Количество и название задач как правило совпадает с количеством параграфов работы, впереди ставится соответствующий глагол (рассмотреть, охарактеризовать и т.п.). От доказательства актуальности выбранной темы обучающийся должен логично перейти к определению цели работы. Как правило, целью исследования является разработка предложений или методических рекомендаций на основе анализа существующей ситуации и полученных практических результатов анализа объекта исследования.

Задачи указывают на основные направления работы и начинаются с совершенных глаголов: рассмотреть…, охарактеризовать…, проанализировать…, оценить…, выявить…, разработать…, спроектировать…, автоматизировать…, разработать рекомендации…, предложить методику…, повысить экономическую эффективность… и т.п.

Основные разделы курсовой работы – главы (не менее двух) и параграфы, которые содержат систематизированное изложение и анализ основных проблем исследуемой темы. В главах и параграфах излагаются теоретические аспекты предметной области на основе анализа опубликованной литературы, формулируются ключевые аспекты автоматизации, выделяются основные типы предметно значимых сущностей, планируются общие принципы формирования, хранения и осуществления доступа к этим сущностям в памяти компьютера (теоретическая часть), создается информационная база, решаются задания представленные в главе 2 данных методических указаний, описываются полученные результаты и приводятся скриншоты конфигурации (практическая часть). Содержание теоретической и практической частей курсовой работы определяется в зависимости от выбранной предметной области.

Заключение представляет собой краткое последовательное, логически стройное изложение полученных и описанных в основной части результатов, выводов исследования, построенных на анализе соотношения полученных результатов с общей целью и конкретными задачами исследования. Число выводов не должно быть большим, обычно оно определяется количеством поставленных задач.

Список литературы представляет собой оформленный в соответствии с установленными правилами перечень использованных в процессе исследования избранной темы: законов и подзаконных нормативных правовых актов, учебной и научной литературы, материалов периодической печати, материалов юридической практики, электронных ресурсов. Список литературы должен иметь следующую структуру:

– нормативные правовые акты;

– учебники, учебные пособия, монографии, комментарии к законодательству, словари, энциклопедии;

– научные статьи, материалы из периодических изданий;

– диссертации, авторефераты диссертаций;

– материалы юридической практики, справочно-статистические материалы;

– электронные ресурсы.

При использовании в тексте курсовой работы положений, цитат, заимствованных из литературы, обучающийся обязан делать ссылки на них в соответствии с установленными правилами. Заимствования текста без ссылки на источник не допускаются.

Содержание курсовой работы должно соответствовать следующим основным требованиям:

– самостоятельность исследования;

– наличие анализа специальной литературы и интернет-источников по предметной области;

– наличие файлов с исходным программным кодом или ссылки на публично доступный репозиторий (GitHub, GitFlic) с полным кодом выполнения работы;

– логичность изложения содержания курсовой работы, подробное описание процесса разработки конфигурации, аргументированность выводов и предложений;

– научно-практическая значимость курсовой работы.

Приложение 2

ВАРИАНТЫ ПРЕДМЕТНЫХ ОБЛАСТЕЙ

1. Применение ансамблевых методов для анализа текста

2. Применение ансамблевых методов для анализа темы текста

3. Применение ансамблевых методов для кредитного скоринга

4. Применение ансамблевых методов для обработки терминологической информации из научно-технических текстов

5. Применение ансамблевых методов для анализа мнений пользователей Интернет-ресурсов

6. Применение ансамблевых методов для составления музыкальных рекомендаций

7. Применение ансамблевых методов для анализа информации из социальной сети

8. Применение ансамблевых методов для сбора данных с платформ по поиску вакансий

9. Применение ансамблевых методов для составления предложений по аренде жилья

10. Применение ансамблевых методов для анализа котировок валют

11. Применение ансамблевых методов для оценки дорожной ситуации

12. Применение ансамблевых методов для определения запрещённого на территории страны контента

13. Применение ансамблевых методов для анализа корпоративных новостей

14. Применение ансамблевых методов для генерации постов в социальных сетях

15. Применение ансамблевых методов для прогнозирования потребности в кадровых ресурсах

16. Применение ансамблевых методов для анализа доходности биржевых акций

17. Применение ансамблевых методов для продвижения банковских продуктов

18. Применение ансамблевых методов для анализа клиентского оттока

19. Применение ансамблевых методов для классификации изображений

20. Применение ансамблевых методов для сегментации изображения/видео

21. Применение ансамблевых методов для распознавания позы человека

22. Применение ансамблевых методов для колоризации изображения/видео

23. Применение ансамблевых методов для анализа тональности сообщений в социальных сетях

24. Применение ансамблевых методов для детектирования перемещения объектов в режиме реального времени

25. Применение ансамблевых методов для поиска и идентификации товаров

26. Применение ансамблевых методов для создания словаря для близкородственных языков

27. Применение ансамблевых методов для детектирования объектов на фото

28. Применение ансамблевых методов для анализа бизнес-процессов банка

29. Применение ансамблевых методов для предсказания будущих действий на смартфоне

30. Применение ансамблевых методов для предсказания времени поломки оборудования

31. Применение ансамблевых методов для предсказания поведения стоимости портфеля акций

32. Применение ансамблевых методов для прогнозирования кредитного дефолта

33. Применение ансамблевых методов для проектирования оптимального дорожного маршрута

34. Применение ансамблевых методов для создания произведений искусства

35. Применение ансамблевых методов для визуального картирования и локализации

36. Применение ансамблевых методов для автоматического определения и исправления опечаток в учебных текстах

37. Применение ансамблевых методов для обнаружения некорректной и ненормативной лексики

38. Применение ансамблевых методов для автоматической проверки фактов и высказываний

39. Применение ансамблевых методов для анализа данных движений глаз

40. Применение ансамблевых методов для диагностики заболеваний

41. Применение ансамблевых методов для оценки качества перевода литературных текстов

42. Применение ансамблевых методов для рекомендации товаров и услуг

43. Применение ансамблевых методов для генерации музыки

44. Применение ансамблевых методов для определения местоположения через мобильные устройства

45. Применение ансамблевых методов для планирования шахматных ходов

46. Применение ансамблевых методов для трехмерной реконструкции лица

47. Применение ансамблевых методов для распознавания/синтеза речи

48. Применение ансамблевых методов для тренировки произношения

49. Применение ансамблевых методов для распознавания жестов

50. Применение ансамблевых методов для исследования взаимодействия сотрудников в организации

51. Применение ансамблевых методов для нахождения сообществ в социальных сетях

52. Применение ансамблевых методов для моделирования распространения влияния

53. Применение ансамблевых методов для моделирования социальных процессов

54. Применение ансамблевых методов для анализа публикационной активности

55. Применение ансамблевых методов для анализа данных в области образования

56. Применение ансамблевых методов для анализа поведения игроков компьютерных игр

57. Применение ансамблевых методов для анализа медицинской

58. информации

59. Применение ансамблевых методов для реконструкции трехмерной сцены по фото/видео

60. Применение ансамблевых методов для анализа распространения информации в социальных сетях

61. Применение ансамблевых методов для имитации человеческой речи (звук)

62. Применение ансамблевых методов для имитации человеческой речи в сообщениях в социальных сетях

63. Применение ансамблевых методов для преобразования видео в текст

64. Применение ансамблевых методов для поиска изображений по описанию

65. Применение ансамблевых методов для определения и идентификации лиц на фотографии