МИТУ, введение в технологию Big Data (Часть 2) (практическое задание)
| 08.05.2026, 11:12 | |
Практическое задание по дисциплине «Введение в технологию Big Data (Часть 2)» На основе полученной в ходе курса информации, выполните представленные нижеперечисленные задания, соблюдая в каждой задаче следующую последовательность ответа: ● исходное условие задачи; ● применяемые в ходе решения объекты конфигурации и тексты программ к ним; ● промежуточные результаты; ● выводы по полученным показателям. Задача 1. Разработайте программу на Python для анализа тональности текста (положительная, нейтральная, отрицательная). Используйте предварительную обработку текст и библиотеки TextBlob и NLTK для классификации. Установите и подключите библиотеки TextBlob и NLTK. Проведите преобработку текста: токенизацию, удаление стоп-слов, лемматизацию. Проанализируйте тональность каждого из предложенных ниже текстов. Текст 1: “Сегодня ужасный день, все пошло не так.” Текст 2: “Я люблю Python. Это отличный язык программирования!” Текст 3: “Все в порядке, ничего особенного.” Задача 2. Установите Hadoop на вашу машину или создайте кластер с несколькими виртуальными машинами. Создайте локальный текстовый файл (data.txt) с некоторым содержимым. Загрузите файл в HDFS, проверьте, что файл был загружен в HDFS, прочитайте содержимое из файла, создайте новую директорию в HDFS для хранения других файлов, скопируйте файл из одной директории в другую внутри HDFS, удалите файл из HDFS. Ссылка на инструкцию по установке и настройке Hadoop Критерии оценивания: 1. Самостоятельность выполнения работы. 2. Соблюдение требуемой последовательности ответа. 3. Точность и полнота ответов в соответствии с прикрепленными данными. 4. Итоговый балл рассчитывается как сумма баллов за каждую задачу с учетом полноты и правильности их выполнения. Оценки: каждая задача оценивается в 30 баллов. ● Задание 1: 10 баллов - подключение библиотек, 20 баллов - выполнение преобработки текста, 10 баллов - получение трех правильных ответов с помощью анализа тональности текста. ● Задание 2: 20 баллов - установка приложения и создание кластера, 40 баллов - написание рабочих строчек кода в соответствии с заданием и получение результатов. Требования к оформлению ● Ответ необходимо предоставить в формате скриншотов, которые будут сопровождать каждый шаг выполнения задания, в текстовом документе (Microsoft Word); ● Требования к текстовому файлу (Microsoft Word): шрифт № 14 Times New Roman, через 1,5 интервала, поля: верхнее и нижнее - 2 см, левое - 2,5 см, правое - 1,5 см. ● Титульный лист ответа должен быть оформлен в соответствии с титульным листом задания, табличная часть титульного должна быть заполнена данными студента. | |