Распределенные системы

Цель работы: изучение организации источников данных с распределенной структурой, изучение организации облачных сервисов в контексте создания цифровых решений для распределенной обработки данных.

Раздел 1. Секционирование исходных данных для анализа

Задание

1. Рассмотреть задачу анализа больших данных, поставленную при выполнении лабораторной работы 1 «Характеристика больших данных организации», с точки зрения их распределенной природы. Разбить все данные на несколько секций. Заполнить таблицу: Секция Данные Источник Источник указывать для исходных данных.

2. Распределить секции по узлам хранения с учетом востребованности данных в узлах. Построить структурную схему распределенной системы.

Раздел 2. Разработка архитектуры облачной платформы

Задание

Разработать архитектуру цифровой платформы для обслуживания распределенной системы, структура которой разработана при выполнении

Раздел 3. Оптимизация ИТ-персонала организации в условиях эксплуатации облачного решения

Задание Разработать решения по перераспределению компетенций ИТ-персонала организации в условиях перехода на облачные сервисы. Представить (можно примерно) штатное расписание и организационную структуру ИТ-отдела AS-IS (как есть) и TO-BE (как должно быть).

Методические указания к выполнению контрольной работы по дисциплине «Распределенные системы»

Цель работы: изучение организации источников данных с распределенной структурой, изучение организации облачных сервисов в контексте создания цифровых решений для распределенной обработки данных.

Раздел 1. Секционирование исходных данных для анализа

Задание

1. Рассмотреть задачу анализа больших данных, поставленную при выполнении лабораторной работы 1 «Характеристика больших данных организации», с точки зрения их распределенной природы. Разбить все данные на несколько секций. Заполнить таблицу:

Секция

Данные

Источник

Источник указывать для исходных данных.

2. Распределить секции по узлам хранения с учетом востребованности данных в узлах. Построить структурную схему распределенной системы.

Методические указания к выполнению

1. Распределенные данные – база данных, составные части которой размещаются в различных узлах компьютерной сети в соответствии с каким-либо критерием. Чаще всего таким критерием является а) место порождения данных, и б) наиболее вероятное место обработки данных. От распределения секций по узлам хранения зависит масштабируемость системы хранения данных.

Распределение секций по узлам хранения обычно осуществляется по результатам истории использования секций. Если ряд секций запрашивается чаще остальных, то система автоматически распределит их по нескольким узлам хранения, распределяя трафик между несколькими серверами.

Хранение данных одной секции вместе позволяет повысить эффективность их обработки и других методов повышения производительности.

2. При построении структурной схемы в качестве обозначений узлов можно использовать прямоугольники с надписями, либо пиктограммы с изображениями ЭВМ (стереотипные элементы). Связи между узлами могут быть обозначены обычными линиями.

Возможно применение линий разных стилей для обозначения каналов связи разных видов.

Возможно применение изображения облака для обозначения виртуальной распределенной вычислительной (облачной) среды.

Грубый пример подобной схемы показан далее.

Перед выполнением работы необходимо ознакомиться с материалом лекций 1 и 2 конспекта лекций по дисциплине.

Раздел 2. Разработка архитектуры облачной платформы

Задание

3. Разработать архитектуру цифровой платформы для обслуживания распределенной системы, структура которой разработана при выполнении практической работы 1. В состав платформы включить следующие сервисы типа SaaS, либо типа, производного от SaaS:

— сервис для сбора и предобработки данных;

— сервис для решения задачи анализа;

— сервис для представления результатов анализа.

Возможно более детальное распределение задач между сервисами. Желательно, чтобы данные одной секции обрабатывались одним сервисов.

Заполнить таблицу:

4. С учетом структуры распределенной системы и необходимости обработки данных, расположенных на разных узлах, спланировать процедуры репликации данных для обеспечения надежной и максимально быстрой работы системы. Заполнить таблицу репликации:

Методические указания к выполнению

Перед выполнением работы необходимо ознакомиться с материалом лекций 3 и 4 конспекта лекций по дисциплине.

Раздел 3. Оптимизация ИТ-персонала организации в условиях эксплуатации облачного решения

Задание

Разработать решения по перераспределению компетенций ИТ-персонала организации в условиях перехода на облачные сервисы. Представить (можно примерно) штатное расписание и организационную структуру ИТ-отдела AS-IS (как есть) и TO-BE (как должно быть).

Методические указания к выполнению

Перед выполнением работы необходимо ознакомиться с материалом лекций 5 и 6 конспекта лекций по дисциплине.

Пример штатного расписания и организационной структуры ИТ-отдела в компании «Яндекс.Сообщения»

As-Is:

Перед выполнением работы необходимо ознакомиться с материалом лекций 5 и 6 конспекта лекций по дисциплине.

Контрольные вопросы и задания

1. Что такое распределенные данные?

2. По каким критериям распределяются данные в распределенной системе?

3. Что такое секционирование данных и каково его назначение?

4. Сколько секций необходимо для оптимальной производительности распределенной системы?

5. Перечислите критерии распределения данных в вашей индивидуальной задаче.

6. Как связаны между собой сервисы типа Saas и PaaS?

7. Что такое репликация данных?

8. Перечислите критерии эффективности репликации данных.

9. Как внедрение распределенных технологий обработки данных отражается на структуре персонала предприятия?