Стадия проектирования и реализации ИС

ТЕМА 5. Стадия проектирования и реализации ИС

Лекция 21. Способы организации информационной базы.

1

Информационная база

Информационная база (ИБ) — это совокупность данных, организованная определенным способом и хранимая в памяти вычислительной системы в виде файлов, с помощью которых удовлетворяются информационные потребности аппарата управления и функциональных подсистем ИС.

2

Классификация файлов ИБ

По смысловому содержанию По этапам обработки По роли в машинной обработке и технологии использования По назначению (по типу функциональных подсистем) По типу носителя По типу логической организации (линейная, иерархическая, реляционная структура записи)

3

По этапу обработки

По технологии использования

Основные

4

Виды массивов по этапам обработки

Вид массивов

Назначение и содержание

Входные

Содержат исходные и текущие данные, запросы на решение задач и выполнение процессов. Предназначены для ввода данных или обновления базовых файлов.

Выходные (результатные)

Содержат совокупность показателей, необходимых для формирования отчетности и принятия решений в последующий период.

Внутренние (базовые)

Содержат справочную, нормативную, служебную информацию. Предназначены для переработки информации из входных массивов и формирования выходных массивов.

5

Виды массивов по технологии использования

Вид массивов

Назначение и характеристики.

Постоянные

Формируются до начала функционирования ИС. Содержат директивные, нормативные, справочные и другие, редко меняющиеся, данные.

Переменные (оперативные)

Формируются из первичных документов. Содержат текущую информацию о состоянии объекта управления.

Вспомогательные (рабочие)

Являются результатом логических преобразований постоянных массивов. Создаются для решения конкретных задач с целью сокращения времени обработки информации.

Промежуточные

Содержат информацию, возникающую на стыке различных задач. Не имеют самостоятельного значения для целей управления объектом.

Архивные

Формируются на основе выходных массивов. Предназначены для хранения информации, необходимой для обработки в будущих отчетных периодах, для решения аналитических, прогнозных задач.

Служебные

Содержат информацию, необходимую для обработки всех выше упомянутых массивов. Предназначены для ускорения поиска информации в основных файлах.

6

Требования к внутримашинному ИО

Полнота, целостность, согласованность и непротиворечивость хранимой информации. Минимизация времени выборки данных при решении задач управления. Независимость структуры массивов от программных средств их организации. Динамичность структуры ИБ. Релевантность ИБ. Удобство языкового интерфейса. Разграничение прав доступа пользователей.

7

Способы организации информационной базы

Информационная база

Совокупность локальных файлов

Интегрированная база данных

Поддерживается функциональными пакетами прикладных программ

Основывается на использовании универсальных программных средств загрузки, хранения, поиска и ведения данных (СУБД).

8

Особенности пофайловой организации ИО

Специализация структуры данных под решаемые задачи высокая скорость обработки данных. Не предусматривается установления связи между файлами, исключается работа в диалоге. Применяется при решении узкоспециализированных задач с небольшим объемом данных, хранящихся в обособленных файлах.

9

Стандартные операции с файлами

Файл представляет собой линейную последовательность записей, над которой можно выполнить следующие стандартные операции: создать файл (требуемого типа и размера); открыть ранее созданный файл; прочитать из файла некоторую запись (текущую, следующую, предыдущую); записать в файл на место текущей записи новую запись; добавить новую запись в конец файла.

10

Недостатки пофайловой организации внутримашинного ИО

Зависимость программ от данных (структура записи файла известна только программе, которая с ним работает) Сложность авторизации (принят децентрализованный принцип управления доступом, когда администрирование режимом доступа к каждому файлу осуществляется его владельцем) Сложность реализации многопользовательского доступа (эффективный многопользовательский доступ возможен только в режиме чтения файлов)

11

Организация ИО в виде БД

База данных – это интегрированная совокупность файлов, обеспечивающая хранение информационных ресурсов, удобное взаимодействие между ними и быстрый доступ к данным. Преимущества: обеспечение совместимости данных; уменьшение синтаксической и семантической избыточности; соответствие данных реальному состоянию объекта управления; обеспечение многопользовательского доступа к данным. Проблемы: необходимость усиления контроля ввода данных; необходимость разграничения прав доступа пользователей; необходимость обеспечения защиты данных.

12

Виды БД

По используемой модели данных: Иерархические; Сетевые; Реляционные; Объектно-ориентированные. По организации хранения данных и технологии их обработки: Централизованные; Распределенные.

13

Критерий выбора способа организации ИБ

Достижение минимальных трудовых и стоимостных затрат на: проектирование структуры ИБ, проектирование программного обеспечения системы ведения файлов, перепроектирование ИБ при возникновении новых задач.

14

Требования к организации БД

логическая и физическая независимость данных; контролируемая избыточность данных; стандартизация данных за счет использования классификаторов; наличие словаря данных; специализация интерфейса для администратора БД и пользователей системы; контроль целостности данных; защита данных от несанкционированного доступа; наличие вспомогательных программных средств (утилит) проектирования и эксплуатации БД.

15

Виды БД по технологии хранения и обработки данных

Централизованные БД

Распределенные БД

Расположение: один компьютер Назначение: организация более простого и дешевого способа информационного обслуживания пользователей; Объемы данных: небольшие Задачи: несложные Надежность: более высокая за счет организационной независимости

Расположение: несколько компьютеров, объединенных в единую вычислительную систему с помощью вычислительных сетей; Назначение: предоставление более гибких форм обслуживания множеству удаленных пользователей Объемы данных: значительные Задачи: сложные Надежность обеспечивается за счет средств резервирования.

16

Принципы организации централизованной БД

Обеспечение логической организации данных с помощью построения глобальной модели данных; представление информационных потребностей для каждой задачи в виде подмоделей данных; выделение специального языка описания данных для получения схем и подсхем; описание процедур обработки данных с использованием языка манипулирования данными; разделение доступа к полям данных; защита данных через пароль; обеспечение доступности данных одновременно для нескольких пользователей.

17

Принципы организации распределенной БД

учет территориального расположения подразделений ЭИС; обеспечение независимости данных от их территориального расположения; оптимальное размещение БД между клиентами и серверами; сокращение стоимости информационного обслуживания клиентов; обеспечение решения сложных межведомственных задач; надежность хранения обработки данных; использование СУБД, ориентированных на работу в сети; возможность параллельного обращения к данным из различных узлов обработки данных.

18

Условия централизации и децентрализации данных

Данные централизуются, если: данные непрерывно обновляются, а территориально разобщенные пользователи должны получать всякий раз последнее состояние данных; поиск производится во всей совокупности данных; над данными осуществляются операции со вторичными ключами. Данные могут быть децентрализованными, если они используются локально в точке их происхождения. При низкой скорости обновления допустимо хранение нескольких копий данных.

19

Классификация систем по способам распределения и обработки данных

Централизованная обработка

Распределенная обработка

Распределенная обработка

20

Централизованные данные

Централизованные данные, централизованная обработка

Централизованные данные, распределенная обработка

21

Иерархические данные

Зависимые данные

Эталонная копия данных

22

Расщепленные данные

Структура данных и программы их обработки в подсистемах одни и те же. Содержание различно.

23

Разделенные данные

Структура данных, их содержание и программы обработки в подсистемах различны.

24

Реплицированные данные

Копии одних и тех же данных. Структура данных и программы обработки идентичны.

25

Комбинированные формы распределения данных

26

Концепция информационных хранилищ

Информационное хранилище позволяет обеспечить: хранение разнородных данных из различных источников в течение больших периодов времени; быстрый доступ к данным и поиск релевантной запросу информации.

Информация

Знания

Данные

27

Причины появления информационных хранилищ

Осознание руководством предприятий того, что в данных содержатся скрытые закономерности (знания), характеризующие процесс управления в целом, способные повысить его эффективность; снижение стоимости средств хранения информации, дающее возможность хранить данные, накопленные за длительные интервалы времени; снижение стоимости элементной базы сложных архитектур; переход от массового обслуживания к индивидуальному (учет разнообразных требований заказчика).

28

Проблемы интеграции данных

Источники могут использовать различные модели данных и предоставлять различные интерфейсы для доступа к своим данным. Данные источника могут быть неструктурированными. Источники могут быть автономными.

29

Решение задачи интеграции данных

30

Хранилище данных — это «предметно-ориентированная, интегрированная,

содержащая исторические данные, неразрушаемая совокупность данных, предназначенная для поддержки принятия управленческих решений» (Уильям Инмон, 1992). Хранилище данных (Content Repository) – программная подсистема ИС, сочетающая в себе функции системы управления версиями, поисковой машины и СУБД. Хранилище данных (Data Warehouse) – очень большая предметно-ориентированная корпоративная база данных, специально разработанная и предназначенная для подготовки отчетов, анализа бизнес-процессов с целью поддержки принятия решений в организации. Хранилище данных – это автоматизированная информационно-технологическая система организации, которая собирает данные из существующих баз и внешних источников, формирует, хранит и эксплуатирует информацию в виде наборов данных.

31

Структура хранилища данных

32

Концепция хранилищ данных

Интеграция ранее разъединенных детализированных данных в едином хранилище. Тематическое и временное структурирование, согласование и предварительная обработка. Разделение хранящихся данных по их назначению – для операционной обработки и для использования в задачах анализа. Цель использования ХД – подготовка данных к последующему анализу. OLTP (On-line Transaction Processing) – задачи оперативной обработки данных; OLAP (On-line Analytical Processing) – задачи аналитической обработки данных

33

Свойства данных

Предметная ориентированность Интегрированность Неизменяемость и целостность Хронологическая структурированность

34

Категории данных

35

Операции над данными

Сбор данных (пополнение хранилища данных) очистка – устранение ненужной информации; агрегирование – вычисление сумм, средних; трансформация – преобразование типов данных, реорганизация структур хранения; объединение из внешних и внутренних источников – приведение к единым форматам; синхронизация – соответствие одному моменту времени. Поддержка целостности и непротиворечивости данных использование репозитория (словаря-справочника) проверка данных на соответствие их структуре и назначению Организация доступа к данным

36

Требования к хранилищам данных

Высокая скорость загрузки данных. производительность процесса загрузки не должна накладывать ограничения на размер хранилища Обеспечение полнофункциональной технологии загрузки преобразование данных фильтрация данных переформатирование данных проверка целостности данных организация физического хранения данных индексирование данных обновление метаданных Высокое качество хранилища данных Мера качества хранилища – объективность исходных данных и степень разнообразия возможных запросов Поддержка различных видов данных

37

Требования к хранилищам данных

Высокая скорость обработки запросов зависит от сложности запроса, а не от объема хранилища Масштабируемость. поддержка СУБД параллельной обработки запросов сохранение работоспособности в случае локальных аварий обслуживание любого числа пользователей без потери производительности Широкие возможности администрирования контроль за приближением к ресурсным ограничениям анализ затрат ресурсов установка приоритетов для различных категорий пользователей и операций осуществление настройки системы на максимальную производительность.

38

Транзакционные и аналитические системы

Транзакционные системы ориентированы на операционную, или транзакционную обработку данных (автоматизированные информационные системы, осуществляющие учет и хранение оперативной информации по бизнес-процессам предприятия); Аналитические системы ориентированы на анализ данных (системы поддержки принятия решений DSS - Decision Support System).

39

Признак

Транзакционная система

Аналитическая система

Цель

Учет, хранение и оперативная обработка непрерывно поступающих данных.

Получение и хранение обобщенных данных об объекте управления, предоставление информации для принятия решений.

Вид данных

Детализированные данные

Обобщенные данные

Частота обновления данных

Непрерывно, небольшими порциями

Редко

Представление результатов работы

Составление определенного набора отчетных форм

Получение большого числа разнообразных отчетов в удобном для понимания виде

40

Характер использования системы

Транзакционная система

Аналитическая система

Автоматизация бизнес-процессов на уровне цехов, отделов, бюро.

Получение на основе хранящихся данных показателей, определяющих закономерности развития предприятия и эффективность его работы. Предоставление средств и инструментов для обработки показателей с использованием различных методик анализа. Взаимодействие с различными программными пакетами, осуществляющими специализированную обработку данных (статистическими методами, с помощью нейронных сетей или нечеткой логики).

41

Взаимное сочетание транзакционной, аналитической систем и хранилища

данных зависит от специфики деятельности организации, количества и характера информации.

OLTP – online transaction processing OLAP – online analytical processing ETL – extract, transformation and load (система извлечения, преобразования и загрузки данных )

42

Варианты использования ХД

Вариант 1

Тс

1

Тс

2

Тс

3

Хд

АС – аналитическая система ТС – транзакционная система ХД – хранилище данных

Независимые источники данных

Ас

43

Варианты использования ХД

Вариант 1

Вариант 2

Тс

1

Тс

2

Тс

3

Тс

Хд

Хд

АС – аналитическая система ТС – транзакционная система ХД – хранилище данных

Независимые источники данных

Источник

Данных

Ас

Ас

44

Варианты использования ХД

Вариант 1

Вариант 2

Вариант 3

Тс

1

Тс

2

Тс

3

Тс

Тс

Хд

Хд

Архивные БД

Хд

Ас

АС – аналитическая система ТС – транзакционная система ХД – хранилище данных

Независимые источники данных

Источник

Источник

Данных

Данных

Ас

Ас

45

Витрины данных

Витрина данных (Data Mart) – это тематическая база данных, содержащая информацию, относящуюся к отдельным аспектам деятельности организации. Витрина данных является частью хранилища данных, специфицированной для использования конкретным подразделением или определенной группой пользователей.

46

Независимые витрины данных

47

Преимущества витрин данных

Недостатки витрин данных

Простота и невысокая стоимость реализации Экономия технических ресурсов Более высокий уровень безопасности данных Высокая производительность

Дублирование данных Необходимость синхронизации данных Трудности расширения и объединения витрин Ограниченность использования

48

Многоуровневое решение ХД

49

Концептуальная модель информационного хранилища

50

Шесть уровней архитектуры хранилища данных

SRD - Sample Restructure Deliver

ETL – Extract Transformation Load

51

Рекомендуемая структура корпоративного хранилища данных

52

Виртуальные хранилища

При использовании виртуальных хранилищ данные хранятся в удаленных источниках. Запрос к источнику транслируется через систему интеграции.

53

Виртуальные хранилища

Достоинства

Недостатки

Всегда обновленные («свежие») данные Простота и малая стоимость реализации Единая платформа с источником информации Отсутствие сетевых соединений между источником информации и хранилищем данных.

Сложность оптимизации запросов Дополнительные расходы на конвертацию данных во время выполнения запроса Более низкая производительность Сложность интеграции данных с другими источниками Отсутствие истории чистоты данных Зависимость от доступности и структуры основной базы данных.

54

Логический уровень виртуального хранилища

Логический уровень определяется выбором модели данных и языка запросов для этой модели. Модель используется для представления данных, извлекаемых из всех источников. Модель данных должна обеспечить прозрачность доступа к внешним источникам. Пользователь получает возможность унифицированного доступа ко всем интегрируемым данным, т.е. видит внешние данные как локальные в выбранной модели и не заботится об управлении доступом к источнику.

55

Физический уровень виртуального хранилища

Обертка (wrapper) используется для хранения информации о внешнем источнике и организации к нему доступа. Посредник (mediator) осуществляет интеграцию данных из различных источников

56

Облачное хранилище данных (cloud storage)

Модель онлайн-хранилища, в котором данные хранятся на многочисленных распределённых в сети серверах, предоставляемых в пользование клиентам, в основном, третьей стороной.

57

Достоинства

Недостатки

Клиент платит только за то место в хранилище, которое фактически использует, но не за аренду сервера, все ресурсы которого он может и не использовать. Отсутствие затрат на приобретение, поддержку и обслуживание собственной инфраструктуры по хранению данных. Все процедуры по резервированию и сохранению целостности данных производятся провайдером облачного центра.

Безопасность при хранении и пересылке данных Возможное снижение производительности по сравнению с работой в условиях собственного хранилища Надежность и своевременность получения и доступности данных в облаке очень сильно зависит от многих промежуточных параметров.

58