Бизнес функции процесса проектирования хранилища данных

В этой статье мы подробно поговорим о том, чем отличается хранилище данных от оперативного склада данных , а также рассмотрим различные методологии проектирования хранилища данных.

Хранилище данных предприятия (EDW или DW) или оперативный склад данных(ODS)?

Цель хранилища данных в общей архитектуре бизнес-аналитики — объединить корпоративные данные из разных гетерогенных источников данных, чтобы облегчить отчетность по истории и анализу тенденций. Он выполняет функцию центрального репозитория и содержит единственно верные данные для организации, тщательно собранные из данных, хранящихся в разрозненных внутренних и внешних операционных базах данных. Для лучшей производительности большинство данных в хранилище данных располагаются в нормализованной форме, которые могут быть классифицированы в схемах звезды или снежинки.

Целью оперативного склада данных является интеграция корпоративных данных из разных гетерогенных источников для упрощения оперативной отчетности в реальном времени или близком к реальному масштабе времени

BIWEB (#14) Проектирование хранилищ данных DWH (Data Warehouse) в Microsoft Excel

Часто данные в ODS будут структурированы аналогично исходным системам, хотя во время интеграции он может включать очистку данных, дедупликацию и может применять бизнес-правила для обеспечения целостности данных. ODS в основном предназначена для интеграции данных зачастую на самом низком уровне детализации для оперативной отчетности в рамках сценария интеграции данных в реальном времени. Как правило, ODS не оптимизирован для анализа истории и тенденций при огромном наборе данных.

Подведем итоги различий между ODS и DW:

• ODS предназначен для оперативной отчетности и поддерживает текущие или близкие к режиме реального времени требования к отчетности, тогда как DW предназначен для исторического и трендового анализа большого объема данных
• ODS предназначен для запросов с низкой детализацией, тогда как DW используется для сложных запросов в отношении суммарного уровня или агрегированных данных
• ODS предоставляет информацию для оперативных и тактических решений относительно текущего или близкого к реальному времени сбора данных, тогда как DW обеспечивает обратную связь для принятия стратегических решений, ведущих к общему улучшению системы
• В ODS частота загрузки данных может происходить ежечасно или ежедневно, тогда как в DW частота загрузки данных может быть ежедневно, еженедельно, ежемесячно или ежеквартально

Методы проектирования хранилищ данных

При разработке хранилища данных обычно используют две разные методологии, и на основе требований вашего проекта можно выбрать, какой из них больше подходит для вашего конкретного сценария. Эти методологии являются результатом исследований Билла Инмона и Ральфа Кимбалла.

Билл Инмон — Подход к проектированию хранилищ данных “сверху вниз”

Билла Инмонхж иногда называют также «отцом хранилищ данных»; его методология проектирования основана на подходе “сверху вниз” и определяет хранилище данных в соответствии со следующими принципами:

Видео-курс: Основы теории создания хранилищ данных (DWH). Вячеслав Ерин, АНАЛИТИКА ПЛЮС

• Предметная ориентация. Данные в хранилище классифицируются на основе области, которую они описывают, следовательно, являются «предметными».
• Интегрированность. Данные интегрируются из различных источников и унифицируются по именам, измерениям, классификации для использования в хранилище данных, которое обеспечивает консолидированное представление данных предприятия, следовательно является интегрированным решением.
• Неизменяемость. Как только данные будут интегрированы загружены в хранилище данных, их можно будет только читать. Пользователи не смогут вносить изменения в данные, что делает данные неизменяемыми.
• Хронологичность. Наконец, данные хранятся в течение длительных периодов времени, количественно определяемых в годах, и имеют дату и временную метку, и поэтому они описываются как хронологические.

Билл Инмон увидел необходимость интегрировать данные из разных OLTP-систем в централизованный репозиторий (называемый хранилищем данных) по принципу «сверху вниз». Билл Инмон представил хранилище данных в центре «Корпоративной информационной фабрики» (CIF), которое обеспечивает логическую структуру для предоставления возможностей бизнес-аналитики (BI) и управления бизнесом.

Этот сверху-вниз дизайн обеспечивает высококонвертированное пространственное представление данных через витрины данных, поскольку все витрины данных загружаются из централизованного хранилища (DW). Проектирование «сверху вниз» также оказалось гибким для поддержки изменений в бизнесе, поскольку оно рассматривает организацию в целом, а не каждую функцию или бизнес-процесс организации. Создание новых витрин мерных данных в отношении данных, расположенных в хранилище данных, является относительно простой задачей. Несмотря на такие преимущества, существует и ряд проблем, связанных с подходом «сверху вниз»: поскольку он представляет собой очень крупный, широкомасштабный проект, поэтому первоначальные затраты на внедрение хранилища данных с использованием такой методологии значительны. Кроме того, проходит немало времени, прежде чем конечные пользователи начинают испытывать первоначальные преимущества решения, Помимо прочего, методология «сверху вниз» часто бывает негибкой и не реагирующей на меняющиеся потребности отдела или бизнес-процессов (проблема для сегодняшней динамично меняющейся среды) на этапе реализации.

Ральф Кимбалл — Подход к проектированию хранилища данных “снизу вверх”

Ральф Кимбалл — известный автор по вопросам хранения данных. Его методология дизайна называется многомерным моделированием или методологией Кимбалла. Она фокусируется на восходящем подходе, подчеркивая важность быстрого доступа пользователей к хранилищу данных.

По его мнению, хранилище данных — это копия транзакционных данных, специально структурированных для аналитических запросов и отчетности и функционирования системы поддержки принятия решений. Согласно его методологии, сначала создаются витрины данных — для предоставления отчетов и аналитических возможностей для конкретных бизнес-процессов, а в дальнейшем эти витрины данных могут в конечном итоге объединяться вместе для создания всеобъемлющего хранилища корпоративных данных. Подход «снизу вверх» сосредоточен на каждом бизнес-процессе в один момент времени, поэтому инвестиции возвращаются так же быстро, как создается первый файл данных. Но, в случае не слишком тщательного планирования и чрезмерной концентрации на отдельном бизнес-процессе, вы рискуете не получить общую картину хранилища данных предприятия (если вы потеряли некоторые измерения или создали избыточные измерения).

Подход «снизу вверх» Ральфа Кимбалла предлагает создать бизнес-матрицу, которая должна содержать все общие элементы, используемые витринами данных, такие как согласованные или общие измерения, определенные для предприятия в целом. Благодаря этому, пользователь может проектировать и разрабатывать решения, которые поддерживают анализ в бизнес-процессах для перекрестных продаж.

Источник: spbdev.biz

Профессиональное проектирование и разработка хранилищ данных в облаке

Хранилища данных в облаке стали неотъемлемой частью современного мира, где объемы данных стремительно растут, а требования к их доступности и обработке становятся все более жесткими. Облачные хранилища данных позволяют компаниям сохранять и обрабатывать большие объемы данных с высокой эффективностью, и обеспечивают их гибкость, масштабируемость и доступность. В этой статье мы рассмотрим основные принципы проектирования и разработки хранилищ данных в облаке, а также обзор популярных платформ и инструментов, которые используются для этих целей.

Что такое хранилище данных в облаке?

Хранилище данных в облаке (Cloud Data Warehouse) — это сервис, который позволяет пользователям хранить, управлять и обрабатывать данные на удаленных серверах, доступных через интернет. Оно может использоваться как для хранения отдельных файлов, так и для хранения целых баз данных.

Пользователи могут загружать, скачивать, хранить и удалять файлы, используя приложения или браузер. Облачное хранилище может также предоставлять функции синхронизации, резервного копирования, совместной работы над документами, а также доступ к данным из разных устройств.

Хранилище данных в облаке может быть как бесплатным, так и платным. Платные сервисы могут предоставлять более широкий функционал, более высокую производительность и надежность, а также более качественную техническую поддержку.

Существует множество технологий и платформ, которые используются для хранения данных в облаке. Среди наиболее популярных можно выделить Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform (GCP) и IBM Cloud. Каждая из этих платформ имеет свои особенности и возможности, а также набор инструментов для работы с данными.

Основные этапы разработки

Важно понимать, что разработка облачного хранилища — это сложная и многокомпонентная задача, требующая определенных знаний и навыков. Поэтому часто она выполняется командой разработчиков и администраторов данных, которые имеют опыт работы с соответствующими технологиями и сервисами.

Основные этапы разработки включают следующие шаги:

1. Анализ потребностей и требований. Этот этап включает определение потребностей и требований к хранилищу, таких как объем данных, типы данных, скорость доступа, безопасность данных, система резервного копирования и восстановления, масштабируемость и производительность.
2. Выбор облачного провайдера. На этом этапе производится выбор облачного провайдера, который соответствует требованиям и потребностям проекта. При выборе провайдера необходимо учитывать такие параметры, как цена, уровень обслуживания, масштабируемость и безопасность.
3. Проектирование архитектуры. На этом этапе определяется архитектура облачного хранилища, включая выбор модели хранения данных, базы данных, схемы и интерфейса программирования приложений (API).
4. Разработка и тестирование. На этом этапе производится разработка и тестирование хранилища данных. Разработка может включать создание программного обеспечения для доступа к данным и управления хранилищем, а также создание системы мониторинга и отчетности.
5. Разворачивание и настройка. На этом этапе производится развертывание хранилища данных в облаке и его настройка. Это включает настройку сетевой инфраструктуры, установку программного обеспечения и настройку системы безопасности.
6. Мониторинг и управление. На этом этапе производится мониторинг и поддержка хранилища данных в облаке. Это включает мониторинг производительности, управление безопасностью и поддержку пользователей.
7. Оптимизация и улучшение. На этом этапе производится оптимизация и улучшение облачного хранилища. Это может включать настройку масштабируемости, улучшение производительности и увеличение безопасности.

Поговорим чуть подробнее о некоторых из них.

Анализ потребностей

Проектирование хранилища данных в облаке начинается с определения требований к данным и анализа бизнес-процессов. Определение требований включает в себя описание типов данных, которые будут храниться, как данные будут использоваться, как часто данные будут доступны для чтения и записи, какие запросы будут выполняться, и какие приложения будут использовать данные. Анализ бизнес-процессов помогает понять, какие данные нужны для поддержки бизнес-процессов и какие приложения будут использовать эти данные.

Создание архитектуры

После определения требований к данным и анализа бизнес-процессов необходимо определить архитектуру хранилища. Архитектура должна быть построена с учетом следующих требований:

1. Масштабируемость: Хранилище данных должно быть способно масштабироваться горизонтально или вертикально, чтобы обеспечить возможность хранения большого объема данных и обработки большого количества запросов.
2. Надежность: Хранилище данных должно обеспечивать высокую надежность и доступность данных. Для этого можно использовать механизмы репликации, резервного копирования и автоматического восстановления данных.
3. Безопасность: Хранилище данных должно быть защищено от несанкционированного доступа и взломов. Это можно достичь с помощью шифрования данных, контроля доступа и мониторинга безопасности.
4. Производительность: Хранилище данных должно обеспечивать высокую производительность и быстродействие при обработке запросов. Для этого можно использовать распределенные системы, кэширование данных и оптимизацию запросов.
5. Интеграция: Хранилище данных должно интегрироваться с другими приложениями и сервисами в облаке, такими как облачные вычисления, облачное хранение и облачные сервисы.

Выбор провайдера

Одним из главных шагов в разработке облачных хранилищ данных является выбор провайдера облачных услуг. При выборе провайдера облачных услуг рекомендуем обратить внимание на следующие критерии:

Безопасность. Важно, чтобы провайдер предоставлял высокий уровень защиты данных и уделял большое внимание безопасности сети. Дополнительным критерием может быть наличие сертификатов соответствия стандартам безопасности, таким как ISO 27001.

Цена. Хотя облачные хранилища данных могут быть более экономичными, чем традиционные, важно провести анализ стоимости и сравнить цены разных провайдеров.

Удобство использования. Провайдер должен предоставлять удобный интерфейс для управления данными, который позволит пользователям быстро и легко настраивать и мониторить свои хранилища данных.

Гибкость и масштабируемость. Важно выбрать провайдера, который может быстро масштабировать хранилище данных по мере необходимости, чтобы удовлетворить меняющиеся потребности компании.

Наличие инструментов для анализа данных. Хороший провайдер должен предоставлять инструменты для анализа и визуализации данных, которые помогут пользователям принимать более обоснованные решения на основе данных.

Выбор инструментов

Еще одним важным этапом будет выбор инструментов для хранения и обработки данных. В зависимости от потребностей, могут использоваться различные инструменты, такие как базы данных, NoSQL хранилища, Hadoop и другие.

Существует множество технологий для создания хранилищ данных в облаке. Некоторые из них предоставляют более высокую производительность и надежность, в то время как другие могут быть более экономически выгодными. При выборе технологии необходимо учитывать требования, которые мы определили ранее, а также реальные возможности сервисов.

Необходимо выбрать инструменты, которые будут использоваться для создания базы данных, настройки интеграции с источниками данных, загрузки и обработки данных в хранилище, а также для мониторинга и управления хранилищем данных.

Разработка и тестирование

Этот этап является одним из наиболее важных этапов, так как от него зависит работоспособность и надежность создаваемого хранилища данных.

Разработка хранилища данных в облаке начинается с создания программного обеспечения для доступа к данным и управления хранилищем. Это может включать в себя разработку интерфейсов программирования приложений (API) для доступа к данным, а также создание специализированного программного обеспечения для обработки и хранения данных.

После создания программного обеспечения производится тестирование хранилища данных в облаке. Тестирование может включать в себя проверку работы программного обеспечения, проверку скорости доступа к данным, проверку надежности и безопасности данных, а также проверку масштабируемости. Тестирование должно проводиться на разных уровнях, включая функциональное, интеграционное и системное тестирование.

После завершения тестирования производится документирование хранилища данных в облаке. Документация должна содержать информацию о функциональности, масштабируемости, производительности, безопасности и системе управления хранилищем. Документация также должна включать инструкции по установке и настройке хранилища данных.

Важно отметить, что разработка и тестирование хранилища данных в облаке — это процесс непрерывной разработки. В процессе эксплуатации хранилища данных могут появляться новые требования и потребности, которые могут потребовать изменения архитектуры и функциональности хранилища данных. Поэтому процесс разработки хранилища данных в облаке должен быть гибким и адаптивным, чтобы быстро реагировать на изменения потребностей и требований.

Разворачивание и настройка

Этот этап включает в себя развертывание и настройку хранилища данных в облаке. Он предполагает перенос разработанного и протестированного хранилища данных в облачную инфраструктуру и его подготовку к работе.

Первым шагом является выбор облачной платформы, на которой будет развернуто хранилище данных. На сегодняшний день на рынке существует множество облачных платформ, таких как Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform и другие. При выборе платформы необходимо учитывать требования к масштабируемости, производительности, и стоимости.

Далее происходит установка программного обеспечения и настройка хранилища данных. Настройка включает в себя определение доступов к хранилищу данных, настройку прав доступа, настройку шифрования данных и определение политик резервного копирования. Важно убедиться в том, что все настройки соответствуют требованиям безопасности и конфиденциальности данных.

Управление хранилищем данных

После разработки и внедрения хранилища данных в облаке, необходимо обеспечить его эффективную работу и управление. Это включает в себя мониторинг производительности, управление доступом к данным, резервное копирование и восстановление данных, а также масштабирование и оптимизацию хранилища данных.

Мониторинг и управление. Существует множество инструментов для мониторинга и управления хранилищем данных в облаке, таких как AWS CloudWatch, Azure Monitor и Google Cloud Monitoring. Эти инструменты позволяют отслеживать метрики производительности и статус ресурсов, уведомлять об аварийных ситуациях и управлять масштабированием в режиме реального времени.

Управление доступом и настройка прав. Пользователи и приложения должны иметь правильные уровни доступа к данным, а также должны быть установлены соответствующие права доступа. Для этого можно использовать специальные инструменты управления доступом, такие как AWS Identity and Access Management, Azure Active Directory, Google Cloud Identity.

Резервное копирование и восстановление данных. Для обеспечения безопасности хранилища данных необходимо регулярно создавать резервные копии данных и настраивать процессы восстановления данных. Некоторые платформы облачных хранилищ данных предоставляют собственные инструменты резервного копирования и восстановления данных. Например, Amazon S3 Lifecycle, Azure Backup, Google Cloud Storage.

Масштабирование и оптимизация хранилища. Масштабирование и оптимизация хранилища данных в облаке также являются важными аспектами управления. Это может включать увеличение размера хранилища данных, настройку производительности и оптимизацию запросов. Для оптимизации можно использовать специальные инструменты, такие как AWS Trusted Advisor, Azure Advisor, Google Cloud Optimization.

Применение хранилищ данных в бизнесе

Хранилища данных, работающие в облаке, имеют широкие возможности для применения в бизнесе. Некоторые из примеров применения хранилищ данных в бизнесе включают:

1. Аналитика данных: Облачные хранилища данных используются для хранения и анализа больших объемов данных, таких как данные о продажах, клиентах, операциях и т.д. Они позволяют бизнесам делать более осмысленные выводы из этих данных, оптимизировать производственные процессы и увеличить доход.
2. Управление клиентским опытом: Хранилища данных в облаке также могут использоваться для улучшения клиентского опыта. Например, компании могут использовать данные, хранящиеся в хранилищах данных, для более точного определения потребностей клиентов и предоставления индивидуальных услуг и рекомендаций.
3. Управление запасами: Хранилища данных позволяют компаниям управлять запасами и своевременно реагировать на изменения в спросе на товары или услуги. Используя данные, хранящиеся в хранилищах данных, компании могут оптимизировать уровень запасов, сократить издержки и улучшить качество обслуживания клиентов.
4. Управление производственными процессами: Облачные хранилища данных могут помочь компаниям управлять производственными процессами. Используя данные, хранящиеся в хранилищах данных, компании могут более эффективно управлять производством, оптимизировать процессы и улучшить качество продукции.
5. Маркетинг: Облачные хранилища данных используются для анализа данных о клиентах, рекламных кампаниях и результатов продаж. Компании могут использовать эти данные для разработки более эффективных маркетинговых стратегий, увеличения своей конкурентоспособности и увеличения дохода.
6. Управление проектами: Облачные хранилища данных позволяют компаниям управлять проектами более эффективно. Компании могут хранить данные о проектах и использовать их для отслеживания прогресса, управления ресурсами и определения затрат. Это помогает бизнесам сокращать время и затраты на проекты, повышать производительность и увеличивать доход.
7. Безопасность: Облачные хранилища данных также могут использоваться для обеспечения безопасности данных. Компании могут хранить данные в безопасном и надежном облаке, что предотвращает потерю данных и несанкционированный доступ к ним.

Перспективы использования хранилищ данных

1. Увеличение использования облачных технологий: С ростом количества данных, которые необходимо хранить и обрабатывать, облачные хранилища становятся все более востребованными.
2. Улучшение доступности и удобства использования: Облачные хранилища данных обеспечивают доступность и удобство использования данных, что позволяет пользователям быстро получать нужную информацию.
3. Развитие рынка облачных сервисов: Рынок облачных хранилищ данных будет продолжать расти в ближайшее время. Более многопользовательские сервисы будут предоставлены в более высоком качестве.
4. Расширение возможностей: С появлением новых технологий и улучшением функциональности облачных хранилищ, пользователи смогут решать более сложные задачи и обрабатывать более разнообразные данные.
5. Экономическая выгода: Использование облачных хранилищ данных позволяет снизить затраты на приобретение и обслуживание собственного оборудования, что может быть особенно важно для малых и средних предприятий.
6. Интеграция с другими облачными сервисами: Облачные хранилища данных могут быть интегрированы с другими облачными сервисами, такими как облачные вычисления и облачные приложения, что улучшает возможности использования данных.

Заключение

Проектирование и разработка хранилища данных в облаке может быть сложной задачей, требующей глубоких знаний и опыта, однако, при правильном подходе и использовании наиболее актуальных инструментов и сервисов, хранилище данных может значительно улучшить управление данными.

При проектировании и разработке хранилища крайне важно учитывать требования к хранению данных, выбрать подходящего провайдера и определить оптимальную структуру. Также необходимо создать процессы загрузки, обработки, обновления и синхронизации данных, которые будут работать быстро, надежно и безопасно.

Источник: dynamicsun.ru

Проектирование хранилищ данных

В хранилища данных помещают данные, которые редко меняются. Хранилища ориентированы на выполнение аналитических запросов, обеспечивающих поддержку принятия решений для руководителей и менеджеров. При проектировании хранилищ данных необходимо выполнять следующие требования:

• хранилище должно иметь понятную для пользователей структуру данных;
• должны быть выделены статические данные, которые модифицируются по расписанию (ежедневно, еженедельно, ежеквартально);
• должны быть упрощены требования к запросам для исключения запросов, требующих множественных утверждений SQL в традиционных реляционных СУБД;
• должна обеспечиваться поддержка сложных запросов SQL, требующих обработки миллионов записей.

Как видно из этих требований, по своей структуре реляционные СУБД существенно отличаются от хранилищ данных. Нормализация данных в реляционных СУБД приводит к созданию множества связанных между собой таблиц. Выполнение сложных запросов неизбежно приводит к объединению многих таблиц, что значительно увеличивает время отклика.

Проектирование хранилища данных подразумевает создание денормализованной структуры данных, ориентированных в первую очередь на высокую производительность при выполнении аналитических запросов. Нормализация делает модель хранилища слишком сложной, затрудняет ее понимание и снижает скорость выполнения запроса. Для эффективного проектирования хранилищ данных ERwin использует размерную модель – методологию проектирования, предназначенную специально для разработки хранилищ данных. Размерное моделирование сходно с моделированием связей и сущностей для реляционной модели, но имеет другую цель. Реляционная модель акцентируется на целостности и эффективности ввода данных. Размерная модель ориентирована в первую очередь на выполнение сложных запросов

В размерном моделировании принят стандарт модели, называемый схемой «звезда», которая обеспечивает высокую скорость выполнения запроса посредством денормализации и разделения данных. Невозможно создать универсальную структуру данных, обеспечивающую высокую скорость обработки любого запроса, поэтому схема «звезда» строится для обеспечения наивысшей производительности при выполнении самого важного запроса (или группы запросов).

Схема «звезда» обычно содержит одну большую таблицу, называемую таблицей факта, помещенную в центре. Ее окружают меньшие таблицы, называемые таблицами размерности, которые связаны с таблицей факта радиальными связями.

Для создания БД со схемой «звезда» необходимо проанализировать бизнес-правила предметной области для выяснения центрального запроса. Данные, обеспечивающие выполнение этого запроса, должны быть помещены в центральную таблицу. При проектировании хранилища важно определить источник данных, метод, которым данные извлекаются, преобразуются и фильтруются, прежде чем они импортируются в хранилище. Знания об источнике данных позволяют поддерживать регулярное обновление и проверку качества данных.

Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями:

Источник: studopedia.ru