Данные бизнес архитектуры это

Что такое архитектура данных, какие модели чаще всего используются в современных Big Data системах, почему традиционные BI-системы не справляются со всем разнообразием текущих бизнес-сценариев, чем Лямбда отличается от Каппа, а Data Fabric от Data Mesh и зачем внедрять MLOps-инструменты в аналитическую платформу.

Немного истории: почему архитектуры данных до сих пор активно развиваются

Прежде всего дадим определение термину архитектура данных. Согласно профессиональному своду знаний DMBoK, это модель, которая включает методы, правила и способы описания текущего состояния данных, нужные для формирования требований к данным, их интеграции и контроля использования в соответствии с общей стратегией управления. Архитектура данных является одним из доменов архитектуры предприятия, соединяя бизнес-стратегию и техническую реализацию, т.е. деятельность компании в виде системы бизнес-процессов и ИТ-инфраструктуру ее поддержки в виде приложений и информационных систем. Например, в методологии ARIS (Architecture of Integrated Information System), используемой для моделирования корпоративной архитектуры, есть данным выделено отдельное представление в виде информационных моделей (моделей данных), которые отражают структуру информации для реализации всех функций предприятия как системы.

2. Бизнес Архитектура предприятия

В практическом смысле архитектуру данных можно рассматривать как модель их сбора, хранения и обработки. Выбор архитектурной модели зависит от основного назначения информационной системы и контекста ее применения, включая уровни процессной и ИТ-зрелости, а также доступных на текущий момент технологий. Поскольку каждый день на рынке ПО появляются новые решения, а бизнес сталкивается с новыми вызовами, архитектуры данных тоже развиваются.

Первопроходцами на арене архитектурных моделей данных стали системы класса Business Intelligence (BI), которые впервые появились в 80-хх гг. XX века. Именно BI-системы популяризовали понятие OLAP-куба как абстракции бизнес-модели, откуда с помощью SQL-подобного запроса MDX можно получить нужную информацию. Хотя BI-решения по-прежнему очень востребованы (рынок BI в 2027 оценивается в $60,5 млрд.), сегодня эти системы не могут охватить все текущие бизнес-сценарии работы с данными по следующим причинам:

• BI-системы больше ориентированы на анализ структурированных бизнес-данных с высокой плотностью, но не очень поддерживают обработку неструктурированных и полу-структурированных данных типа изображений, текста и аудио;
• хранилище данных является центральным элементом BI и для загрузки данных в него из других систем нужны соответствующие ETL-конвейеры с поддержкой дата-инженеров, которые решают, как выполнить очистку и преобразование данных. Рост количества разнородных источников и форматов данных усложняет ETL-конвейеры.
• При увеличении объема обрабатываемых данных порядка ТБ/ПБ производительность BI-систем снижается;
• Реляционная парадигма решает проблему избыточности данных для обеспечения их согласованности, но для хранилищ данных часто это не требуется. Данные используются только для чтения, поэтому эти ограничения снижают производительность аналитических систем.
• Хранилища данных не очень подходят для исследований и ML, поскольку не всегда можно четко определить данные признаков, которые необходимо извлечь для моделирования.

Чтобы решить эти проблемы в начале 2000-х гг. начали развиваться технологии Big Data, в частности, Apache Hadoop. Системы хранения и аналитики больших данных на основе Hadoop устранили узкие места традиционных BI-систем и реляционных хранилищ данных, но принесли свои трудности:

Архитектура бизнеса. Общий обзор. Что это и зачем

• переход от хранилища данных к озеру данных не имеет плавной эволюции, что на практике часто превращается в мега-проекты по радикальному реинжинирингу ИТ-инфраструктуры;
• распределенное хранилище Big Data подчеркивает характер данных только для чтения, методы хранения HDFS не поддерживают обновление, а операции записи – параллелизм, что приводит к определенным ограничениям и почти нивелирует саму идею распределенной системы.

Современные аналитические платформы направлены ​​на устранение узких мест, с которыми сталкиваются традиционные хранилища данных:

• распределенные вычисления, когда разные узлы в кластере могут параллельно обрабатывать данные с учетом их физического расположения (data locality), чтобы максимально сократить накладные расходы на передачу по сети и ускорить выполнение программы. В частности, на низком уровне Apache Spark использует распределенную коллекцию данных RDD, а Kafka позволяет настроить размер пакета (batch size), о чем мы писали здесь.
• распределенное хранение, когда один большой файл реплицируется на N копий, каждая из которых независимо размещается на отдельном узле кластера;
• разделение извлечения и хранения: ранее в Big Data технологиях хранение данных и выполнение вычислений не разделялись, но сегодня это стало стандартом де-факто. Ориентированные на быстрое выполнение вычислительных операций и чтение данных аналитические движки и форматы не очень хорошо поддерживают эффективное хранение данных. И наоборот, хранилище данных отвечает не только за удобство записи сообщений и сохранность их содержимого, но и добавляет много метаинформации, включая индексы и пр., еще больше увеличивая информационный объем.

Как эти тенденции реализуются в современных архитектурах данных, рассмотрим далее.

Источник: bigdataschool.ru

Что такое архитектура данных?

Согласно рекомендациям Data Management Body of Knowledge (DMBoK) архитектура данных “включает методы, правила и способы, позволяющие описать текущее состояние данных; сформировать требования к данным, обеспечить интеграцию данных и контролировать использование данных как активами в соответствии со стратегией управления данными ”. Архитектура данных соединяет между собой бизнес-стратегию и техническую реализацию, т.е. является мостом в корпоративной архитектуре между бизнес-процессами и архитектурой приложений и систем. В соответствии с отчетом DATAVERSITY «Тенденции в архитектуре данных» за 2017 год:

«Архитектура данных является настолько же бизнес-составляющей, насколько технической, т.к. современные бизнес-модели и способы работы основаны на данных и информации».

Архитектура данных может быть разделена на следующие компоненты:

• Результаты архитектуры данных: модели данных, терминология и потоки данных на различных уровнях. Как правило именуемые артефактами архитектуры данных.
• Функции архитектуры данных: формирование, развитие и наполнение архитектуры данных организации.
• Методики архитектуры данных: сотрудничество, знания и умения, которые влияют на архитектуру данных организации.

Другие определения архитектуры данных:

«Общая терминология, выражающая интегрированные требования, гарантирующие хранение и упорядочение активов в виде данных, а также их управление и системное использование согласно стратегии организации». (Dr. Peter Aiken)

«Набор правил, политик и моделей, определяющих, какие именно данные собираются, используются, обрабатываются и хранятся в системе базы данных». (Keith D.Foote)

«Описывает, как данные собираются, хранятся, преобразуются, распространяются и используются. ИТ в данном случае включает в себя правила, регулирующие структурированные форматы, такие как базы данных и файловые системы, а также системы, соединяющие данные с бизнес-процессом, в котором они используются». (DalleMule and Davenport, Harvard Business Review)

«Модели, стратегии, правила или стандарты, которые определяют, какие данные собираются, как они хранятся, упорядочиваются и используются в системе баз данных и/или в организации». (Business Dictionary)

Архитектура данных используется в организации для того, чтобы:

• Стратегически подготовить организацию быстро формировать и использовать возможности в условиях передовых технологий.
• Преобразовать потребности бизнеса в данные и системные требования.
• Обеспечить соответствие информационных технологий (IT) и бизнес-систем.
• Управлять комплексным процессом передачи и предоставления данных внутри организации, выступать в качестве гибкого средства бизнес-трансформаций и принятия решений.
• Визуализировать поток информации, предоставляемой пользователям и используемых в бизнес-процессах.

Источник: data-management.ru

Кто такой архитектор данных? Гайд по вакансиям 2023 года

Привет! Несомненно, одним из самых важных винтиков в цифровой машине является архитектор данных. Хотя все профессии, связанные с данными, играют свою роль в нашей современной экономике, архитектор данных, пожалуй, является самой незаменимой. Это потому, что они проектируют, создают и обслуживают инфраструктуру, которая поддерживает все другие виды деловой активности, основанные на данных. И это очень важно!

Кто такой архитектор данных?

Архитектор данных – это специалист по данным, отвечающий за проектирование систем и процессов, которые хранят и используют данные. Их роль может включать проектирование многих типов структур данных, от конвейеров и баз данных до хранилищ и облачных систем. В целом, однако, они стремятся обеспечить организацию, доступность, безопасность и актуальность данных.

Они также должны контролировать создаваемые ими системы, чтобы обеспечить их надлежащее внедрение и обслуживание. Когда дело доходит до дела, архитекторы данных не так уж сильно отличаются от настоящих архитекторов. И те, и другие учитывают, как используются структуры, а также решают проблемы безопасности и инженерного обеспечения.

По сути, архитекторы данных следят за тем, чтобы различные элементы системы гармонично сочетались друг с другом, создавая решение, которое удовлетворяет различные потребности всех конечных пользователей. Если вы заинтересованы в освоении новой профессии, то мы можем рекомендавть вам обратить свое внимание на курс от образовательной платформы Skillbox «Профессия Data Analyst». На данном курсе вы с нуля освоите востребованную профессию и будете помогать бизнесу принимать решения на основе данных, научитесь работать с BI-инструментами, использовать Python, SQL и добавите 3 проекта в портфолио.

Почему важны архитекторы данных?

Хотя все специалисты по данным необходимы для успеха бизнеса, основанного на данных, архитекторы данных особенно важны. Их работа закладывает основу для всех остальных специалистов по данным: от аналитиков данных и ученых до экспертов по бизнес-аналитике. Без хорошо спроектированной системы работа других специалистов будет существенно затруднена. Именно это делает архитекторов данных такими уникальными.

Задачи и обязанности архитектора данных

1. Проектирование логических и физических структур систем данных, таких как хранилища данных и другие хранилища данных
2. Создание моделей данных, определяющих порядок организации, хранения, доступа и обслуживания данных
3. Понимание доступных источников данных и их соответствие стратегии и целям предприятия
4. Глубокое знание существующих стандартов безопасности данных, управления данными и качества данных, а также разработка своих стандартов, политик и процедур в области данных
5. Умение работать с новыми технологиями и интегрировать их в общую архитектуру данных, например, облачные вычисления, озера данных и искусственный интеллект.
6. Обеспечение безопасности данных и соблюдение всех стандартов конфиденциальности и соответствия требованиям.
7. Устранение любых проблем, связанных с данными, и руководство другими специалистами по оптимизации архитектуры.
8. Общение с ключевыми заинтересованными сторонами для обеспечения понимания ими архитектуры данных и возможности ее эффективного использования.
9. Управление разработкой и поддержкой словарей данных и глоссариев для оказания помощи нетехническим пользователям системы.
10. Работа с инженерами по данным для обеспечения развития и бесперебойной работы конвейеров данных, процессов ETL и других процессов, связанных с данными.
11. Участие в разработке бизнес-стратегии высокого уровня и перевод практических целей организации в практические задачи и проектирование систем

Поскольку системы данных становятся все более сложными, роль архитектора данных также эволюционирует. Давайте рассмотрим, как меняется эта роль в следующем разделе.

Типы архитекторов данных

Когда в конце 1950-х – начале 1960-х годов возникла архитектура данных, перед компьютерными учеными стояла (относительно говоря!) простая задача. Впервые им пришлось организовывать данные, получать к ним доступ и манипулировать ими в терминах логических моделей.

Тогда это была относительно новая концепция, и пионеры той эпохи заложили основы современных структур данных. Хотя все эти вопросы по-прежнему являются жизненно важными аспектами современной архитектуры данных, ее роль изменилась с 1950-х годов. Сегодняшние архитекторы данных могут решать множество сложных задач. Но как настоящие архитекторы обладают навыками, подходящими для разных работ, так и архитекторы данных сегодня обладают все более узкой специализацией.

Поскольку использование данных в бизнесе со временем меняется, появляются нишевые роли архитекторов данных.

Невозможно предсказать, к чему приведет архитектура данных в будущем, но вот лишь несколько типов архитекторов данных, с которыми вы можете столкнуться сегодня:

1. Архитекторы баз данных занимаются проектированием, разработкой и обслуживанием баз данных и связанных с ними технологий доступа к данным, таких как кластеры NoSQL, SQL и другие.
2. Архитекторы хранилищ данных могут специализироваться на более масштабных структурах данных. Они отвечают за проектирование и внедрение систем, которые хранят и управляют несколькими консолидированными источниками данных.
3. Архитекторы бизнес-аналитики сосредоточены на разработке систем, которые облегчают извлечение информации. Это требует понимания основных источников данных, отличного понимания аналитики данных, стратегических целей организации, требований к отчетности и технологии, используемой для представления результатов.
4. Архитекторы предприятия отвечают за надзор за архитектурой данных всей организации. Как правило, они занимают позицию высокого уровня и участвуют в разработке стратегий, связанных с данными, а также обеспечивают развертывание архитектуры данных в соответствии с целями и задачами организации.
5. Архитекторы больших данных сосредотачиваются на системах, явно используемых для сбора, хранения, обработки и анализа больших, сложных и, как правило, неструктурированных данных. В их работе часто используются технологии распределенных вычислений, такие как Hadoop, Spark и Kafka. Это может потребовать дополнительных навыков, таких как проектирование распределенных систем и разработка программного обеспечения.
6. Облачные архитекторы отвечают за решения для данных, которые работают в облачных средах. Это требует понимания облачных технологий, таких как AWS, Azure или GCP, а также умения разрабатывать решения с учетом ограничений этих технологий.
7. Архитекторы безопасности специализируются на создании безопасности для конкретных систем или сервисов, ведении документации по безопасности и разработке таких вещей, как шифрование и аутентификация. Они также отвечают за обеспечение соответствия систем данных соответствующим нормативным требованиям.
8. Архитекторы машинного обучения (хотя это не совсем новое направление) становятся все более популярными, поскольку искусственный интеллект играет все большую роль в нашей экономике. Они отвечают за разработку и внедрение моделей и алгоритмов машинного обучения и выбор подходящей технологии для решения этих задач.

Помимо этих конкретных должностей, знание архитектуры данных и передовой практики высоко ценится и на других должностях. Некоторые архитекторы данных могут применять свои знания в управлении проектами, продажах, разработке программного обеспечения и даже на руководящих должностях. Одним словом, архитектура данных – это навык, который обеспечит вам востребованность, куда бы ни привела вас карьера.

Сколько я могу заработать в качестве архитектора данных?

Согласно прогнозам Бюро статистики труда США, к 2031 году число архитекторов данных в США вырастет на 9%. Для сравнения, это намного выше среднего показателя для всех других профессий, который составляет всего 5%.

Такой рост отражает спрос на высококвалифицированных архитекторов данных. Из этого следует, что на этой должности можно неплохо зарабатывать.

Чтобы получить представление о том, сколько можно заработать в качестве архитектора данных в разных странах мира, мы взяли данные с сайта Salary Expert, которые основаны на 30-летних данных о реальных рабочих местах, полученных от Института экономических исследований.

Вот пять самых высокооплачиваемых стран мира:

• Швейцария: 131 423 доллара США (или 120 793 швейцарских франка).
• Соединенные Штаты: $113,192
• Австралия: $103 003 (или 147 614 австралийских долларов)
• Германия: $96 387 (или 89 512 евро)
• Канада: $90 908 (или $121 888 канадских долларов)

Конечно, это лишь приблизительные данные. На ваш потенциал заработка будут влиять и другие факторы, включая ваш уровень опыта и отрасль, в которой вы решили работать. Но в целом архитекторы данных будут зарабатывать значительно больше, чем среднегодовая зарплата для других, менее высококвалифицированных профессий.

Как стать архитектором данных

Итак, вы все поняли и убедились. Предположим, что вы интересуетесь аналитикой данных (и имеете небольшой опыт), как стать квалифицированным архитектором данных?

1. Развивайте свои технические и аналитические навыки

Архитектура данных требует глубокого понимания различных технологий и программных систем. Для начала изучите основы моделирования данных, хранилищ данных и проектирования баз данных. Кроме того, вам потребуется умение использовать различные языки программирования, от SQL до Python, Java и других.

Вам также понадобится отличное знание инструментов и методов, используемых для создания и обслуживания структур данных, например, инструментов ETL (Extract, Transform, and Load).

Однако не чувствуйте себя подавленным! Несмотря на то, что вам предстоит многому научиться, не стоит торопиться с развитием этих навыков. Играйте в долгосрочную игру и используйте возможности для приобретения новых навыков.

Следующие шаги: Посмотрите на YouTube несколько учебных пособий по архитектуре данных или прочитайте основы создания диаграммы архитектуры данных (один из примеров специализированной темы).

2. Приобретите соответствующий опыт

Хотя никто не мешает вам сделать карьеру архитектора данных, в реальности вам потребуется несколько лет опыта работы на более младших должностях в области анализа данных. По мере продвижения по карьерной лестнице активно ищите вакансии, которые позволят отточить имеющиеся у вас навыки и помогут усовершенствовать новые (например, машинное обучение или облачные вычисления).

В целом, знакомство с различными типами архитектуры данных и их использованием в различных контекстах расширит ваш набор навыков и поможет понять, на чем вы хотите специализироваться.

Следующие шаги: Просмотрите вакансии на таких сайтах, как datajobs.com, aijobs.net и analyticsjobs.co.uk. Кроме того, просмотрите страницы карьерных вакансий организаций, ориентированных на технологический сектор, в вашем регионе.

3. Научитесь руководить

Если анализ данных – это роль, в которой часто легко работать в одиночку, то с архитектурой данных дело обстоит иначе. Архитектура данных – это не только технические навыки, но и умение руководить и управлять командой профессионалов. Это означает умение ставить цели, управлять сроками и делегировать задачи.

Вы должны уметь доносить свои идеи до коллег и эффективно выслушивать их. Все это – жизненно важные лидерские качества. Опять же, вы не сможете овладеть ими в одночасье, но вы можете начать совершенствовать их по мере продвижения по карьерной лестнице.

Действуйте: Начните с изучения некоторых программ по лидерству. На начальном этапе вам будет достаточно бесплатного учебного курса. Если вы заплатите за более углубленную программу, обратите внимание на такие темы, как общение, коучинг, подотчетность, переговоры и управление изменениями.

4. Получить квалификацию

Возможно, у вас уже есть сертификаты по анализу данных. Если это так, то отлично! Это отличный способ продемонстрировать работодателям свои знания и опыт. Однако по мере продвижения вы можете обнаружить, что вам полезно добавить в свой список дополнительные сертификаты, углубляясь в конкретные темы, относящиеся к архитектуре данных, такие как хранилище данных или проектирование баз данных.

Если вы полны энтузиазма, еще один способ выделиться из толпы – получить официальную степень магистра в такой области, как наука о данных. Хотя вам не нужно сразу же прибегать к такому подходу, помните, что для некоторых должностей, связанных с архитектурой данных, наличие квалификации более высокого уровня является обязательным условием при приеме на работу. Это не всегда так, но это стоит иметь в виду.

Следующие шаги: Изучите этот глобальный список магистерских степеней, связанных с данными. Хотя вам не нужно подавать документы на одну из них прямо сейчас, никогда не помешает посмотреть, что там есть! Если нет ничего другого, ознакомьтесь с учебными планами этих программ, чтобы найти темы, которые вы, возможно, захотите изучить в свободное время.

5. Общайтесь и налаживайте связи

Несмотря на востребованность этой роли, архитектура данных по-прежнему является высококонкурентной дисциплиной. Сетевое взаимодействие – это жизненно важный способ налаживания отношений с другими профессионалами, работающими в этой области.

К счастью, это один из тех шагов, которые вы можете начать немедленно, независимо от вашего текущего уровня квалификации. Общайтесь с существующими коллегами, посещайте отраслевые мероприятия и конференции или присоединяйтесь к онлайн-группам и форумам, чтобы познакомиться с энтузиастами и старшими экспертами. Вы можете удивиться тому, как много бесплатных советов и поддержки готовы предоставить люди.

Следующие шаги: Вы еще не готовы посещать конференции в реальном мире? Изучите онлайн-практикумы и семинары на таких сайтах, как Eventbrite, или посмотрите на сайте Meetups, где можно найти малозаметные мероприятия для общения архитекторов данных в вашем регионе.

6. Будьте в курсе событий

Наконец, держите руку на пульсе! Область науки о данных постоянно развивается и расширяется. Необходимо быть в курсе последних тенденций, технологий и новых методов, связанных с архитектурой и проектированием данных.

Возьмите за привычку читать отраслевые издания, посещать семинары, слушать подкасты и общаться с другими профессионалами в этой области. Если вы начнете делать это сейчас, это станет органичной частью вашего постоянного развития.

Следующие шаги: Начните с прослушивания подкаста The Hard Parts of Data Architecture или найдите другой, который соответствует вашим потребностям.

Существует удивительное количество ресурсов! Следуя этим шагам и со временем создавая портфолио своих работ, вы постепенно приобретете навыки и опыт, необходимые для того, чтобы стать успешным архитектором данных. Отсюда нам остается только пожелать вам удачи!

Резюме

Итак, перед вами исчерпывающее руководство по карьере архитектора данных!

В этой статье мы узнали следующее:

1. Архитекторы данных отвечают за проектирование систем и процессов для сбора, хранения и эффективного использования данных.
2. Роль архитектора данных весьма разнообразна. По мере развития использования данных в бизнесе появляется множество нишевых ролей в области архитектуры данных.
3. Архитекторы данных могут зарабатывать большие деньги; к числу наиболее высокооплачиваемых стран относятся Швейцария, США, Австралия, Германия и Канада.
4. Чтобы стать архитектором данных, вам необходимо развить свои технические и аналитические навыки, приобрести соответствующий опыт, научиться руководить, наладить связи с другими профессионалами, быть в курсе последних тенденций и рассмотреть возможность получения квалификации более высокого уровня.