В современных экономических условиях ключевым элементом успеха любой компании становятся данные и то, как каждая компания способна управлять ими. Бизнес-решения, которые компании принимают сегодня, определяют их возможности пережить текущие непростые экономические условия и остаться на рынке. Но успех каждого из этих решений зависит от своевременных, целостных и точных данных.
Однако обеспечение такими данными – непростая задача. Данные обычно рассеяны по всей корпорации – в приложениях, базах данных, на персональных компьютерах в виде pdf-файлов, электронных таблиц и текстовых документов. Кроме того, часть данных может находиться и за пределами корпорации – в приложениях «облачных вычислений» у провайдеров программного обеспечения как услуги (software as a service, SaaS) и аутсорсинга бизнес-процессов, а также у торговых партнеров. Очевидно, успешное ведение бизнеса требует интеграции всего этого массива данных.
По мнению специалистов компании Informatica, известного независимого интегратора данных, традиционные подходы к интеграции данных уже не очень хорошо справляются с современными рассеянными массивами информации. Они плохо работают в нынешней сложной информационной среде и недостаточны для поддержки всех IT-проектов.
Чек-лист для описания требований к интеграции
Разрозненные точечные решения, соединяющие сотни (или даже тысячи) приложений просто разбивают операционные данные и заключают их в приложениях внутри отделов, таких как ERP и CRM. Подходы к интеграции данных на основе приложений не принимают во внимание все корпоративные данные. Интеграция данных с помощью ручного кодирования также неэффективна. Кроме того, традиционные подходы к интеграции данных не гарантируют, что все данные (о клиентах, об имуществе и активах компании, финансовые данные) будут полными, последовательными, точными и своевременными, независимо от места своего нахождения.
Новая экономическая реальность требует новых подходов к интеграции данных. Современный подход к интеграции данных должен обеспечивать:
- Интеграцию всех баз данных внутри корпорации, включая неструктурированные данные.
- Интеграцию данных за пределами корпорации – в приложениях и системах «облачных вычислений».
- Свободный обмен данными с торговыми партнерами.
- Качество всех данных.
- Управление жизненными циклами приложений с оптимальными затратами.
IT-отделы сейчас вынуждены искать способы увеличения доходов при одновременном сокращении затрат на поддержку своих продуктов. Есть три основных способа сделать это:
- Увеличить операционную эффективность.
- Эффективно использовать существующие технологические инвестиции.
- Сокращать стоимость разработки и внедрения, а также поддержки и функционирования программных продуктов.
Существует возможность сделать все это одновременно, используя платформы интеграции данных – полный набор технологий для доступа, поиска, очистки, интеграции и доставки данных в корпорации.
Как описывать требования к интеграции информационных систем? Ольга Пономарева
Преимущества интеграционных платформ
Современные ограниченные IT-бюджеты делают стоимость программного обеспечения (ПО) очень важным элементом. Индивидуальные подходы к интеграции, такие как ручное кодирование или точечные решения, могут показаться экономичными на первый взгляд, но их поддержка быстро оказывается дорогостоящей и отнимает много времени. Использование же платформы интеграции данных, напротив, существенно снижает количество времени и ресурсов, необходимых для разработки, поддержки и администрирования.
Организации все больше обращают внимание на управление данными. Поэтому сокращение многочисленных инструментов, разнообразных навыков, необходимых персоналу, и числа поставщиков становится необходимым элементом повышения производительности. Если для каждого проекта разрабатываются свои инструменты и методология, которые не используются в дальнейшем, то результаты такой работы часто оказываются слишком дорогостоящими, усложненными, избыточными и ненадежными. Платформа интеграции данных помогает IT-отделам работать более эффективно за счет увеличения производительности. Единая платформа интеграции данных позволяет бизнесу и IT-специалистам взаимодействовать более эффективно.
Имея платформу интеграции данных, IT-отделы могут продолжать использовать существовавшие ранее системы и приложения, избегая при этом затрат и рисков, связанных с разрушением старого и созданием на его месте нового. Кроме того, платформа интеграции данных позволяет IT-специалистам повторно использовать ресурсы в нескольких проектах, снижая таким образом затраты на поддержку ПО и на обучение сотрудников.
Требования к платформе интеграции данных
Платформа интеграции данных должна решать проблему фрагментации данных в рамках всей организации. Это необходимо для более быстрого принятия бизнес-решений, опирающихся на данные, и для более эффективного выполнения бизнес-операций. Такая платформа должна служить технологическим основанием компании, обеспечивая управляемый подход к интеграции данных. Аналитики Informatica считают: для того чтобы соответствовать этим требованиям, платформа интеграции данных должна быть всесторонней, унифицированной, открытой и рентабельной.
Всесторонний охват данных
Идеальная платформа интеграции данных должна иметь полный набор функциональных возможностей, позволяющих IT-отделу обеспечивать данные, которым бизнес может доверять, причем в нужное время и в нужном месте.
Платформа интеграции данных должна поддерживать все пять ключевых этапов цикла интеграции: доступ, поиск, очистка, интеграция и доставка. Кроме того, она должна также обеспечивать возможности аудита, управления и мониторинга данных. Еще одно необходимое требование к такой платформе – наличие инструментов для определения и разработки правил и процессов интеграции данных.
Платформа интеграции данных должна быть достаточно устойчивой, гибкой и масштабируемой, чтобы поддерживать интеграционные проекты любого типа, в т.ч. создание Хранилищ данных, миграцию данных, управление данными и архивацию, консолидацию данных, управление нормативно-справочной информацией, синхронизацию данных, обмен данными по типу «бизнес-бизнесу».
Наконец, платформа интеграции данных должна обеспечивать интеграцию как аналитических, так и операционных данных.
Еще одно немаловажное требование – способность платформы обеспечивать поддержку интеграции данных в любых временных рамках – в режиме реального времени, за определенный временной промежуток (месяц, неделя) или с меняющимся режимом выделения данных.
Идеальная платформа интеграции данных должна обеспечивать инструменты, специально разработанные для навыков и задач каждого сотрудника. Такие инструменты имеют согласованные интерфейсы, общее внешнее представление и интегрированы друг с другом. Платформа интеграции данных также должна обеспечивать общие метаданные.
Основа платформы интеграции данных – это единый сервер выполнения программ. Индивидуальные программные продукты, составляющие платформу, должны выполняться на едином сервере, что упрощает их внедрение, администрирование и поддержку.
Открытая, нейтральная платформа интеграции данных создана для работы с любыми средствами (ПО, технологические стандарты, технические средства) в нынешней IT-среде компании. Она также должна совмещаться с любыми программными продуктами, которые могут быть добавлены в будущем. Это включает не только различные приложения и источники данных внутри корпорации, но и средства «облачных вычислений», а также продукты бизнес-партнеров. Таким образом, открытая платформа может защитить компанию от рисков, связанных с зависимостью от поставщиков.
Платформа интеграции данных должна быть способна работать с любыми типами или форматами данных, в т.ч. структурированными и неструктурированными данными. Кроме того, такая платформа должна иметь доступ к данным, находящимся за пределами компании. Это могут быть данные, поступающие от различных бизнес-подразделений и распределенные по различным географическим пунктам или странам.
Платформа интеграции данных должна поддерживать все современные технологические стандарты, от операционных систем до баз данных.
Рентабельной можно назвать такую платформу, которая обеспечивает минимально возможную совокупную стоимость владения и одновременно самую быструю и высокую окупаемость инвестиций. Эти факторы особенно важны в современном сложном экономическом климате, когда каждая технологическая инвестиция оценивается с точки зрения того, сможет ли она помочь IT-отделу и бизнесу сократить затраты, повысить эффективность работы и обеспечить быструю отдачу.
Платформа интеграции данных и бизнес
По мнению специалистов компании Informatica, современная платформа интеграции данных может существенно помочь бизнесу в достижении основных целей.
- Сокращение расходов на выполнение регуляторных обязательств. Для выполнения требований по обязательной отчетности в соответствии со все возрастающим числом сложных правительственных и отраслевых регулирующих документов бизнесу требуется доступ к полным и точным данным в режиме реального времени. Платформа интеграции данных обеспечивает надежный аудиторский след, показывающий, откуда появились данные, что они означают и как они менялись со временем. Эта информация способствует снижению затрат на подготовку отчетности.
- Снижение рисков и управление ими. Обеспечивая полную и точную картину рисков, платформа интеграции данных способна помочь бизнесу снижать свои риски и лучше управлять ими.
- Обеспечение успешных слияний и поглощений. Обычно большинство сделок слияний и поглощений начинают приносить доход через 1-1.5 года. Информационные технологии играют немаловажную роль в достижении успеха при слиянии компаний. IT-отделы должны обеспечить консолидацию многочисленных систем и перемещение данных внутри них таким образом, чтобы подобные сделки окупались как можно быстрее. В выполнении этой непростой задачи платформа интеграции данных может оказать неоценимую помощь. Как показывает практика, другие способы консолидации систем и перемещения данных оказываются менее успешными.
- Создание целостного представления клиентской базы. Платформа интеграции данных обеспечивает высокопродуктивный и рентабельный способ получения единого, согласованного и точного представления данных о потребителях. Это целостное представление основывается на данных различного типа, получаемых из различных источников и мест за любые промежутки времени.
- Обеспечение разумных инвестиций в новые технологии модернизации бизнеса. В современных условиях все шире используются приложения, работающие по принципу «программное обеспечение как услуга» (SaaS) или «вычисления в облаке». Они обеспечивают более быструю окупаемость и снижение расходов на их поддержку. Но при этом очень важной становится проблема обеспечения контроля и доступа к данным, находящимся в «облаке». Платформа интеграции обеспечивает интеграцию и доставку своевременных надежных данных всем корпоративным подразделениям, в том числе и за пределами корпоративной сетевой защиты. Это помогает IT-отделам пользоваться всеми преимуществами новых технологий «облачных вычислений» без потери контроля над своими данными.
На этапе выхода из кризиса интеграция данных становится еще актуальней
По данным английской аналитической компании Telesperience, основными факторами, побуждающими организации заняться интеграцией данных, являются стремление улучшить качество обслуживания клиентов (64% опрошенных) и снизить затраты (55%). При этом 46% участников исследования утверждали, что их нынешние инструменты интеграции не могут в полной мере справиться с текущими задачами интеграции данных. Слабая интеграция данных ведет к увеличению прямых затрат. Почти половина опрошенных (46%) заявила, что недостаточная интеграция данных мешает им воспользоваться новыми коммерческими возможностями.
Сходные тенденции выявило и исследование Thomson Reuters и Lepus. По их данным, 77% участников исследования (а это более 100 крупнейших торговых компаний) намерены увеличить расходы на проекты, связанные с качеством и согласованностью данных. Большинство опрошенных (87%) заявили, что улучшение ситуации с согласованностью данных и их использованием в процессах управления рисками является приоритетом. Около половины респондентов указали, что улучшение ситуации с четкостью и прозрачностью данных очень актуально в связи с выполнением регулятивных требований.
Аналитики компании Gartner считают, что рационализация инструментов интеграции данных может сэкономить организациям ежегодно более 500 тысяч долларов. Напротив, внедрение многочисленных и функционально перекрывающихся инструментов интеграции повышает расходы компаний за счет дополнительных лицензий на ПО, его поддержки и обучения сотрудников. Такие дополнительные расходы могут ежегодно составлять до 250 тысяч долларов на каждый инструмент.
Эксперты считают, что успешно преодолеть периоды замедления в экономике смогут те компании, которые способны быстро реагировать на происходящие перемены. Такие компании оперативно предпринимают необходимые действия и успевают воспользоваться теми преимуществами, которые возникают в конкурентной среде, на рынках и в экономике в целом. Для того чтобы осуществлять все вышеперечисленное, этим компаниям требуются качественные и своевременные данные. Обеспечение необходимыми данными – забота IT-отделов, и здесь целостная, унифицированная, открытая, рентабельная платформа интеграции данных может оказать неоценимую помощь.
Публикации
- Сила платформы. Как платформа интеграции данных способна помочь IT-отделам снизить расходы, повысить эффективность и увеличить прибыль бизнеса (The Power of the Platform. How a Data Integration Platform Can Help IT Organizations Lower Costs, Improve Efficiency, and Deliver Greater Value to the Business). Informatica, май 2009 г.
- Как защитить бизнес во время рецессии. Пять способов для IT-отделов помочь компаниям пережить экономические трудности (Recession-Proof the Business. The Top Five Ways IT Organizations Can Help Companies Survive a Tough Economy). Informatica, февраль 2009 г.
- Использование интеграции данных для снижения затрат и увеличения прибылей в отраслях с большим количеством транзакций (Using data integration to drive down costs and increase profits in high transaction industries). Telesperience, январь 2010 г.
- По оценке Gartner, организации могут сэкономить более 500 тысяч долларов ежегодно за счет рационализации инструментов интеграции данных (Gartner Says Organisations Can Save More Than $500,000 Per Year by Rationalising Data Integration Tools). Апрель 2009 г.
- Исследование компании Thomson Reuters и Lepus показывает, что качество и согласованность данных – ключ к управлению рисками и прозрачности (Thomson Reuters and Lepus Survey Reveals Data Quality and Consistency Key to Risk Management and Transparency). Март 2010 г.
Источник: iso.ru
Описание требований к интеграции (часть 2). API
В этой статье, я и мои коллеги хотим поделиться опытом по интеграции систем используя API.
Как и в предыдущей статье, стоит сразу сказать, что описание требований к интеграции систем — стандартная задача для системного или бизнес-аналитика. Но вы можете столкнуться со сложностями, если раньше не решали ее.
API — это программный интерфейс системы, который позволяет любой другой заинтересованной системе получить доступ к данным или бизнес-функциям этой системы.
Для начала разберемся в простой ситуации, когда необходимо интегрироваться с уже существующим API, предоставляемым сторонней системой.
Предположим, вам необходимо повысить уровень безопасности вашего приложения путем внедрения двухфакторной аутентификации в системе. На этапе стратегического анализа, учитывая множество факторов, заинтересованные лица приняли решение, что вторым типом аутентификационных данных будет являться числовой код, передаваемый в личном сообщении через Viber.
Стоит отметить, что это одна из многих задач, которую можно решить путем интеграции систем с использованием API, но данный пример считаю простым и достаточным для понимания принципов интеграции систем с помощью API.
Итак, с чего стоит начать решение данной задачи. В первую очередь необходимо разобраться в наборе функциональных возможностей и логике их работы предоставляемой API. Для этого необходимо запросить документацию API, которая может быть представлена в разном виде: свободное описание на сайте компании, swagger схема, Postman коллекция и т.д., но должна содержать следующую информацию: способ аутентификации и авторизации, набор конечных точек с описанием формата запроса и ответа, описание зависимостей между методами, а также перечень возможных ошибок при работе с API. В нашем случае мы можем найти всю необходимую информацию в публичном доступе на сайте компании.
Давайте разберемся что же все это значит на конкретном примере.
Аутентификация – проверка пользователя на наличие доступа в систему. В нашем случае используется токен — уникальный идентификатор пользователя, сгенерированный в момент создания пользователя и чаще всего неизменный на протяжении всего жизненного цикла пользователя. Изменение токена пользователя приведет к потере доступа к API и необходимости его обновления в нашей системе для возобновления доступа.
Авторизация — проверка пользователя на наличие доступа к определённому действию. В нашем случае в зависимости от настроек доступа в приложении пользователя, которому необходимо отправить сообщение, для нашей системы может быть ограничен доступ к получению персональных данных. Выявление и анализ прав доступа необходимы для валидации требований к нашей системе в будущем.
Набор конечных точек. Перечень функциональных возможностей API, реализованный набором действий разных типов: получить, создать, изменить, удалить и т.д.
Получить(GET) – для получения данных об аккаунте нашего пользователя мы можем использовать GET метод get_account_info .
Создать(POST) – для отправки сообщения пользователю мы можем использовать POST метод send_message.
Изменить(PUT) – используется для редактирования существующего объекта.
Удалить(DELETE) – используется для удаления существующего объекта.
В описании конечной точки, помимо типа действия, указывается путь, по которому эта конечная точка доступна, формат тела запроса и ответа, а также набор входящих и исходящих параметров.
Путь конечной точки – это URL, по которому доступен метод.
Формат тела запроса. Чаще всего в АПИ используются JSON и XML, подробнее о разнице между ними можно почитать здесь. В нашем примере используется JSON.
Набор входящих и исходящий параметров – это набор данных необходимый для выполнения метода и возвращаемых в результате работы метода.
Последовательность вызовов конечных точек. Так как АПИ — это набор простых действий, при работе с конечными точками необходимо понимать, в какой последовательности их необходимо вызывать. Например, для отправки сообщения пользователю необходимо чтобы пользователь предварительно подписался на наш Viber аккаунт. При нарушении последовательности вызовов конечных точек ответ будет содержать описание и код ошибки. Понимание данных зависимостей необходимо для моделирования процессов взаимодействия вашей системы с API.
После детального изучения логики работы API можно приступать к моделированию процессов взаимодействия систем. Для моделирования можем использовать диаграмму последовательностей UML, на которой необходимо отобразить все взаимодействующие системы или компоненты и смоделировать весь бизнес-процесс в разрезе обмена сообщениями. Принципиально не нужно выделять на диаграмме процессы и подпроцессы, сейчас нет задачи их декомпозировать. Наша задача — смоделировать все возможные потоки данных и определить перечень систем и/или компонентов, необходимых для предоставления необходимых данных или доступа к бизнес-логике. Например, рассмотрим процесс первого входа пользователя в систему:
При моделировании процесса необходимо учитывать, что на выполнения запросов и обработку результатов будет затрачено какое-то время, что может привести к невозможности выполнить последующий запрос, подробнее о race conditions можно почитать здесь.
После моделирования всех процессов, необходимо составить таблицу соответствия параметров используемых в интеграции. Т.к. интегрирующиеся системы чаще всего создаются разными командами или организациями для решения различных задач, то одинаковые по своей природе сущности реализовываются разными объектными моделями, учитывающими бизнес-задачу и контекст системы: и в нашей системе, и в Viber конечный пользователь один и тот же, но для реализации его в системе необходим разный набор параметров. Для сопоставления параметров можно использовать следующую таблицу:
Название параметров позволит выявить недостающие данные, определить источник заполнения запроса и способ хранения информации, полученной в ответе.
Формат данных позволит выявить несоответствия форматов параметров в интегрирующихся системам и связанные с этим возможные проблемы при конвертации форматов либо потере данных из-за ограничения длинны строки.
Пример данных необходим для валидации соответствия реальных данных заданному формату. При заполнении необходимо использовать крайние значения данных: самую длинную строку, даты или целочисленные значения, хранящиеся в формате строки и т.д.. В результате анализа данных с продакшена могут появиться дополнительные требования к данным в вашей системе, что в свою очередь приведет к дополнительным трудозатратам.
Проверка обязательности заполнения параметра на уровне системы позволит провалидировать возможность заполнения всех обязательных в запросе полей и возможность сохранения данных из ответа с учетом обязательных полей в нашей системе.
Логика заполнения позволит явно определить способ обработки данных при наличии какого-либо несоответствия в системах, либо наличии сложной логики заполнения в одной из систем. Например, в вашей системе у одного пользователя может быть более одного телефонного номера, но только один из них помечен как «верифицирован в Viber».
На данном этапе, мы уже понимаем как и какие данные необходимо обрабатывать в процессе интеграции систем для достижения поставленной цели. Но в работе системы могут возникать ошибки, которые нужно научиться корректно обрабатывать. Если вы интегрируетесь с уже готовым API, то в спецификации должен быть определён перечень кодов и описание ошибок возможных при нарушении правил пользования АПИ. В нашем примере такой список уже есть, поэтому мы определяем какие ошибки потенциально могут быть воспроизведены пользовательскими действиями и описываем логику обработки дынных ошибок нашей системой. Также ошибки могут воспроизводиться из-за большого количества запросов, поэтому необходимо составить прогноз количества запросов в единицу времени для каждой конечной точки на весь жизненный цикл вашей системы.
После определения зачем и как будет работать будущая интеграция необходимо задуматься о том, как после реализации мы будем выполнять отладку, оценивать и анализировать работу интеграции. Для решения этих задач можно использовать журналирование вызовов конечных точек, с сохранением URL, тела запроса, тела ответа и даты и времени вызова.
Описанные выше артефакты считаю достаточными для начала создания технического дизайна интеграции техническими специалистами вашей команды.
В следующей части статьи мы рассмотрим задачу проектирования API.
Тренинги от «Art of Business Analysis»:
Онлайн:
Оффлайн:
Источник: www.uml2.ru
Современная интеграция данных — Топ 10 новых требований — Преимущества принципы
В наши дни бизнес сталкивается с огромной конкуренцией в связи с развитием технологий Организации должны иметь возможность использовать информацию и создавать новые знания, чтобы вести свой бизнес. Инновации в технологии и взаимосвязанности вещей ежедневно генерируют огромное количество данных. Интеграция данных помогает перемещать данные из источника в цель. Теперь мы обсудим концепцию современной интеграции данных.
Многие организации используют талант интеграции данных для создания ценности для своего бизнеса. Интеграция данных становится более важной, когда две компании объединяются или когда консолидируются приложения внутри компании, чтобы получить представление об активах данных компании.
Приложения для интеграции данных не работают просто. Им нужны коды, чтобы сделать процесс. Возникнет много проблем, связанных с его обслуживанием, документацией и переносом.
Области интеграции данных
Интеграция данных — это термин, который охватывает множество различных областей, таких как
- Хранилище данных
- Перенос данных
- Корпоративное приложение
- Управление основными данными
Процесс интеграции данных
В интеграции данных есть три этапа
1. Дизайн
В этом процессе должны участвовать все отделы компании. В этом процессе вы должны задать себе несколько вопросов.
- Каковы цели интеграции данных?
- Каковы источники, из которых могут быть получены данные?
- Достаточно ли доступных данных для удовлетворения требований?
- Идет ли интеграция данных с бизнес-правилами?
- Что такое поддержка, модель?
- Каковы требования SLA?
- Как можно извлечь данные из источников?
- Какое качество данных?
- Есть ли необходимость в других нефункциональных требованиях, таких как необходимость обработки данных, политика безопасности, политика резервного копирования и другие?
- Кто будет владельцем системы и какова будет общая сумма расходов?
Ответы на все вышеупомянутые вопросы должны быть задокументированы и подписаны всеми участниками, которые вовлечены в проект интеграции данных.
2. Реализация
На основе анализа требований и документа SRS проводится подробное исследование для выбора соответствующих инструментов для внедрения системы интеграции данных. На рынке доступно множество инструментов, и выбор лучшего инструмента для вашего бизнеса является самой сложной задачей. Компании, которые плохо знакомы с интеграцией данных, должны внедрить новый инструмент, а компании, которые уже использовали или используют такие проекты, могут просто расширить свою существующую систему. Выбор лучшего инструмента, который соответствует потребностям вашего бизнеса, будет более эффективным и поможет дальнейшему росту и расширению бизнеса.
3. Тестирование
Тестирование является важной фазой данных. Надлежащее тестирование необходимо, чтобы убедиться, что унифицированные данные являются полными и правильными. ИТ-отдел и весь бизнес должны принять участие в процессе тестирования. Различные методы тестирования, которые можно использовать, — это Стресс-тест производительности (PST), Техническое приемочное тестирование (TAT) и Пользовательское приемочное тестирование (UAT) PST, TAT (Техническое приемочное тестирование), UAT (Пользовательское приемочное тестирование).
Методы интеграции данных
Существует несколько методов интеграции данных, выполняемых компаниями.
- Ручная интеграция или общий пользовательский интерфейс — предоставляет пользователям доступ ко всем исходным системам или интерфейсу веб-страницы.
- Интеграция на основе приложений — используется только в случае ограниченного числа приложений.
- Middleware Data Integration — помогает перенести логику из одного приложения на новый уровень промежуточного программного обеспечения.
- Унифицированный доступ к данным или виртуальная интеграция — определяет набор представлений для предоставления пользователям доступа к унифицированному представлению данных.
- Общее хранилище данных или физическая интеграция данных — имеет копию данных из источника и хранит и управляет ими независимо в исходной системе
Продукты интеграции данных
В первую очередь есть три продукта интеграции данных
- Извлечение, преобразование и загрузка (ETL) — эти продукты помогают перемещать огромное количество данных, что также обеспечивает надежные преобразования
- Продукты для интеграции корпоративных приложений (EAI или EII) — эти продукты помогают перемещать меньшие объемы данных с разными частотами
- Enterprise Data Replication (EDR) — эти продукты предоставляют информацию о наборах данных и о том, когда они должны быть изменены или модифицированы.