Data Governance – что это и зачем нужен

Успех компании во многом зависит от того, как эта компания управляет данными, к ней поступающими. Если компания вообще не управляет информацией, то в лучшем случае она будет отставать от конкурентов, в худшем кто-то украдет данные пользователей, и репутация компании может рухнуть – а там недалеко и до банкротства. Когда управление данными стало большим и сложным вопросом, бизнес нашел выход в виде фреймворков управления данными, и Data Governance – самый популярный из них.

Что такое Data Governance

Data Governance – это фреймворк управления данными. Можно сравнить его со Scrum – и там, и там есть подходы, инструменты управления и роли, которые должны эти подходы/инструменты использовать.

Основная идея Data Governance – в том, что информации в компанию поступает много, и не вся эта информация нужна для успешного развития бизнеса, поэтому нужна стратегия управления, отсекающая бесполезную информацию и максимизирующая выгоду от информации полезной. И то, и другое по итогу увеличивает прибыль бизнеса.

Методология Data Governance стоит на 4 «столпах»:

1. Качество данных. На Data Quality обычно фокусируются больше всего, потому что качество информации напрямую связано с его пользой – то есть деньгами, которые информация приносит. Идеальная информация должна быть точной, полной и релевантной – для того, чтобы этого добиться, компании разрабатывают стандарты качества информации.
2. Приватность и защищенность. Внедрение Data Governance не обходится без ужесточения мер хранения информации – вы не хотите, чтобы она попала в руки конкурентов или мошенников.
3. Master Data Management. Дата-менеджмент должен быть централизованным и управляемым, для чего используются специальные инструменты и назначаются специальные роли.
4. Фреймворк и правила. Создавать Data Governance нужно согласно фреймворку, для каждого движения информации должны быть созданы четкие и прозрачные правила.

А зачем все это нужно? Внедрение инструментов и методологии в целом позволит бизнесу получить следующее:

• Более качественная аналитика. Логично, что если вы получаете более полезную информацию высокого качества – то и качество вашей аналитики улучшается, что позволяет принимать более выгодные бизнес-решения.
• Проще ставить цели. Чем больше конкретной информации у вас на руках – тем проще поставить для бизнеса конкретную достижимую цель.
• Проще управлять сотрудниками. Четкие правила работы с информацией, как и четкие достижимые цели, делают менеджмент более простым и понятным для всех сторон.
• Проще защищать чувствительную информацию. Когда данными управляют централизованно, задача защиты персональных данных существенно упрощается, потому что упрощается поиск дыр в безопасности.

Особенно все эти преимущества важны для Big Data, где компаниям приходится работать с огромными объемами информации, и энтерпрайз-компаниям с высокими репутационными рисками – у них даже есть своя модификация фреймворка, Enterprise Data Governance.

Data Governance vs Data Management

На русский язык оба термина переводятся как «управление данными», поэтому их нередко путают. Внесем ясность: Data Governance – это стратегия управления данными, Data Management – это конкретные действия по управлению данными. Продумать политику ролей пользователей на сервере с информацией – это Data Governance, назначение конкретных ролей конкретным пользователям – Data Management.

Что необходимо для Data Governance

Как и любой фреймворк, Data Governance на этот вопрос отвечает широко – для внедрения Data Governance нужны:

• Люди. Фреймворк предполагает конкретные роли, которые мы разберем ниже.
• Процессы. Сюда входят: создание своей реализации фреймворка, набор команды, распределение ролей и ответственностей, создание общей полиси (линии поведения), определение стандартов качества данных, имплементация полиси и стандартов, сбор метрик для отслеживания качества работы фреймворка.
• Технологии. Обычно хватает одной платформы управления, с которой будет вестись централизованное внедрение и поддержка Data Governance.

Что касается ролей – в Data Governance присутствуют свои уникальные роли, реализовывающие и поддерживающие фреймворк:

• Data Custodians. Эти специалисты заняты двумя задачами: 1) обеспечить сбор данных; 2) обеспечить сохранность данных. С большего это – технические специалисты.
• Data Stewards. Стюарды следят за качеством данных и внедряют практики, повышающие это качество.
• Аналитики. Анализируют поступающие данные, переводят их в более human readable формат, делают презентации.
• Data Governance Leader и Compliance Specialists. Следят за имплементацией фреймворка в бизнесе.
• Chief Data Officer. Тот, кто управляет командой и отвечает за результат.
• Chief Privacy Officer. Главный ответственный за сохранность данных.
• Data Protection Officer. Еще одно лицо, ответственное за сохранность данных, этот офицер отвечает конкретно за сохранность данных по европейским стандартам.

Инструменты Data Governance

Централизованное управление данными проще всего организовать через одну из программ Data Governance. Их на рынке достаточно много, вкратце пройдемся по 5 основным:

• Axon Data Governance. Позволяет вести концептуальную и логическую модель данных, создавать объекты метаданных, назначать роли, выстраивать жизненный цикл данных, вести глоссарий терминов, создавать пересечения между логической и физической моделями данных.
• Egnyte. Инструмент для бизнеса любого размера – умеет гибко масштабироваться под любые нужды. Предлагает кучу инструментов по безопасности, автоматизации, управлению данными и интеграции со сторонними сервисами.
• SAP Master Data Governance. Основной фокус платформы – на централизации данных путем сбора их из разных источников. Есть готовые модели предоставления информации, при желании их можно тонко настроить.
• OvalEdge. Тоже платформа для сбора и централизации данных, в основном OvalEdge используют тогда, когда нужно собрать информацию из разношерстных баз данных. Есть инструменты сканирования и интеллектуальной каталогизации, платформа очень дружелюбна к новичкам.
• StealthAUDIT. Программа для аудита данных, основная сильная сторона – работа с неструктурированными данными из разных источников. Имеет ряд шаблонов для быстрого создания отчетности, любую форму при желании можно настроить «под себя».

Как внедрить Data Governance

Вкратце – долго и сложно. Data Governance – это фреймворк, который будет потреблять много ресурсов в краткосрочной перспективе, но существенно увеличит прибыль в долгосрочной. Обычно Data Governance реализуют поверх готовой и устоявшейся IT-архитектуры – ее, соответственно, сначала нужно создать. В рамках этой архитектуры сначала нужно обустроить производительную единую виртуальную область хранения данных – еще на стадии проектирования нужно продумать безопасность (сюда входит и вопрос о том, где будет храниться информация).

Когда инфраструктура подготовлена – можно создавать отдел специалистов, которые будут внедрять Data Governance. Специалисты начнут с анализа текущего процесса поступления и обработки данных (он есть у любой компании), когда анализ будет закончен – они разработают ряд решений, которые после внедрения улучшат текущие процессы. Важно, чтобы новые решения не конфликтовали с уже существующими – если конфликт неизбежен, то он должен быть решен по специальной процедуре исправления пайплайна обработки данных.

Когда пайплайны исправлены (и, если нужно, внедрена единая шина передачи данных внутри компании), специалисты выстраивают систему контроля качества данных – перед этим разрабатываются политики и стандарты, описывающие понятие качества. Теперь уже можно говорить про полноценный выстроенный фреймворк, осталось только его улучшать там, где это необходимо бизнесу – автоматизировать рутинные процессы, разрабатывать внутренние методологии, создавать методы верификации данных и так далее.

Частые ошибки и пути их решения

Выделяют 7 самых частых ошибок, мешающих построить фреймворк в бизнесе:

1. Нет четкого распределения ролей и/или лидера. Если команде поступают противоречивые указания и/или не совсем понятно, кто именно должен их выполнять – работа очень быстро стопорится.
2. Выстраиваемая модель оторвана от бизнес-задач. Если лидером команды по внедрению Data Governance становится перфекционист, команда может начать выполнять задачи, которые очень хороши на бумаге, но не приносят бизнесу никакой пользы.
3. Недостаточно прописаны стандарты качества данных. Нет качественных данных = нет пользы от Data Governance.
4. Игнорируются полиси защиты и безопасности данных. Рано или поздно такие данные утекут в руки не тех людей.
5. Не выстроен процесс обучения и повышения квалификации сотрудников. Data Governance – это молодая и развивающаяся область, поэтому сотрудники, выстраивающие фреймворк, должны постоянно повышать свой уровень знаний.
6. Бизнес не хочет адаптироваться. Несмотря на то, что один из основных принципов Data Governance – внедрение неконфликтных изменений, конфликты все же неизбежны, и если бизнес не будет меняться под новые стандарты – рано или поздно внедрение полностью остановится.
7. Не хватает технологий. В процессе внедрения фреймворка может оказаться, что технологий, ранее использовавшихся для управления данными, теперь недостаточно – если бизнес не адаптируется к новому запросу, дальнейшее внедрение фреймворка будет практически невозможным.

Что еще почитать и посмотреть по теме

Книги:

• «Data Governance: How to Design, Deploy, and Sustain an Effective Data Governance Program» by John Ladley.
• «The Data Governance Imperative: A Framework for Success» by Steve Sarsfield.
• «Managing Data in Motion: Data Integration Best Practice Techniques and Technologies» by April Reeve.
• «Data Governance Tools: Evaluation Criteria, Big Data Governance, and Alignment with Enterprise Data Management» by Sunil Soares.
• «Data Governance: Creating Value from Information Assets» by Neera Bhansali.

Неплохое вводное видео от IBM Technology:

Кратко о главном

• Data Governance – это фреймворк для управления данными, поступающими в компанию.
• Data Governance на длинной дистанции существенно повышает прибыль компании за счет улучшения качества данных, которое повышает качество аналитики, что, в свою очередь, повышает качество принимаемых решений.
• 4 основных элемента Data Governance: качество данных, приватность и защищенность, Master Data Management, полиси.
• Data Governance строится на инструментах, процессах и людях – фреймворк предполагает создание отдела управления данными со своими уникальными ролями.
• Data Governance в компании выстраивается медленно, для того, чтобы начать внедрять фреймворк, нужно сначала достаточно развить IT-инфраструктуру.
• Основные ошибки при внедрении – игнорирование базовых правил фреймворка, недостаточная база инструментов, недостаточно прописанные полиси и сопротивление изменениям со стороны бизнеса.