В 1970 году Джоржд Акерлоф опубликовал свою научную работу Рынок «лимонов»: неопределенность качества и рыночный механизм (англ. The Market for 'Lemons': Quality Uncertainty and the Market Mechanism), где проанализировал рыночные последствия ситуации, в которой продавец знает о качестве продукта больше, чем покупатель. Развитие этой темы привело к тому, что в 2001 году Акерлоф, Майкл Спенс и Джозеф Стиглиц получили Нобелевскую премию по экономике за анализ рынков с асимметрично доступной информацией.
К сожалению, рынок решений по нормализации качества данных имеет все предпосылки к тому, чтобы стать таким lemon market. Покупатели не удовлетворены качеством нормативно-справочной информации в своих учетных и управленческих системах, но не слишком хорошо понимают, как должно выглядеть решение, которое действительно поможет решить проблему, а не замаскирует ее или и вовсе окажется бесполезным. Специальных общедоступных образовательных курсов на тему качества данных в России не существует, а та информация, которую можно найти в интернете или у немногих провайдеров подобных решений, в основном сводится к текстам стандартов серии ИСО 8000 и подобных им ГОСТов или других нормативных документов, или к описаниям функциональности предлагаемых решений. Игроки рынка же, напротив, очень хорошо осведомлены о том, как и почему их продукт помогает решить многие проблемы, но не торопятся доносить эту информацию до потенциальных заказчиков – открытых материалов о том, как качество данных влияет на различные аспекты деятельности компаний, не очень много, и в основном они написаны на языке, не привлекающем внимания заинтересованных лиц.
Ответственность за качество данных внутри компаний обычно возлагается или на тех, кто больше всего страдает от некачественных данных, или на ИТ-специалистов по формальному признаку – ведь мастер-данные обычно создаются внутри существующих систем, и поэтому любые проблемы с ними приравниваются к недостаточной функциональности этих систем. В итоге разнообразные специалисты из подразделений ИТ, закупок, бизнес-аналитики, ТОРО оказываются один на один с проблемой, не очень представляя себе возможные пути выхода из критической ситуации.
Непонимание того, как выглядит путь от имеющегося к желаемому положению дел и какие факторы определяют успех мероприятия в целом, дает огромный простор большому количеству непрофессионалов – компаний и консультантов, которые будут долго и наукообразно комментировать вашу ситуацию и пообещают светлое будущее после того, как вы подпишете с ними контракт. Выглядят они как волшебники, которые выгрузят ваши данные из имеющихся систем и через какое-то время вернут на место в лучшем виде, решив попутно все те проблемы, о которых к этому моменту вы успели рассказать. Им, конечно, хочется верить, потому что вся та сложная лексика, которой они засыплют вас на встречах, создаст у вас ощущение невероятной сложности процесса. Однако сохранение этой ауры магии и доступного лишь для избранных знания крайне негативно сказывается на рынке решений по управлению качеством данных и на качестве отдельных реализованных проектов. Иногда компании платят неоправданно много за мнимую «экспертность» и не получают желаемого. В то же время другие компании, собрав информацию о таких неудачных проектах, не готовы адекватно платить за эффективные решения, закладывая в цену свои реальные и воображаемые риски. Выходом из такого положения, согласно мнению упомянутых нобелевских лауреатов, является просвещение рынка – предоставление понятной и конструктивной информации, которая позволит сформировать адекватные ожидания к проектам управления качеством данных и дать применимые критерии оценки качества таких проектов. Именно это является главной целью этого блога – тем более, что мы точно знаем, что профессионально осуществленные проекты отлично и долгосрочно работают на благо компаний, очень быстро окупаются и поэтому могут рассматриваться как одна из самых удачных инвестиций компании в повышение эффективности бизнеса.
Основные вопросы, которые нужно обсуждать с подрядчиками, группируются вокруг нескольких основных тем. Сейчас мы лишь перечислим эти темы, а в следующих публикациях подробно остановимся на том, почему эти темы важны и что именно нужно выяснить, чтобы выбрать подрядчика, который наилучшим образом соответствует вашей потребности и сможет справиться с вашим проектом.
Итак, ваш check-list:
- 1) Общее понимание вопросов качества данных
- 2) Правила и внутренние стандарты, регламентирующие процесс нормализации и дальнейшее управление данными
- 3) Онтология (шаблоны описания)
- 4) Генерация описаний
- 5) Специальные программные продукты
- 6) Варианты развития событий по окончании проекта нормализации