Общее описание функциональности «1С:MDM Управление мастер-данными КОРП»

Конфигурация «1С:MDM Управление мастер-данными КОРП» предназначена для управления, хранения, актуализации и унификации справочной информации, что обеспечивается единством представления массивов данных во всех информационных системах организации. Система ориентирована на управление корпоративными мастер-данными крупных предприятий и холдинговых структур.

Система «1С:MDM Управление мастер-данными КОРП» используется для централизованного ведения справочников организации и позволяет объединить в себе все справочники организации, как единственный достоверный источник эталонных данных.

Система представляет собой совокупность процессов и инструментов управления мастер-данными в организации.

Объектами Системы являются справочники, настроенные в подсистеме Конфигурирования объектов мастер-данных.

Основными объектами мастер-данных являются:

• Контрагенты,
• Банковские счета контрагентов,
• Договоры контрагентов,
• Номенклатура,
• Организации,
• Банковские счета организаций.

В системе доступна настройка и ведение сопутствующих (дополнительных) и пользовательских справочников. Последние создаются в любом количестве под нужды организации.

Дополнительными объектами мастер-данных являются:

• Валюты,
• Виды договоров,
• ОКОПФ,
• Группы аналитического учета,
• Единицы измерения,
• Марки,
• Модификации номенклатуры,
• НТД,
• ОКПД2,
• ОКТМО,
• Производители,
• ТНВЭД,
• ОКАТО,
• ОКФС,
• Классификатор банков,
• ОКВЭД2,
• Страны мира.

Объекты мастер-данных могут быть представлены в линейном и в иерархическом виде в зависимости от настроек объекта мастер-данных.

Программное решение состоит из следующих основных компонентов:

• Подсистема конфигурирования объектов мастер-данных.

Предназначена для управления архитектурой объектов мастер-данных. В том числе: структурой объектов мастер-данных, классификаторов, их атрибутивным составом и структурой правил их нормализации.

• Подсистема отображения данных.

Предназначена для навигации, поиска и отображения данных. В том числе: параметрического, полнотекстового поиска, поиска по классификаторам.

• Подсистема управления процессами.

Предназначена для управления процессами поддержания актуальности записей объектов мастер-данных. В том числе: маршрутами движения, экранными формами и временными метриками заявок.

• Подсистема нормализации и контроля качества данных.

Предназначена для ручной и автоматической нормализации записей объектов мастер-данных. В том числе для: классификации, валидации, обогащения записей объектов мастер-данных, поиска и связывания дублей.

• Подсистема интеграции.

Предназначена для учета взаимосвязей записей объектов мастер-данных с записями прикладных информационных систем, а также для управления процессами выгрузки/загрузки данных из различных источников, репликацией данных в системы — потребители.

• Подсистема администрирования.

Предназначена для управления ролевой моделью и конфигурирования свойств системы. В том числе: управления доступом на уровне групп пользователей, справочников, контроля активности пользователей и функционирования системы.

• Прикладной программный интерфейс.

Позволяет использовать систему как элемент сервис-ориентированной архитектуры. В том числе: осуществлять поиск и добавление записей объектов мастер-данных, создание процессов путем вызова веб-сервисов.

Настройка модели данных и общих механизмов

Система «1С:MDM КОРП» позволяет настраивать объекты мастер-данных в пользовательском режиме. Для ведения записей объектов мастер-данных в различных разрезах есть возможность указания произвольного количества классификаторов, для каждого из которых настраиваются:

• Обязательность заполнения.
• Множественность (выбор нескольких классов одного классификатора).
• Ограничение выбора только терминальных классов (нижнего уровня).
• Применение атрибутов классов.
• Применение правил классов.

Для обеспечения структуры объектов мастер-данных система позволяет:

• Создавать произвольные объекты мастер-данных в пользовательском режиме. Для этого предназначены объекты мастер-данных с типом «Пользовательские данные». Пользовательские данные разбиты по доменам, что обеспечивает быстродействие при их использовании и интерфейсное распределение по подсистемам.
• Добавлять произвольный набор атрибутов. Данные атрибуты отображаются и доступны для заполнения на форме элемента записей объектов мастер-данных.
• Настроить произвольный перечень реквизитов, для которых предусмотрено ведение истории изменений значений, с указанием даты начала действия.
• Настроить произвольный набор правил, которые будут применяться к записям при их создании и изменении. Это позволяет обеспечить верификацию данных.
• Контролировать уникальность записей путем применения правил поиска дублей как к записям объектов мастер-данных, так и к заявкам. Для каждого объекта мастер-данных в системе реализованы преднастроенные правила поиска дублей с возможностью их изменения в пользовательском режиме.

Дополнительно в системе предусмотрен функционал выделения изменений и подсветки символов как в записях объектов мастер-данных, так и в заявках. Выделение изменений позволяет пользователю увидеть измененные поля, посмотреть исходное значение, а также вернуться к нему при необходимости. Подсветка символов позволяет обнаружить вкрапления некорректных символов в строковых полях.

Особенности модели данных

В системе «1С:MDM КОРП» преднастроена модель данных по следующим доменам мастер-данных:

• «Номенклатура».
• «Контрагенты».
• «Предприятие».

Для обеспечения высокого качества данных для объектов мастер-данных реализован набор преднастроенных алгоритмов контроля вводимых значений (более 50 проверок), а также условная видимость и обязательность полей. Данные настройки выполнены на форме записи объекта мастер-данных и форме задач процессов.

Для управления объектами мастер-данных домена «Номенклатура» система позволяет:

• Формировать модификации номенклатуры (аналог характеристик номенклатуры в 1С:ERP). Модификации могут быть как индивидуальные, так и общие.
• Вести перечень аналогов номенклатуры с односторонней и полной взаимозаменяемостью.

Для группировки записей объектов мастер-данных в системе реализован функционал ярлыков. Он позволяет пользователям помечать произвольный набор записей объектов мастер-данных (например, договоры, по которым они являются ответственными) для более быстрого отбора на формах списков.

Классификация записей

Для ведения записей объектов мастер-данных в различных разрезах в системе предусмотрена возможность создания произвольного набора классификаторов. Для классификаторов может быть настроено наследование атрибутов, а также ограничение глубины иерархии. Для классификаторов объекта мастер-данных «Номенклатура» доступны классификаторы с использованием шаблонов классов. Шаблоны классов являются дополнительным разрезом классификации и позволяют облегчить управление записями для компаний с утвержденным (согласованным во внутренних документах) классификатором. Также появляется возможность добавления одного «универсального» шаблона к нескольким классам.

При настройке классификаторов система позволяет:

• Указывать произвольный набор атрибутов, настраивать их обязательность, порядок, а также значение по умолчанию. Доступны атрибуты с множественным значением выбора.
• Заполнять допустимые значения атрибутов.
• Формировать зависимости значений атрибутов. Данный механизм помогает пользователю при вводе значений, а также контролирует корректность введенных данных при записи элемента.
• Настроить произвольный набор правил, которые будут применяться к записям при их создании и изменении. С помощью правил можно сформировать значения реквизитов (например, наименований), а также выполнить дополнительную верификацию данных.

Для облегчения работы методологов в системе предусмотрен механизм копирования настроек атрибутов между классами и шаблонами.

Процессы управления мастер-данными

Для управления мастер-данными в системе предусмотрен функционал процессов. Система позволяет настраивать следующие виды процессов:

• Обработка объектов мастер-данных. Процесс обеспечивает создание/изменение записей объектов мастер-данных. В рамках процесса доступна возможность корректировки как основного предмета, так и связанных с ним записей (например, «Контрагент» + «Договоры контрагента» + «Банковские счета контрагента»). Формы записи объекта мастер-данных и заявки, а также алгоритмы контроля значений преднастроены и совпадают между собой с возможностью изменения свойств полей заявки (видимость, обязательность, доступность) как в целом для процесса, так и на шагах процесса.
• Обработка дублей. Позволяет обработать дублирующие записи и сформировать/расформировать группу дублей. В рамках процесса доступно сравнение значений записей с возможностью выбора эталонной записи.
• Задания. Процесс позволяет зафиксировать и направить поручение ответственному пользователю или группе пользователей с указанием планового срока выполнения данного задания. При необходимости ответственный может запросить увеличение планового срока выполнения, и эта информация будет сохранена в системе.

Подсистема управления процессами позволяет:

• Настраивать произвольную схему процесса в пользовательском режиме с использованием графического редактора. Такой подход позволяет настраивать процессы любой сложности, в том числе:

  • параллельное согласование;

  • использование нескольких точек старта и завершения;

  • возврат к пройденным шагам процесса;

  • автоматическая обработка;

  • использование вложенных процессов;

  • маршрутизация по условиям.

• Добавлять неограниченное количество переходов для каждого шага. Это позволяет реализовать гибкое перемещение по шагам процесса.
• Выполнять проверку корректности настройки схемы процесса.
• Гибко настраивать исполнителей шагов процесса (включая ограничения и условия запуска в точках старта) с возможностью указания приоритета исполнителя шага. Это позволяет выполнить корректный выбор исполнителя при зацикливании шагов процесса.
• Указать график работы пользователя как в целом для процесса, так и на шагах процесса. График работы используется при расчете планового времени выполнения задач.
• Для каждого шага процесса настраивать произвольные алгоритмы, которые будут выполняться при прохождении процесса:

  • с использованием принципа No Code. Это позволяет снизить требования к квалификации специалиста;

  • путем написания программного кода на языке «1С:Предприятия» в пользовательском режиме;

  • с использованием функций интерактивного взаимодействия с пользователем (например, ввод пользователем значения).

• Настраивать произвольные оповещения пользователей как в целом для процесса, так и на шагах процесса. Оповещения могут быть направлены в виде служебных сообщений, по электронной почте либо в Telegram.

При необходимости отслеживания выполнения нескольких процессов в системе предусмотрены «Группы процессов». Они позволяют:

• Объединять произвольный набор процессов.
• Выполнять оповещения пользователей при завершении всех процессов, входящих в данную группу.

Импорт данных

Для выполнения загрузки данных из внешних источников в системе реализован механизм «Мастер импорта», который позволяет:

• Выполнять загрузку следующих объектов системы:
  • объекты мастер-данных (включая контактную информацию, табличные части, классификацию и значения атрибутов);
  • классификаторы (включая шаблоны классов);
  • атрибуты (включая допустимые значения и зависимости);
  • регистры сведений.
• Формировать шаблон файла для заполнения загружаемых данных.
• Автоматически сопоставлять поля файла и объекта системы (с возможностью ручной корректировки пользователем в табличном виде).
• Указывать ключевые поля для поиска загружаемых записей.
• Устанавливать значения полей по умолчанию при загрузке.
• Указывать ключ поиска для ссылочных полей.
• Выполнять загрузку данных как напрямую в объект мастер-данных (создание новых записей и/или изменение существующих), так и создавая процессы с возможностью их объединения в группы процессов.
• Настраивать опционально:
  • контроль дублей;
  • проверку корректности заполнения;
  • применение правил, обеспечивающих верификацию данных.
• Сохранять и повторно использовать настройки загрузки данных.
• Протоколировать сеансы импорта с описанием загруженных данных и возникших ошибок (в разрезе каждой загружаемой записи).
• Возобновить сеанс импорта после непредвиденного обрыва сеанса.

Все настройки загрузки данных выполняются в пользовательском режиме без необходимости привлечения разработчика.

Контроль качества данных

Для поддержания высокого качества мастер-данных разработана подсистема качества данных. Подсистема позволяет:

• Настраивать проверки данных, используя преднастроенные алгоритмы проверки.
• Настраивать массовые и индивидуальные проверки данных, формируя произвольные алгоритмы проверки в пользовательском режиме.
• Выполнять мониторинг данных на соответствие реализованным правилам.
• Ранжировать найденные ошибки по важности и срочности их устранения.
• Хранить и отображать найденные ошибки в привязке к записям объектов мастер-данных.
• Формировать статистику качества данных за период.
• Формировать отчеты по ошибкам проверки качества данных.

Для устранения выявленных ошибок в системе реализованы следующие массовые механизмы:

• Нормализация. Данный механизм позволяет применить настроенные правила к отобранному или выделенному перечню записей объекта мастер-данных.
• Корректировка. Данный механизм позволяет выполнить изменение значений в отобранном или выделенном перечне записей объекта мастер-данных.

Интеграционные механизмы

Подсистема интеграции

Для взаимодействия с внешними системами «1С:MDM КОРП» имеет встроенную подсистему интеграции. Данная подсистема позволяет:

• Вести список внешних систем и транспортных каналов взаимодействия с ними.
• Связывать мастер-данные с внешними системами с детализацией до конкретной записи при помощи подписок на объекты.
• Маршрутизировать записи мастер-данных на внешние системы по сложным логическим условиям на основании значений реквизитов, атрибутов, классификации, подписок на объекты.
• Настраивать правила формирования сообщений передачи записей мастер-данных и загрузки сообщений из внешних систем в конфигураторе и пользовательском режиме.
• Использовать общий или индивидуальный формат и структуру сообщений для каждой внешней системы.
• Вести журнал синхронизации записей мастер-данных с внешними системами при помощи механизма номеров версий.
• Выполнять мониторинг состояния обработки сообщений передачи данных.
• Просматривать ошибки обработки сообщений передачи данных.
• Вести архив отправляемых и принимаемых сообщений с возможностью их повторного принятия и отправки.
• Отправлять сообщения через HTTP, механизм сервисов интеграции платформы «1С:Предприятие» («1С:Шина» состав встроенных коннекторов будет расширяться).
• Добавлять программируемые коннекторы через механизм внешних и встроенных обработок.
• Включать, выключать, приостанавливать интеграцию по отдельным типам мастер-данных.
• Выполнять событийную интеграцию. По умолчанию к интеграции регистрируется событие записи объектов мастер-данных. Также реализована возможность регистрации произвольных событий (например, выполнение задач процесса).

Подсистема включает в себя HTTP API, который позволяет:

• Получать изменения мастер-данных для внешней системы.
• Получать наборы записей мастер-данных с фильтрацией по реквизитам, атрибутам, классам, контактной информации.
• Выполнять синхронные и асинхронные (по шаблону «асинхронный запрос/ответ») запросы в MDM с возможностью настройки правил их обработки.
• Отправлять пакеты сообщений передачи данных в очередь MDM для обработки.

Подсистема поддерживает следующие сценарии обмена сообщениями:

• «Проталкивание» (push) сообщений во внешние системы через системы обмена сообщениями, такие как «1С:Шина», с гарантией доставки.
• «Проталкивание» (push) сообщений во внешние системы через HTTP с гарантией доставки.
• «Вытягивание» (pull) внешней системой изменений мастер-данных с индивидуальной структурой и форматом из MDM через HTTP API.

Библиотека интеграции

Для интеграции с MDM из внешних систем на платформе «1С:Предприятие 8» реализована библиотека интеграции с «1С:MDM КОРП». Библиотека позволяет:

• Выполнять двусторонний обмен сообщениями с MDM через транспортные каналы: HTTP, сервисы интеграции («1С:Шина»).
• Настраивать правила обработки и формирования сообщений.
• Хранить сведения о ключевых свойствах записей MDM: ключ MDM, номер версии, тип записи, ссылка на эталон. Эти данные позволяют выполнять синхронизацию, выстраивать исходный порядок загрузки сообщений, принимать решение об удалении дублей на стороне внешней системы.

Для интерактивной работы с MDM из внешней системы на платформе «1С:Предприятие» библиотека интеграции имеет встраиваемое рабочее место, работающее по технологии «Интеграция веб-клиента 1С и сайта», см. https://its.1c.ru/db/v8324doc#bookmark:dev:TI000002191. Встраиваемое рабочее место позволяет из окна внешней системы:

• Работать с веб-интерфейсом «1С MDM» в режиме главного окна «Встраиваемое рабочее место».
• Выполнять создание заявок на обработку мастер-данных.
• Отслеживать согласование своих процессов и задач.