Сравнение данных из разных источников (1С 8, SQL, CSV/TXT/DBF/XLS/XML, табличный документ)

Обработка Консоль сравнения данных из разных источников предназначена для сравнения данных, полученных из разных источников данных (информационных баз 1С 8, баз данных SQL, файлов формата CSV/TXT/DBF/XLS/XML, вручную заполненного табличного документа).

ВНИМАНИЕ: Актуальная инструкция всегда доступна во встроенной справке обработки по клавише F1.

Сравнение можно производить между данными любых источников: текущей, внешними базами 1С 8, внешними базы данных SQL, файлами CSV/TXT/DBF/XLS/XML, данными табличного документа. В каждом сравнении участвуют выборки из двух баз данных, к каждой из которых должен быть написан запрос на языке 1С для информационной базы 1С 8 либо SQL для базы данных SQL. После этого оба запроса выполняются, а полученные таблицы значений сравниваются между собой по ключу, который определяется как первая колонка  (или первая и вторая колонки в случае составного ключа) запроса.  В верхней части формы находятся кнопки с изображениям кругов Эйлера, предназначенные для указания обработке, какую операцию реляционной алгебры применять для объединения результатов запросов. Выбранная операция подсветится зеленым цветом.

Параметры, устанавливаемые для каждой базы данных, заполняются на вкладках, соответствующих баз:

• Тип базы – реквизит может принимать следующие значения:
  • текущая база 1С 8 – в этом случае никаких дополнительных параметров подключения к базе данных заполнять не нужно;
  • внешняя база 1С 8 – внешняя база 1С 8, доступная из текущей подсети, в этом случае необходимо заполнить параметры Версия платформы, Вариант работы, Путь к базе или Сервер/Имя базы, Логин и Пароль;
  • база данных SQL – база данных SQL;
  • файл – файл формата CSV/TXT/DBF/XLS/XML;
  • таблица - табличный документ, расположенный на форме;
• Вариант работы – вариант работы информационной базы, может принимать следующие значения:
  • файловый – внешняя база размещена в файле, в этом случае необходимо заполнить Путь к базе, Логин и Пароль;
  • клиент-серверный – внешняя база размещена на сервере приложений 1С, в этом случае необходимо заполнить Сервер, Имя базы, Логин и Пароль;
• Версия платформы – версия платформы 1С 8, отвечает за выбор COM-компоненты, используемой для подключения к базе;
• Путь к базе – путь к файловой базе;
• Драйвер – имя драйвера для подключения к базе данных SQL, можно выбрать из списка предопределенных (SQL Server, PostgreSQL);
• Сервер – имя сервера приложений 1С или сервера баз данных;
• Имя базы – имя базы на сервере приложений 1С или базы данных SQL;
• Логин – логин пользователя внешней базы 1С (у пользователя должно быть право внешнего соединения) или пользователя базы данных SQL;
• Пароль – пароль пользователя внешней базы 1С 8 или пользователя базы данных SQL:
• Приводить ключ к верхнему регистру – символы нижнего регистра, входящие в первичный ключ, будут преобразованы в символы верхнего регистра;
• Удалять из ключа фигурные скобки – символы { и } будет заменены в ключе на пустые строки;
• Использовать в качестве ключа УИД – первичный ключ будет сформирован путем вызова функции УникальныйИдентификатор() из первой колонки, которая должна быть ссылочного типа;
• Текст запроса – текст запроса на языке 1С для баз 1С 8 (доступен конструктор запроса) и на языке SQL для баз данных SQL;
• Пользовательский режим – если флаг установлен в Истина, то при открытии формы все реквизиты настроек скрываются, остаются видимыми только команда сравнения, команды открытия сохраненных настроек и результат сравнения.

В таблице Правила заполнения реквизитов, предназначенной для задания соответствия колонок источников данных реквизитам результирующей таблицы или произвольного кода, необходимо заполнить следующие реквизиты:

• Реквизит А/Б – номер реквизита соответствующего источника данных; 
• Номер колонки – номер колонки CSV/TXT/DBF/XLS файла;
• Имя колонки – имя колонки XML-файла;
• Произвольный код – произвольный код для заполнения текущего реквизита (обращение к значениям реквизитов осуществляется по именам Р1...Р5, обращение к текущему - по имени РТек, пример для реквизита 3: РТек = Окр(Р1 * Р2 * 1.2,2)).

Для использования составного ключа необходимо установить флаг Использовать составной ключ из 2 столбцов на вкладке Общие настройки -> Основные, при этом ключ будет определяться на основании первых двух колонок каждой выборки для баз 1С и SQL, а для файлов необходимо явно указать номер колонки, соответствующей каждому столбцу ключа.  

Для обеспечения возможности сравнения данных по периодам можно использовать предопределенные параметры ДатаНачала и ДатаОкончания, которые можно задать на вкладке Общие настройки -> Основные как в виде абсолютного значения периода, так и виде относительного значения с указанием дискретности (год, месяц, день). Относительный период удобен при ежедневном контроле данных, т.к. период в этом случае рассчитывается автоматически относительно текущей даты.

При выводе каждой строки (т.е. уже после применения операции реляционной алгебры) производится проверка условий вывода и условий запрета вывода, расположенных в табличной части, и если не выполняется условие вывода или выполняется условие запрета вывода, то строка удаляется из таблицы значений. Данный механизм игнорируется только для строк, в которых в одной из баз найдено больше одной строки для данного первичного ключа, т.к. в этом случае сравнение бессмысленно. Параметры, отвечающие за вывод и запрет вывода строк, заполняются на вкладке Общие настройки. На вкладках Условия вывода строк и Условия запрета вывода строк можно заполнить следующие реквизиты:

• Логический оператор для объединения условий – оператор объединяет все строки из табличной части;
• Код редактируется вручную – при установке флага код становится доступным для редактирования;
• Многострочное поле ввода без имени – произвольный код, формируемый автоматически на основании строк табличной части, может редактироваться вручную, выполняется для каждой строки таблицы значений Результат сравнения.

      Реквизиты табличных частей заполняются следующим образом:

• Реквизит – имя реквизита таблицы значений Результат сравнения;
• Условие – условие сравнения;
• С чем сравнивать – определяется режим сравнения, может принимать значения Реквизит и Значение;
• Значение – заполняется в случае, если реквизит С чем сравнивать равен Значение, в данном режиме значение реквизита таблицы значений сравнивается с указанным в данном поле значением;
• Реквизит – заполняется в случае, если реквизит С чем сравнивать равен Реквизит, в данном режиме значение реквизита таблицы значений сравнивается со значением реквизита, указанного в данном поле.

В результате выполнения произвольного кода с вкладки Условия вывода строк устанавливается значение переменной УсловияВыводаСтрокиВыполнены, а с вкладкиУсловия запрета вывода строк - значение переменной УсловияЗапретаВыводаСтрокиВыполнены. Строка останется в таблице значений Результат сравнения, еслиУсловияВыводаСтрокиВыполнены = Истина, а УсловияЗапретаВыводаСтрокиВыполнены = Ложь. Необходимо также помнить, что если по ключу хотя бы в одной из баз найдено более одной строки, то условия игнорируются, т.к. такие сроки должны быть отображены для выявления причин ошибки.

После настройки всех параметров необходимо нажать кнопку кнопку Сравнить данные, обработка выполнит оба запроса, объединит их в соответствии с выбранной операцией реляционной алгебры, выведет в таблицу значений, затем отфильтрует в соответствии с условиями вывода и запрета вывода строк, после чего отобразит ее на форме на вкладке Результат сравнения, которая содержит следующие колонки:

• Ключ – ключ, по которому сопоставляются выборки;
• Количество записей А - количество записей, найденных в базе А по ключу;
• Количество записей Б - количество записей, найденных в базе Б по ключу;
• Реквизит А1...А5 – реквизиты выборки из базы А;
• Реквизит Б1...Б5 – реквизиты выборки из базы Б.

В случае, если число строк с данным первичным ключом в базе X больше одной, то в колонке X, хранящей количество строк, найденных по данному первичному ключу, выводится число найденных строк, а реквизиты X1 - X5 заполняются данными из первой попавшейся строки внешней БД (для облегчения последующего поиска ошибки), и подсвечиваются розовым цветом. Такие строки должны отсутствовать, если первичный ключ выбран правильно.

При подключениях к информационным базам 1С 8 доступен обычный конструктор запросов (команда Конструктор запросов расположена на вкладках, соответствующих настройкам баз 1С 8).

Для обеспечения возможности хранения настроек сравнения в базе необходимо добавить в конфигурацию справочник НастройкиКонсолиСравненияДанных с реквизитом Настройка типа ХранилищеЗначения.

Буду благодарен, если будете уведомлять о багах на sertakov [а] list.ru или в комментариях.