Обезличивание сканов, таблиц, писем, аудио и видео

Какие форматы можно обезличить

LEXARIS обезличивает 13 форматов, среди них DOCX, PDF (в том числе сканы), Excel, CSV, JPG, TIFF, письма EML и MSG, аудио, видео и данные 1С:Предприятие через OData. Для каждого формата свой способ обработки, потому что персональные данные в них хранятся по-разному.

В текстовом документе достаточно найти и заменить фрагмент строки. В скане тот же фрагмент — это пиксели изображения, в аудио — несколько секунд речи, в видео — лицо, которое перемещается по кадру. Ниже — как обрабатывается каждый тип.

Полный перечень — в разделе поддерживаемые форматы.

Текстовые документы DOCX и PDF

Документы с текстовым слоем обрабатываются проще всего. Сервис находит более 116 типов персональных данных, включая ФИО в любом падеже, паспорт, СНИЛС, ИНН, телефоны, адреса, e-mail, банковские реквизиты и медицинские коды, и заменяет их выбранным способом. Эти форматы доступны в обоих режимах работы, в том числе в режиме «Ключи у вас».

Обезличивание сканов: OCR и закрашивание в изображении

Скан обезличивается в два этапа: сначала OCR распознаёт текст на изображении, затем найденные персональные данные закрашиваются в самом изображении. Это касается PDF-сканов, JPG и TIFF.

Почему это важно. Распространённая ошибка — положить чёрный прямоугольник поверх текста в PDF-редакторе. Визуально данные скрыты, но под прямоугольником остаются исходное изображение или текстовый слой, и их можно извлечь. При закрашивании в изображении пиксели с данными заменяются, и восстановить их из файла нельзя.

Если скан нужно отправить в ИИ, распознанный текст обезличивается токенами так же, как обычный документ. Порядок работы описан в гайде как отправить документ клиента в ИИ без персональных данных.

Таблицы Excel и CSV: правила по столбцам

В таблицах правила обезличивания задаются по столбцам: для каждого столбца вы выбираете, как заменять его значения. Это удобнее и точнее, чем обрабатывать таблицу как сплошной текст.

Например, в выгрузке клиентской базы можно:

• столбец «ФИО» заменить токенами, чтобы потом вернуть имена;
• столбец «Телефон» зашифровать FPE, чтобы сохранился формат номера;
• столбец «СНИЛС» захешировать, чтобы сопоставлять записи с другой выгрузкой;
• столбец «Сумма договора» оставить без изменений.

Какой режим выбрать для каждого столбца, подробно разобрано в гайде 7 способов замены персональных данных.

Письма EML и MSG с вложениями

Письма обрабатываются вместе с вложениями, а не только текст сообщения. Персональные данные в переписке часто оказываются не в теле письма, а в подписи, цитате предыдущего сообщения или приложенном файле.

Если скопировать в ИИ только текст письма, вложенный договор или скан паспорта останутся необработанными — а именно в них обычно больше всего данных. Загрузка письма в формате EML или MSG позволяет обезличить всё сообщение за один раз.

Если письмо нужно передать в ИИ, например чтобы составить ответ клиенту, после обезличивания в нём останутся токены, а ответ можно восстановить одним нажатием. Так в ответ попадут настоящие имена и реквизиты, хотя ИИ их не видел.

Аудио и видео: запикивание речи и размытие лиц

Аудиозапись сначала транскрибируется с помощью ИИ, затем в тексте находятся персональные данные, и соответствующие фрагменты речи запикиваются. В видео размываются лица и государственные номера автомобилей, а трекинг по кадрам удерживает размытие на объекте, пока он движется.

Аудио

Типичный сценарий — запись звонка в службу поддержки, где клиент называет ФИО, номер телефона и адрес. После обработки запись остаётся пригодной для обучения операторов или анализа качества, но названные данные не слышны. Одновременно вы получаете транскрипт, который можно обезличить токенами и отправить в ИИ для анализа.

Видео

Для видео важен трекинг: если размывать лицо только на одном кадре, на соседних оно останется видимым. Трекинг следует за объектом по кадрам, поэтому размытие не «отстаёт» при движении. Это полезно для записей с камер, видеоинструкций и материалов, которые передаются подрядчикам.

1С:Предприятие через OData

Данные из 1С:Предприятие можно обезличивать через интерфейс OData, без ручной выгрузки в Excel. Это удобно, когда нужно передать данные из учётной системы в аналитику, тестовую среду или ИИ.

Типичные задачи — подготовить выгрузку контрагентов или сотрудников для подрядчика, наполнить тестовую базу реалистичными, но вымышленными данными с помощью синтетики или построить отчёт, в котором нет сведений о конкретных людях. Для каждого поля можно выбрать подходящий способ замены так же, как для столбцов таблицы.

Автоматизировать обработку других источников можно через REST API, LLM-прокси, Python SDK или CLI — подробнее в разделе API для разработчиков.

Ограничения режима «Ключи у вас»

В режиме «Ключи у вас» доступны только текст и документы с текстовым слоем. OCR, аудио и видео в этом режиме недоступны, потому что вся обработка идёт в браузере, без передачи данных на серверы.

Сканы, записи и видео обрабатываются в облачном режиме: на серверах в России; таблицы соответствий шифруются AES‑256‑GCM, передача защищена TLS. Если ваши документы в основном текстовые, а требования к обработке строгие, режим в браузере может подойти лучше. Сравнение двух способов работы — в гайде режим «Ключи у вас» и в разделе «Ключи у вас» и облако.