Digercules

Наведи порядок в архивах и бэкапах!

У каждого пользователя компьютера со временем копится всё возрастающая гора файлов самых разных форматов. Это может быть содержимое жёстких дисков старых компьютеров, бэкапы современных дисков, специально собранные архивы с заинтересовавшими в какой-то момент материалами и многое-многое другое.

Чем больше времени копится эта гора, тем труднее разбираться в том, из чего же она состоит. И через некоторое время оказывается, что найти нужный материал, даже если мы знаем, что он там есть, становится очень непросто. А часто мы можем и не знать о наличии этого материала. Например, если мы пытаемся разобрать жёсткий диск компьютера, доставшегося нам по наследству…

Digercules — это программа, которая берёт любую неразобранную «свалку» файлов — архивы, библиотеки, бэкапы, концертные записи, переписки в мессенджерах — и разбирается, что и где в этой «свалке» лежит, отделяя при анализе все копии одного и того же файла. По каждому файлу определяется тема, язык, тип файла, краткое содержание. Такой разбор проводится спокойно и без спешки, а не в последний момент, когда файлы нужны уже прямо сейчас. Разобранную библиотеку можно скормить любой нейросети, базе данных или поисковой системе — дальше они сами построят удобный интерфейс и найдут всё, что будет нужно. Digercules не заменяет этот следующий шаг, а делает его вообще возможным, беря на себя ту трудоёмкую подготовку, на которую обычно никогда не хватает ресурсов.

В частности, при анализе программа распознаёт речь и картинки с текстом в обычный текст, разбирается, на каком языке написан документ и о чём он, группирует аудио- и видеозаписи по голосам, группирует фотографии и видео по лицам изображённых на них людей и многое другое.

Все данные обрабатываются либо полностью на компьютере клиента (при наличии необходимых мощностей видеокарты), либо, если мощностей клиента не хватает, сжатые копии, специально подготовленные для распознавания, по согласованию с заказчиком передаются напрямую автору программы. Обратно приходят только распознанные тексты.

Программа успешно работает на архивах разного масштаба. Посмотрите реальную статистику уже обработанных проектов:

По имеющимся каналам связи (~30 Мбит/с, реальный замер) закачка этого объёма в облако заняла бы около 447 суток (~15 месяцев) — против 148 (~5 месяцев), за которые всё обработано на месте. Хранение в облаке обошлось бы от $143 в месяц, а обработка на сопоставимом по мощности GPU потребовала бы от $150–190 в месяц. И это без учёта ещё одного шага: данные из хранилища всё равно нужно перегнать на саму GPU-машину для обработки. Даже по каналу втрое быстрее (100 Мбит/с) архив в несколько терабайт передавался бы около 3 суток.

Как заказать? Как связаться с разработчиками?

Digercules обслуживает разные типы заказчиков через отдельные сайты:

• digercules.ru — российские потребители, архив живых выступлений (бардовская песня и не только)
• digercules.org — предложения для организаций
• digercules.net — частные заказчики, конкретные юзкейсы

Сколько стоит

• Предварительная оценка по описанию или скриншоту архива — бесплатно.
• Локальное самостоятельное использование — разовая оплата без ограничения по объёму архива.
• Более тяжёлая координация, когда мощности локального компьютера пользователя не хватает, — специальная цена, которая формируется по факту обнаруженного объёма работы.

Наши цены в разы ниже ориентировочных среднерыночных цен на решение сопоставимых задач через обычное облако, которые приведены выше на этой странице.

Некоторые сценарии использования программы можно посмотреть на digercules.org и digercules.net.

Что реально работает внутри (технические подробности для специалистов)

Digercules — не одна модель, а оркестрованный конвейер из 25+ фаз обработки: каждая решает одну узкую задачу, и результат одной становится входом для следующей.

Речь в текст. Аудио и видео проходят через faster-whisper (large-v3-turbo): сначала быстрый черновой проход — для сверки и отбора, затем медленный и тщательный основной проход с направляющими подсказками, построенными на собственной лексике архива. Если в архиве есть свой устойчивый круг голосов или своя специфическая терминология, модель можно дообучить (LoRA) именно на этом материале — проверено на сотнях часов одной конкретной коллекции.

Идентификация голоса. Модель голосовых эмбеддингов (ECAPA-TDNN) строит галерею голосов: кто говорит, сверяясь со всеми, кого система уже слышала раньше, — галерея растёт с каждым новым обработанным архивом.

Идентификация лиц. Та же логика, что и для голоса, но для лиц: галерея с несколькими эталонными образцами на человека — она умеет то, чего не может один усреднённый портрет, — узнавать одного и того же человека и в детстве, и сорок лет спустя. Экран подтверждения проверен на реальных 20 ТБ концертных видеозаписей.

Решение всегда принимает человек: похожесть — это подсказка с процентом, а не готовый ответ, и безопасного порога, после которого её можно доверять автоматически, не существует — в интерфейсе это не скрывается. Лицо, которое никто не узнал, не выдаётся за опознанное, а ждёт того, кто архив знает лучше. Подробнее о принципах работы модуля.

Распознавание текста (OCR). Отсканированные документы проходят через Marker — открытый движок распознавания и конвертации PDF/сканов — и превращаются в текст, по которому можно искать, а не остаются картинкой с буквами.

Понимание фотографий — по уровням. Каждый фотобанк сначала проходит дешёвый проход на CPU (OpenCV DNN — EAST ищет текстовые области, YuNet считает лица), который работает одинаково на любой машине флота, включая десятилетний Windows 7. На более мощном железе добавляется второй проход — CLIP zero-shot классификация сцены на скорости GPU. Там, где это действительно важно, полноценная визуально-языковая модель (Ollama) пишет настоящее описание конкретного фото. Три уровня, от дешёвого к дорогому.

Понимание документов. Каждый файл читается и описывается локальной языковой моделью (Ollama): о чём он, на каком языке, для чего на самом деле нужен.

Дедупликация, которая заодно защищает файлы. Тот же хэш, что находит дублирующиеся копии, заодно побайтово подтверждает: файл, вернувшийся в архив после обработки, — тот же самый файл, что из него уходил.

Каждый из этих этапов выполняется либо локально, либо на конкретной, названной вам машине — никогда в безликом облаке.

Зачем всё это: основа для RAG

Все эти фазы работают на один результат: из неразобранного архива получается структурированная библиотека и векторная RAG-база над ней. RAG (Retrieval-Augmented Generation, «генерация с дополненной выборкой») — подход, при котором нейросеть перед ответом сначала находит нужные фрагменты в вашей собственной базе знаний и только потом отвечает по ним. Поиск идёт по смыслу, в векторной базе данных, поэтому ответ опирается на ваши документы, а не на догадки модели. Подробнее: «Генерация с дополненной выборкой» — Википедия.

Готовую базу можно подключить к любой нейросети, ассистенту, поиску или аналитике, которые вы выберете позже: Digercules не привязывает вас к модели, он делает следующий шаг возможным. Как это выглядит для организаций.

Статус

Продукт в активной разработке. Инженерная библиотека — стабильно, в продакшне.

География команды

Разработка ведётся распределённой командой в нескольких странах: Израиль, Грузия, Россия. Реальные точки присутствия вычислительной инфраструктуры: Ришон-ле-Цион, Израиль · Тбилиси, Грузия · Челябинск, Россия · Москва, Россия.