Web портал для обработки и анализа данных

О проекте

Цель этого проекта — предоставить дружественную консоль для совместной работы пользователей, которым нужно обработать, просмотреть и проанализировать гетерогенные электронные данные. Реализованная в качестве Web портала, система предоставляет следующие ключевые функции:

Загрузка документов
Система принимает документы во множестве популярных форматов (текст, HTML, MS Office, PDF, различные форматы электронных сообщений, включая Outlook и Lotus Notes, и др.). Эти документы затем разбираются и индексируются системой для последующего анализа. В дополнение к загрузке на Web, в системе также доступен десктоп клиент.
Организация данных
Данные хранятся в простой в использовании и интуитивно понятной форме, распределенные по фолдерам, которые привязаны к проектам.
Просмотр и назначение тэгов
Документы могут просматриваться и тэги могут быть назначены прямо в браузере. Доступны дополнительные возможности поиска, фильтрации, группировки для повышения эффективности работы.
Совместная работа с другими пользователями
Организация виртуальных рабочих групп для совместной работы над одними и теми же данными, возможность назначения пользователей на просмотр заданных данных.
Функции социальных сетей
Как в социальных сетях можно устанавливать связи с другими пользователями, отправлять приватные сообщения, управлять своим профилем.
Панель инструментов и отчеты
Статистика о данных и совместной работе, работа отображается в различных разрезах с графическими диаграммами и иерархическими отчетами.

Внутри система построена на мощном механизме обработки данных, и решает следующие задачи. Пре-процессинг:

Фильтрация по расширениям файлов
Идентификация типов файлов
Вычисление хэш-кода
Устранение избыточности (идентификация точных дубликатов)

Процессинг:

Рекурсивное извлечение текста и мета-данных из различных типов файлов и сообщений
Рекурсивно извлечение вложенных объектов
Перемещение и индексирование данных
Анализ данных: анализ типов файлов, нахождение близких (почти дубликатов), анализ цепочек включенных почтовых сообщений
TIFF генерация
Распознавание изображений (OCR)