Agentix Labs
Digital Systems
OSINT / DATA ENGINEERING / AI
OSINT Pipeline автоматически собирает публичные публикации, нормализует их, извлекает сущности, сопоставляет события по времени и географии и формирует структурированные отчёты. Источники, оценки достоверности, неопределённость и история обработки остаются частью результата.
Для чего создан OSINT Pipeline
Аналитику приходится вручную просматривать множество открытых каналов, лент и публикаций, отделять повторы от новых фактов и восстанавливать связи между событиями. Система превращает этот непрерывный поток в единую базу, ежедневные сводки и диалоговый доступ к уже собранным данным.
Продукт рассчитан на исследовательскую и аналитическую команду, которой нужен регулярный мониторинг публичных источников, воспроизводимый путь от публикации до вывода и удобная доставка результатов через отчёты и закрытый Telegram-интерфейс.
Собрать разнородные публичные источники в устойчивый конвейер, убрать дубликаты, извлечь из неструктурированного текста и изображений полезные сущности, связать близкие эпизоды и при этом не потерять происхождение данных и границы уверенности.
Реализована контейнерная система коллекторов, очереди, процессоров и паблишеров. PostgreSQL с PostGIS хранит сообщения, события, географию и связи; NER, OCR и DBSCAN обогащают данные; AI формирует осторожный структурный разбор, а Telegram-бот и планировщики доставляют отчёты и ответы по накопленной базе.
Возможности
Функции собраны вокруг рабочего сценария и связаны общим состоянием, контролем и аналитикой.
Коллекторы получают открытые Telegram-публикации, RSS/Atom-ленты, социальные сообщения и дополнительные публичные наборы данных.
Каждая запись связывается с источником и внешним идентификатором, а хэши медиа и ограничения базы защищают от повторной загрузки.
NER на словарях, нечётком поиске и регулярных выражениях выделяет именованные объекты и локации, а OCR извлекает текст из изображений.
PostGIS хранит географию, а DBSCAN объединяет близкие по месту и времени события в эпизоды для последующего анализа.
Генератор разделяет факты, утверждения источников, оценку и неопределённость, добавляет уровень уверенности и ссылки на исходные публикации.
Пользователь получает плановые отчёты, может запросить сводку вручную или задать вопрос боту по данным, уже сохранённым в системе.
Итог
OSINT Pipeline собрал сбор, очистку, геоаналитику, AI-разбор и публикацию в единый воспроизводимый процесс. Вместо ручного просмотра разрозненных каналов команда получает постоянно обновляемую базу, отчёты с происхождением данных и контролируемый диалоговый доступ к накопленному контексту.
Новый проект
Опишите исходную ситуацию и желаемый результат. Мы разберёмся в контексте и предложим практичный первый этап.