IT-технологии
(b)
Наше IT-подразделение — это команда сильных разработчиков, инженеров и аналитиков, которые создают уникальное программное обеспечение и технологические решения для бизнеса.
Что мы умеем делать?
Разрабатываем клиентские продукты: автоматизированные исследовательские решения и масштабируемые платформы с продуманными интерфейсами. Благодаря собственной разработке мы смогли упаковать в готовые решения сложные исследовательские методологии.
Разрабатываем платформы для сбора, обработки и визуализации данных, применяем машинное обучение для прогнозов и упрощаем работу аналитиков с помощью продвинутых алгоритмов.
Для сотрудников строим внутренние системы, автоматизируем процессы, оптимизируем рабочие сценарии. Все это помогает нам делать проекты быстрее, точнее и эффективнее. А также решать сложные задачи, связанные со спецификой нашей деятельности.
Автоматизированные исследовательские решения
Набор готовых методологий, которые позволяют решать конкретные исследовательские задачи в маркетинге. Эти решения интегрированы в онлайн-платформу qMa (Questionnaire Maker), где пользователь выбирает необходимую методологию, настраивает входные параметры и запускает сбор данных, по завершении которого автоматически получает готовую аналитическую отчетность. Можно настраивать параметры выборки, прикреплять мультимедиа для тестируемых материалов, настраивать визуализацию и подключать дополнительные аналитические блоки.
Frontend
Клиентская часть платформы реализована на React (react.dev) — одной из самых популярных JavaScript-библиотек для построения динамических и масштабируемых веб-приложений. React обеспечивает высокую производительность и удобную компонентную архитектуру.
Backend
Серверная часть основана на Python (python.org) — гибком языке программирования, подходящем для веб-разработки, обработки данных и интеграции с внешними сервисами.
Взаимодействие между фронтендом и бэкендом организовано через REST API (Application Programming Interface), что упрощает интеграцию с другими системами.
- Серверная архитектура — сервисы Frontend и Backend развернуты на нескольких серверах под управлением Linux/Ubuntu (ubuntu.com), что обеспечивает отказоустойчивость и высокую производительность.
- База данных — СУБД PostgreSQL (postgresql.org), которая гарантирует надежное хранение данных и высокую скорость обработки запросов.
Решения
Масштабируемые платформы
Мы разработали маркетплейс готовых исследовательских решений и личный кабинет клиента, чтобы упростить доступ к аналитике. Платформа позволяет быстро находить и заказывать исследования, а личный кабинет — управлять проектами, отслеживать данные в реальном времени и получать инсайты через удобный интерфейс. Это автоматизирует процесс исследований, делая их быстрее и доступнее. Создали собственное ПО для проведения онлайн-опросов, которое обеспечивает точность сбора данных, гибкость настроек и высокую скорость полевых работ.
Приложение панелиста
Собственная разработка специализированного продукта для участия в маркетинговых исследованиях, хранения истории всех активностей и коммуникаций с панелистом. Включает информацию о пользователе, историю пройденных опросов и конвертацию баллов респондента с использованием специального движка.
Использование современных инструментов и технологий позволило создать эффективную, гибкую и надежную инфраструктуру. Автоматизация процессов, продуманный мониторинг и удобное масштабирование обеспечивают стабильную работу и оперативное внедрение нововведений. Использование Kubernetes и ArgoCD делает процесс развертывания быстрым и безопасным. Kafka и Airflow позволяют эффективно управлять потоками данных и автоматизировать критически важные процессы. GitLab CI/CD обеспечивает надежное управление версиями и развертыванием, минимизируя риски и ускоряя разработку. В результате инфраструктура сохраняет устойчивость к нагрузкам и гибко адаптируется под потребности бизнеса.
- Бэкэнд: Python 3.12, FastAPI, Pydantic, SQLAlchemy, Dart, C#.
- Фронтенд: Flutter-приложение с модульной архитектурой (Feature-First), GoRouter, GetIt, BLoC, GraphQL и Reactive Forms; JavaScript, Next.js, Strapi, Three.js.
- Интеграционные механизмы: FullAPI, GraphQL, Kafka, Redis.
- Базы данных: PostgreSQL.
- Big Data: Apache Hadoop, MongoDB, Cassandra (планируется переход).
- Оркестратор процессов: Apache Airflow.
- Оркестратор контейнеров: Kubernetes.
- Управление версиями и CI/CD: GitLab.
- Мониторинг и логирование: Prometheus и Grafana.
- Централизованное логирование: LOKI.
- Микросервисная архитектура обеспечивает бесперебойную работу панелистов в проекте.
- Современные инструменты и оптимизированная структура позволяют обрабатывать большой поток данных без задержек для более чем 100 000 пользователей одновременно.
- Приложение одновременно использует множество метрик и взаимодействует со сторонними сервисами для анализа данных.
- Реализована верификация пользователей и шифрование данных для защиты информации клиентов.
- Софт удобен в использовании благодаря простому и понятному пользовательскому пути.
- В приложении предусмотрен чат-бот и система уведомлений в формате stories для коммуникации с пользователями.
- Поддерживается мотивация панелистов посредством статусов и достижений.
- Проводятся мотивационные акции, направленные как на всех участников, так и на отдельные группы, сформированные по общим признакам.
Личный кабинет менеджера (респондент)
Предназначена для контроля и управления панелью с целью соблюдения стандартов маркетинговых исследований и законодательства РФ.
- Возможность управления панелью с использованием широкого набора статусов и рейтингов набора респондентов.
- Отслеживание участия респондентов в проектах и их активности.
- Контроль качества панели.
- Удобная система отслеживания и сбора статистики по различным каналам рекрута, в зависимости от качества и активности панелистов, приходящих из этих источников.
- Система контроля качества (антифрод-система), которая предполагает анализ поведения панелистов во время участия в маркетинговых исследованиях и в панели в целом. Система позволяет выявлять по совокупности параметров панелистов, осуществляющих массовые регистрации, нарушающих правила проекта или недобросовестно участвующих в исследованиях.
Личный кабинет менеджера (управление проектом)
Предназначена для контроля и управления панелью с целью соблюдения стандартов маркетинговых исследований и законодательства РФ.
- Софт позволяет создавать и проводить онлайн-опросы как в ручном, так и в автоматическом режиме, включая автоматический запуск через личный кабинет клиента.
- В каждом проекте можно устанавливать набор уникальных настроек, необходимых для интеграции с любыми сервисами программирования онлайн-анкет. Софт может автоматически генерировать уникальные ссылки-приглашения на опросы на основе общей ссылки, сгенерированной сервисом программирования анкет, а также способен обрабатывать пакеты уникальных ссылок, рассчитанные на сотни тысяч участников. Предусмотрены гибкие настройки, позволяющие добавлять кастомные переменные и редиректы, присваивать респондентам фиксированные ID и персональные ссылки на анкеты для удобной последующей обработки данных.
- Софт поддерживает различные виды проверок, необходимых для качественного проведения проекта: например, проверка на дубли участников, капча, проверка наличия звука/видео, ограничения на тип устройства, с которого можно пройти опрос.
- Софт позволяет создавать сложные целевые аудитории, основанные на профильных данных, указанных панелистами в личном кабинете, и состоящие из большого набора переменных.
- В софте предусмотрены гибкие настройки моратория для участников опросов: ограничения на общую частоту получения приглашений и участия в опросах, ограничения на участников конкретных проектов, получивших определенные статусы, ограничения по теме и типу проекта, сфере деятельности, включение в опрос участников конкретных проектов.
- Возможность создавать квотные матрицы различной сложности с установкой квотного задания на опросах. Матрицы просчитывают количество уже набранных интервью в каждой квотной ячейке и количество интервью, оставшихся для набора. Система дополнительных настроек квотных матриц позволяет максимально эффективно управлять сбором данных, при этом алгоритмы системы в онлайн-режиме автоматически адаптируются под заданные настройки и квоты, своевременно останавливая сбор данных и обеспечивая максимальную эффективность.
- Сложная система таргетирования автоматически пересекает все заданные квотные матрицы, выполняя расчеты для каждой пересеченной ячейки таргетирования и определяя количество приглашений на опросы, необходимых для равномерного пропорционального сбора данных. Алгоритмы системы таргетирования ориентируются на текущее состояние квотных матриц и автоматически выполняют расчеты с учетом фактических показателей отклика и достижимости внутри каждой ячейки. Это позволяет эффективно проводить проекты, соблюдая сроки и не перегружая панелистов. Алгоритмы системы таргетирования поддерживают автоматическое проведение даже сложных проектов с нетаргетируемыми квотами. Система рассчитана на высокую нагрузку и обеспечивает быстрый расчет и отбор панелистов по проектам с любым количеством квотных ячеек.
- В систему встроена «стартовая страница», осуществляющая сложные технические проверки, сбор проектной статистики и основную коммуникацию с респондентами. Стартовая страница рассчитана на очень высокие нагрузки (более 100 000 одновременных заходов).
- Софт отображает онлайн-статистику по каждому проекту, доступна выгрузка отчетов с полными оперативными данными.
- Система настроек позволяет менеджеру менять алгоритмы работы софта, включая расчетные алгоритмы, как на уровне отдельного проекта, так и на уровне системы в целом, что позволяет учитывать сезонность при сборе данных.
Программное обеспечение для внутренних процессов
Мы инвестировали в разработку внутреннего ПО, адаптированного под задачи исследовательского агентства. Наши системы ускоряют обработку данных и оптимизируют управление проектами. Это позволяет нам проводить исследования быстрее, точнее и эффективнее, фокусируясь на глубокой аналитике, а не на рутинных процессах.
Функциональность
Questionnaire Maker — это высокопроизводительная и масштабируемая веб-платформа для создания, редактирования и управления опросниками. Основные возможности:
- Гибкий конструктор опросников — поддержка различных типов вопросов, логических условий и кастомных элементов оформления.
- Автоматическая валидация — проверка опросника на логические ошибки перед публикацией.
- Совместная работа — одновременное редактирование макета несколькими пользователями.
- Экспорт — возможность выгрузки опросника в Word-документ или в программный код, готовый для интеграции в автоматизированные системы сбора данных.
- Библиотека компонентов — хранение и управление шаблонами вопросов и элементов опросников.
- Умный поиск — быстрый доступ к нужному опроснику по различным критериям.
- Интеграция с CRM — синхронизация созданных опросников с корпоративной CRM-системой.
- Управление запуском — поддержка преднастроенных «Быстрых решений skORO» для оперативного развертывания опросов.
Процесс
- Разработка опросника
- Автоматическая валидизация
- Генерация программного кода
- Генерация готового отчета
- Запуск опроса
Технологический стек
Frontend
Клиентская часть платформы реализована на React (react.dev) — одной из самых популярных JavaScript-библиотек для построения динамических и масштабируемых веб-приложений. React обеспечивает высокую производительность и удобную компонентную архитектуру.
Backend
Серверная часть основана на Python (python.org) — мощном и гибком языке программирования, подходящем для веб-разработки, обработки данных и интеграции с внешними сервисами.
Взаимодействие между фронтендом и бэкендом организовано через REST API (Application Programming Interface), что упрощает интеграцию с другими системами.
Инфраструктура
- Серверная архитектура — платформа развернута на нескольких серверах под управлением Linux/Ubuntu (ubuntu.com), что обеспечивает отказоустойчивость и высокую производительность.
- Разделение сервисов — фронтенд и бэкенд работают на отдельных серверах, что позволяет гибко масштабировать нагрузку.
- База данных — используется СУБД PostgreSQL (postgresql.org), которая гарантирует надежное хранение данных и высокую скорость обработки запросов.
Заключение
Questionnaire Maker — это мощный инструмент для создания и управления опросниками, разработанный с учетом современных требований к веб-приложениям. Гибкость, масштабируемость и интеграционные возможности делают платформу удобным решением для нашего бизнеса.
Назначение:
«Нормативная База» – веб-платформа, предназначенная для автоматизированного сбора, хранения, обработки и сравнения нормативных показателей, получаемых в результате исследований, с эталонными значениями, накопленными по множеству аналогичных проектов. Платформа обеспечивает контекстуальный анализ данных и оценку качества исследуемых показателей.
Функциональные возможности:
- Централизованное хранилище нормативных данных: Реляционная база данных (СУБД PostgreSQL) обеспечивает структурированное хранение нормативных показателей по различным методологиям и проектам.
- Гибкий вычислительный модуль: Поддержка различных алгоритмов расчета показателей, конфигурируемых в зависимости от применяемой методологии исследования. Возможность расширения функциональности за счет добавления новых алгоритмов расчета.
- Фильтрация данных: Реализован механизм многокритериальной фильтрации данных, позволяющий формировать релевантные выборки для сравнения с исследуемым показателем. Использование настраиваемых фильтров на основе метаданных (например, бренд, категория продукта, география рынка и т.д).
- Унифицированный классификатор: Применение единого классификатора для обеспечения консистентности и сопоставимости данных из различных источников и проектов. Поддержка иерархических классификаторов для детализации данных.
- Интерактивный пользовательский интерфейс (UI): Веб-интерфейс, разработанный на фреймворке Vue + Vuetify, обеспечивает удобный доступ к функциональности платформы. Визуализация результатов сравнения показателей в интерактивных таблицах. Экспорт данных в формате Excel для дальнейшего анализа.
- API интеграции: REST API для взаимодействия с внешними системами и автоматизации процессов.
- Обогащение данных: Автоматизированная загрузка нормативных данных из платформы Questionnaire Maker (для проектов «Быстрые решения skORO»). Поддержка импорта данных из файлов Excel (ручная загрузка).
Технологический стек
Frontend
SPA (single page application) на основе JS-фреймворк Vue с UI-расширением Vuetify Vuetify (vuetifyjs.com ) , которое позволяет использовать готовые компоненты
Backend
Python-фреймворк Django + DRF (Django REST Framework) (djangoproject.com), на котором разработано управление серверной логикой, обработка данных и интеграция с внешними сервисами.
База данных
PostgreSQL – объектно-реляционная СУБД, обеспечивающая надежное хранение, высокую производительность и масштабируемость.
Инфраструктура
- Операционная система: Linux/Ubuntu – серверная операционная система, обеспечивающая стабильность и безопасность.
- Серверная инфраструктура состоит из трех Docker-контейнеров (docker.com): Django с Gunicorn: Контейнер с Django-приложением, использующим Gunicorn (gunicorn.org ) в качестве веб-сервера для обработки HTTP-запросов. Nginx: Контейнер с Nginx ( ngnix.org ), выполняющим роль обратного прокси-сервера для Django-приложения, а также обслуживающим статические файлы. PostgreSQL: Контейнер с базой данных PostgreSQL, используемой Django-приложением для хранения и управления данными.
Преимущества:
- Высокая производительность: Оптимизированная архитектура и использование PostgreSQL обеспечивают быструю обработку запросов и масштабируемость.
- Надежность и безопасность: Использование проверенных технологий и серверной инфраструктуры обеспечивает стабильную работу платформы и защиту данных.
- Автоматизация: Автоматизация процессов сбора, обработки и сравнения данных минимизирует ручной труд и снижает вероятность ошибок.
- Улучшенная аналитика: Возможность создания целевых выборок и применение различных алгоритмов расчета.
Назначение:
Веб-сервис позволяет оценивать качество проводимых онлайн интервью в автоматическом режиме и выявлять потенциальный брак в собранных данных. В процессе интервью, мы просим респондентов в некоторых вопросах анкеты, записать ответ в свободной форме, текстом. Иногда, недобросовестный респондент, может дать ответ на такие вопросы с недопустимым или некорректным содержанием или просто ввести случайный набор символов, чтобы быстрее перейти к следующему вопросу. Для анализа данных, такие текстовые вопросы очень важны, поэтому необходимо контролировать их качество. Система на регулярной основе, в автоматическом режиме, подключается к платформе сбора данных, считывает собранные на текущий момент данные и используя переобучаемый ML-алгоритм, выдает вероятностную оценку, является ли это высказывание респондента браком. Подозрительные данные автоматически высылаются модераторам, которые принимают финальное решение о браке. Используя эти валидизированные данные, ML-алгоритм переобучается. Таким образом, еще на этапе сбора данных, мы автоматически исключаем из финальных данных недобросовестных респондентов. Платформа имеет интерфейс, через который пользователь может получить доступ ко всем контролируемым когда-либо проектам, посмотреть на собранные данные и на результат их верификации, настроить триггеры на какое-либо событие, например, если собрали 50% выборки, то запустить проверку данных.
Технологический стек
Frontend
Веб-интерфейс рендерится на стороне сервера с использованием Django Templates, а элементы UIсозданы с помощью библиотеки Bootstrap (getbootstrap.com)
Backend
Серверная часть реализована на Python-фреймворке Django. Он отвечает за обработку запросов, управление бизнес-логикой и рендеринг HTML-шаблонов.
База данных
MySQL (mysql.com) – популярная объектно-реляционная СУБД, обеспечивающая надежное хранение, высокую производительность и масштабируемость.
Инфраструктура
- Операционная система: Linux CentOS
- Серверная часть: Система управления службами systemd используется для запуска и управления процессом WSGI-сервера Gunicorn, который обслуживает Django-приложение. Веб-сервер Nginx выступает в роли обратного прокси-сервера, принимая HTTP-запросы и перенаправляя их на Gunicorn
Назначение:
Онлайн симулятор предназначен для моделирования вероятности выбора произвольной концепции среди других концепций, которые описываются набором различных атрибутов, например, цвет, цена, тип упаковки и т.д. Каждый атрибут имеет свой список допустимых значений, например, атрибут «цвет», может быть желтым, красным или зеленым. Предварительно, проводится специальное исследование, где опрашиваемым респондентам предъявляют наборы разнообразных концепций и уточняют, какую они предпочтут, среди остальных. На основании собранных данных строится математическая модель выбора, которую загружают в виде специального файла в симулятор. В итоге, пользователь может проектировать любое кол-во и любые концепции из доступных значений атрибутов и рассчитывать вероятность выбора каждой из концепций, тем самым определяя их эффективность или потребительский потенциал. В симуляторе настроены личные кабинеты для каждого пользователя, с доступом только к своим данным. Модель можно настраивать через веб-интерфейс, создавая концепции, используя веса и фильтры, а результат получать в виде таблиц, которые по желанию можно экспортировать в Excel.
Технологический стек
Frontend
Выполнен на основе JS-фреймворка Vue с UI-расширением Vuetify (vuetifyjs.com), которое позволяет использовать готовые компоненты
Backend
Реализован на фреймворке Flask (flask.palletsprojects.com), используемый для создания веб-приложений на языке Python. Этот фреймворк поддерживает модульность и в него легко встраиваются сторонние расширения. Общение frontend и backend организованно через API по протоколу http.
База данных
В качестве базы данных выбрана СУБД SQLite (sqlite.org), которая является простым и скоростным решением для интегрирования в Python-приложений
Инфраструктура
- Операционная система: Linux CentOS (centos.org)
- Flask-приложение запущено как сервис в systemd, работает в связке с Gunicorn (gunicorn.org) – многопоточным WSGI-сервером (Web Server Gateway Interface)
- Nginx (nginx.org) выполняет роль обратного прокси-сервера для маршрутизации запросов и обслуживания статических данных
Технологический стек
