Компания «Связьком» готовит к выходу новую версию платформы «Связьком.SMS Firewall», дополненную модулем искусственного интеллекта. Его разрабатывает команда ученых-математиков, задействуя весь спектр новейших технологий и научных достижений. Что же это за загадочный «черный ящик», который выводит анализ SMS-трафика на качественно новый уровень, оставляя конкурентные решения далеко позади?
Искусственный интеллект (artificial intelligence, AI) — широкое понятие, охватывающее разные сферы научно-технической деятельности. AI включает в себя как научные теории, так и конкретные технологические практики по созданию программ, приближенных к интеллекту человека.
Машинное обучение (machine learning, ML) — один из разделов AI. Это отдельный класс алгоритмов, математических моделей, способных «обучаться», т.е. изменять свои параметры в зависимости от качества поступающих данных. Задача машинного обучения состоит в вычислении параметров модели, которые будут обеспечивать высшую точность решения задачи. Одним из самых известных методов ML является нейросеть. Но он далеко не единственный: наши разработчики пробуют разные алгоритмы, проверяя эффективность каждого на тестовом наборе данных, а затем выбирают лучший вариант. Четко понимая причины получения того или иного результата, аналитики могут сознательно влиять на изменение работы алгоритмов. Таким образом, модуль AI — это, скорее, не «чёрный», а «прозрачный» ящик.
Для выявления мошеннических схем используется метод тематического моделирования и векторное представление текста. В основе этого подхода лежит матрица семантических связей между словами и оценка расстояния между вектором классифицируемого сообщения и вектором модели. Чем ближе два вектора, тем вероятнее, что сообщение относится к спаму. При анализе обычной переписки между людьми, по всем моделям получается далекое расстояние между векторами (см. пример 1).
Если сообщения обладают высокой схожестью с большим числом различных получателей без стабильных связей между ними, такая группа выделяется как спам с отправителем в основной вершине графа (см. пример 2). Мера похожести текстов внутри графа представляет собой число между 0 и 1. Чем ближе значение похожести к 0, тем разнообразнее тексты (гипотеза о спаме не подтверждается). Чем ближе значение к 1, тем выше вероятность,что сообщение принадлежит к спаму.
Пример 1.
Общение между 28 людьми, из которых 19 общались активно, а 9 только получали смс. Все темы различны, малая степень похожести = 0.0756.
Пример 2.
Рассылка на 209 номеров. Сходство сообщений внутри выделенной группы = 0.99
Ключевой вопрос эффективной работы модуля AI — качественные данные для обучения. Ошибки или небрежность при подготовке данных обучающей выборки приведут к низкому качеству модели. Максимальное разнообразие вариантов содержания сообщений, большое количество сообщений от разных отправителей как легального, так и спам-трафика, дадут высокую точность распознавания.
Важно отметить, что персональные данные абонентов, используемые при обучении, хэшируются, но все взаимосвязи внутри диалогов при этом сохраняются. После инсталляции платформы в сеть оператора доступ к конфиденциальной информации оказывается закрыт для всех. Модуль AI может работать без постоянного контроля извне, сохраняя абонентские данные недоступными для разработчиков и операторов платформы.
Система без модуля AI фильтрует трафик при помощи регулярных выражений, которые составляют операторы платформы. В некоторых случаях, при обнаружении спам-трафика возникают трудности при создании четкого правила его фильтрации. Но проблему подбора регулярного выражения можно решить с помощью ML. В результате текстового анализа обучающей выборки спам-сообщений будут получены уникальные сообщения с маркировкой «спам». Все похожие на них сообщения впоследствии тоже будут классифицироваться как спам — в зависимости от степени схожести.
Эффективен модуль AI и при обнаружении «серых» маршрутов отправки сообщений, негативно влияющих на прибыль оператора. Например, так называемых «сим-ферм»: использования большого количества обычных сим-карт для отправки коммерческих A2P-сообщений. Поскольку содержание таких сообщений чаще всего корректное, а номера отправителя ранее не были «засвечены», стандартный подбор регулярных выражений может не помочь в выявлении всех инцидентов. Если использовать только анализ текста, под блокировку может попасть масса обычных сообщений, в которых, например, один пользователь отправляет другому код от приложения. Максимально эффективной будет комбинация поведенческого и тематического анализа.
Модуль AI, обученный, в том числе, и на легальном трафике, сделает следующее:
- На основе поведенческого анализа определит, что данный трафик является массовой рассылкой, а не обычным общением людей.
- Обнаружит совпадения в содержании передаваемых сообщений с тем, что должно идти через SMPP-канал.
Модуль AI дает возможность гибкой настройки анализа трафика. По умолчанию все проверки совершаются в режиме реального времени. Но трафик может быть проанализирован и в часы наименьшей нагрузки на сеть (например, ночью анализируется трафик за прошедшие сутки). Также в зависимости от потребностей заказчика, модуль AI может по-разному реагировать на события: создавать новые правила блокировки самостоятельно или уведомлять оператора о подозрительных активностях.
Человек не в состоянии конкурировать с машиной в скорости обработки больших объемов информации. Еще совсем недавно решить задачу выявления нелегального трафика казалось возможным только при помощи десятков аналитиков. Теперь, благодаря модулю AI, анализ трафика ведется в автоматическом режиме, позволяя операторам платформы быстро реагировать на угрозы безопасности сигнальной сети, экономя время и человеческие ресурсы.
Преимущества системы с добавленным модулем AI очевидны:
- Работа аналитиков операторов связи на качественно новом уровне: система автоматически отбирает подозрительный трафик и сообщает об этом.
- «Серый» трафик оперативно переводится в легальный статус, что увеличивает прибыль оператора.
- История динамики поведения и изменения тематического спектра дает возможность для дальнейшего развития интеллектуального функционала системы.
«Связьком» непрерывно работает над улучшением качества своей продукции, используя лучшие достижения современной науки. Обновленная платформа «Связьком.SMS firewall» с добавленным модулем AI будет, без преувеличения, одним из самых мощных средств защиты внутренней сети оператора. Она будет доступна как для новых клиентов, так и для тех, кто уже использует нашу продукцию и задумывается об обновлении.
Материалы по теме:
Обзор платформы «Связьком.SMS firewall»
Описание платформы «Связьком.SMS firewall» на сайте компании
