Конкретный статистический анализ экспериментальных данных состоит из четырех-этапных процессов: «Полная запись необработанных данных → Ручная маркировка и классификация → Расчет основных показателей → Проверка значимости». Каждый шаг практичен и обеспечивает строгие и надежные статистические результаты:
Шаг 1. Полная запись необработанных данных (без потери информации)
После начала эксперимента каждая точка данных записывается в следующем формате. Рекомендуется экспортировать его в виде таблицы CSV/Excel:
Время записи таблицы Стадия процесса Датчик A Необработанное значение Датчик B Алгоритм необработанного значения Выходной сигнал отклонения Сигнал тревоги (маркировка вручную)
2026-xx-xx xx:xx Впрыск 12.352 12.358 0.006 Да Реальная неисправность/ложная тревога
Правила записи:
Всякий раз, когда алгоритм вызывает тревогу, она должна быть записана на 100% без пропусков;
При нормальном производстве без аварийных сигналов необходимо записывать данные отклонений только один раз в час (для последующей статистики 3σ нет необходимости хранить все данные);
Во время тестирования с моделированием неисправности время возникновения неисправности должно регистрироваться отдельно для расчета задержки реакции.
Шаг 2. Классификация вручную (отличение истинных и ложных тревог)
После того, как все записи тревог будут завершены, вручную классифицируйте их одну за другой:
|
Тип сигнала тревоги |
Критерии вынесения решения |
|
Истинная тревога (TP) |
Имеется истинная неисправность датчика/отклонение установки/дрейф, превышающий допуск (подтверждается после замены и проверки), или истинная неисправность вводится вручную. |
|
Ложная тревога (ФП) |
Тревога сработала исключительно из-за помех/колебаний, хотя датчик и установка в порядке. |
|
Пропущенный сигнал тревоги (FN) |
Реальная неисправность существует (введена вручную или фактически подтверждена), но алгоритм не вызвал сигнал тревоги. |
Примечание. Для пропущенных сигналов тревоги необходимо учитывать только «известные действительные неисправности»; случаи без ошибок учитывать не нужно. Просто подсчитайте, «сколько раз известная неисправность не вызывала срабатывания сигнализации».
Шаг 3: Количественный расчет основных показателей
Рассчитайте четыре основных показателя, используя следующие формулы, и напрямую сравните результаты:
1. Частота ложных тревог (большинство основных)
Частота ложных тревог=Всего тревог (TP + FP) / Ложных тревог (FP) × 100 %
Пример: всего 20 тревог, 3 из которых были ложными, доля ложных тревог=3/20=15 %.
2. Частота ложных тревог
Частота ложных тревог=Общее количество фактических неисправностей (TP + FN) / ложных тревог (FN) × 100 %
Пример: зарегистрировано 10 фактических неисправностей, 0 ложных срабатываний, доля ложных срабатываний=0%
3. Средняя задержка ответа
Для каждого фактического сигнала тревоги рассчитайте время сигнала - время возникновения неисправности, чтобы получить задержку для одной-попытки. Затем возьмите среднее значение всех задержек при одной-попытке, чтобы получить среднюю задержку ответа.
4. Долгосрочная-стабильность (частота изменения частоты ложных тревог).
Коэффициент изменения частоты ложных тревог=|Частота ложных тревог через 3 месяца - Начальная частота ложных тревог|
Пример: первоначальный уровень ложных тревог 2%, уровень ложных тревог через 3 месяца 2,8%, частота изменений=0.8%, соответствует отличному стандарту.
Шаг 4. Проверка значимости результата (избежание случайных ошибок)
Если разница между двумя группами частоты ложных тревог незначительна, используйте критерий хи-, чтобы проверить, является ли разница случайной:
Вычислите значение хи-квадрат. Если p < 0,05, это означает, что снижение частоты ложных тревог оптимизированного алгоритма является реальным и эффективным, а не случайным колебанием; если p > 0,05, это означает, что разница незначительна, и период тестирования необходимо продлить перед дальнейшей статистикой.
Если вы не знакомы с тестом хи-квадрат, вы можете непосредственно посмотреть на «процент снижения частоты ложных тревог»: если частота ложных тревог оптимизированного алгоритма снижается более чем или равна 60 % по сравнению с исходным алгоритмом, можно определить, что производительность выше и достаточна для инженерных сценариев.
