Анализ технических систем на основе энтропии Альфреда Реньи

Техническая система подлежит анализу с цель сохранения ее работоспособности.

Среди средств анализа важную роль занимают информационные технологии, позволяющие автоматизировать данный процесс. Затруднения в получении достоверных результатов анализа связаны с наличием неопределенности информации, измерение которой осуществляется через меру неопределенности, то есть энтропию. Энтропия и информация рассматриваются как ключевые составляющие модели современных экономических и социальных систем.

Взаимосвязь энтропии и информации нашла отражение в известной формуле [1]: где H – энтропия, I – информация.

Данное соотношение является удобным средством интерпретации результатов анализа динамики изменения состояния системы во времени [3, с. 167].

Информационные технологии и телекоммуникации 2.3.1 (1) Применение теории вероятностей и исчисление меры неопределенности является неотъемлемой частью функционирования различных технических систем. Например, в области искусственного интеллекта и машинного обучения, вероятностные методы используются для моделирования и оптимизации систем распознавания образов, обработки естественного языка и принятия решений.

Рассматривая изолированные системы, широкое применение нашла математическая модель К. Шеннона [2]:

1

1

, нат. (2)

Выражение справедливо для анализа независимых событий с вероятностями p i. Например, при передаче букв и символов модель Шеннона хорошо справляется, но недостаточно эффективна для оценки состояния сложной структуры системы, в которой изобилует большое количество связей (свидетельствующее о наличии зависимости между элементами системы) [1, с. 379- 423].

Одним из подходов в измерении неопределенности информации, является модель, разработанная Альфредом Реньи и позволяющая измерять степень неопределенности в системе [3].

Неопределенность может возникать из-за недостаточности информации, наличия шума или непредсказуемых факторов. Альфред Реньи предложил использовать понятие энтропии для оценки неопределенности. Его разработки находят все более широкое применение в анализе открытых технических систем.

Один из ключевых аспектов работы Реньи состоит в описании и понимании различных уровней неопределенности в информации, которые могут возникать при функционировании технических систем. Полученная им формула имеет вид вычисления энтропии порядка α ≥0, α ≠ 1 и определяется как 1 1 α α α   − ∑, (3) где параметр α принимая конкретные значения позволяет получать разные меры однородности систем, p i – появление вероятностей событий i, k – количество событий.

При равных вероятностях, все распределения энтропии Реньи будут равны, H α =ln n. В противном случае, энтропии слабо уменьшаются как функция от α. Высокие значения α, позволяют вычислить энтропию Реньи, которая в большей степени определяется через рассмотрение только самых высоких вероятностей событий. Низкие значения α, стремящиеся к нулю, дают энтропию Реньи, которая свидетельствует о том, что все возможные события распределяются более равномерно, независимо от их вероятностей. Возможен случай при α=1, в этом случае получим энтропию Шеннона, которая обладает особыми свойствами. При α=0 можно получить максимально возможную энтропию Шеннона, ln(k) [2].

Энтропия Реньи имеет ряд преимуществ по сравнению с другими мерами неопределенности. Во-первых, она более устойчива к выбросам и шуму, чем энтропия Шеннона. Во- вторых, она может быть применена к различным типам данных, включая непрерывные и дискретные величины. В-третьих, она позволяет регулировать чувствительность к различным уровням вероятности [4, с. 343].

Реньи разработал понятия энтропии и информационной энтропии, которые являются ключевыми инструментами для измерения и анализа неопределенности информации. Он показал, что информационная энтропия является мерой количества информации, необходимой для описания или предсказания состояния неоднородной технической системы.

Кроме этого, разработки на основе метода Реньи найдут свое применение при разработке алгоритмов сжатия данных, кодирования и передачи информации, требующие учета возможной неопределенности и шума в каналах связи. Разложение системы на ее подкомпоненты и анализ каждого из них с помощью энтропии Реньи позволяет получить новые идеи о структуре системы и характере ответа системы на внешние возмущения [5, с. 2073] Таким образом, анализ состояния технических систем на основе неопределенности информации А. Реньи имеет важное значение для различных областей знаний. Его работы в сфере исчисления неопределенностей и теории вероятностей способствовали развитию эффективных методов анализа и принятия решений в условиях неопределенности. Интеграция метода Реньи в данную сферу научной деятельности позволяет разрабатывать более надежные и устойчивые открытые технические системы, способные эффективно функционировать в условиях изменчивости информации.