4. Код Шеннона-Фано и Хаффмана Одним из способов эффективного кодирования является использование алгоритмов Шеннона-Фано и Хаффмана, которые создают префиксные коды для символов с учётом их вероятности. Код Шеннона-Фано: этот алгоритм делит набор символов на две группы таким образом, чтобы сумма вероятностей в каждой группе была как можно более равной. Каждой группе присваиваются соответствующие префиксные коды. Код Хаффмана: алгоритм строит дерево, где более вероятные символы размещаются ближе к корню, а менее вероятные — дальше. Этот метод всегда даёт оптимальное решение с точки зрения ми

3. Кодирование и сжатие данных Кодирование — процесс преобразования данных в определённый формат для их эффективной передачи или хранения. Важной задачей кодирования является уменьшение объёма данных без потери информации. Эту задачу решают различные алгоритмы сжатия данных, которые обеспечивают компактность данных, но при этом сохраняют их целостность. Пример: алгоритмы сжатия, такие как ZIP или JPEG, уменьшают размер файлов, удаляя избыточную информацию, но не теряя важные данные, которые позволяют восстановить оригинальный файл. Энтропия как основа для сжатия данных: Теория информации ут

Пример Энтропии, как меры неопределенности: Если мы подбрасываем честную монету, вероятность выпадения орел или решка равна 50%. Энтропия будет максимальной, так как оба исхода одинаково вероятны. 2. Канал передачи информации Канал — это средство, через которое передаются данные от источника к получателю. Канал может быть как идеальным, так и шумным. В идеальном канале информация передается без потерь и искажений. Однако на практике всегда присутствует шум — случайные помехи, которые изменяют или теряют часть данных. Это может происходить в электрических сигналах, радио или даже при передач