СПЕЦИФІКА ПРОЕКТУВАННЯ ТА РОЗРОБЛЕННЯ ІНФОРМАЦІЙНОЇ СИСТЕМИ ПАРСИНГУ ДАНИХ

Анотація

У дослідженні запропоновано та реалізовано підхід щодо опрацювання зображень графіків відключень на основі OCR із попередньою обробкою зображень і постобробкою результатів розпізнавання (виправлення типових помилок, відновлення часу, перевірка допустимих діапазонів), що підвищує придатність результатів до подальшого збереження і використання у сповіщеннях. Здійснено проєктування модульної архітектури системи з інтеграцією компонентів через централізовану базу даних PostgreSQL, а також реалізовано конвеєр опрацювання даних, що забезпечує уніфікацію дат і часових інтервалів, контроль цілісності даних та запобігання дублюванню записів при повторних запусках і регулярному моніторингу.  Окрему увагу приділено забезпеченню надійності та цілісності транзакцій. Для цього в класі реалізовано механізм контекстних менеджерів, що гарантує автоматичний відкат будь-яких змін у разі виникнення помилок під час виконання операцій. Кожен метод класу передбачає попередню перевірку активності підключення, що запобігає збоям у роботі асинхронних парсерів та бота при тимчасових втратах зв'язку з сервером БД. Використання такої архітектури дозволяє зосередити всю логіку маніпулювання даними в одному модулі, спрощуючи тестування та подальший розвиток системи. Практичне значення роботи полягає у створенні інформаційної системи парсингу даних, який зменшує обсяг ручної перевірки джерел, забезпечує актуалізацію даних у режимі моніторингу та надає користувачам зручний доступ до результатів і сповіщень. Перспективи подальшого розвитку інформаційної системи включають розширення переліку джерел, підвищення точності OCR за рахунок адаптивної сегментації та додаткових правил нормалізації, удосконалення стійкості до змін форматів публікацій, а також розширення метрик якості й моніторингу продуктивності в реальних умовах експлуатації.