Современные анализаторы журналов перед решением задач анализа обычно агрегируют информацию из различных источников в одной базе данных. Предположим, что несколько веб-серверов сохраняют информацию о своей посещаемости в файлах-журналах, при этом, в результате ежедневной ротации, количество журналов на каждый сервер может быть произвольным. Каждая строка журнала содержит стандартизованный набор информации, которую, перед анализом, надо агрегировать в отдельном целевом файле. Если задача выполняется на многопроцессорной системе, программа-агрегатор имеет возможность значительно ускорить свою работу, распараллелив обработку исходных журналов.
Задача заключается в разработке программы-агрегатора, которая создает целевой файл result.agr и контролирует к нему доступ. Программа создает набор дочерних процессов, по одному процессу на каждый файл журнала, переданных в командной строке.
Когда дочерний процесс желает получить доступ к result.agr, он посылает сигнал_1 родительскому процессу и дожидается получения такого-же сигнала в ответ, после чего начинает обработку result.agr. Если в течении заранее заданного времени ответ от родительского процесса не получен, дочерний процесс повторяет отправку сигнала вплоть до получения ответа. По окончании обработки родительскому процессу посылается сигнал_2.
Родительский процесс контролирует доступ к result.agr комбинациями сигналов 1 и 2. Получение сигнала_1 при свободном result.agr побуждает родительский процесс зафиксировать факт захвата и подтвердить его дочернему процессу обратной отправкой сигнала_1. Получение сигнала_2 от дочернего процесса, захватившего ранее result.agr, освобождает result.agr. Пока result.agr захвачен одним дочерним процессом, попытки его захвата другими дочерними процессами сохраняются в очереди. По факту освобождения result.agr доступ к нему должен быть разрешен первому процессу в очереди.
Формат файла журнала:
дата_посещения1 время_посещения1 посещенная_вебстраница1
дата_посещения2 время_посещения2 посещенная_вебстраница2
....
дата_посещенияN время_посещенияN посещенная_вебстраницаN
Пример содержимого файла журнала:
2020-11-06 00:00:01 https://shgpi.edu.ru/forum/viewtopic.php?p=5965
2020-11-06 00:00:08 http://files.shgpi.edu.ru/files/faculties/f12/news/2018/05/grajd_obschestvo_v_licah_2_min.jpg
2020-11-06 00:00:25 https://lib.shgpi.edu.ru/forum/ucp.php?mode=privacy&sid=bc5751cfee2deed80c32429b28e4fab1
...
Формат целевого файла result.agr
уникальное_имя_сервера1 суммарное_количество_посещений1
уникальное_имя_сервера2 суммарное_количество_посещений2
...
уникальное_имя_сервераN суммарное_количество_посещенийN
Пример содержимого целевого файла:
shgpi.edu.ru 1321
lib.shgpi.edu.ru 23
eos.shspu.ru 4532
vt.shgpi.edu.ru 48
...