Блокировка файла. Множественный доступ к файлу.

Автор: Тарасов А.Е. (ТАЕ)

Рецензент: Кузнецов В.А.

Дата: 01.2015

В языке Rexx не реализован функционал синхронизации записи в один файл разными процессами. Файл может быть много кратно открыт, как для чтения, так и для записи, но без всякого контроля. Для решения задачи необходимо написать самостоятельные процедуры, использующие в своей работе какой либо дополнительные признак.

В процессе изучения данного вопроса были намечены три признака, которые можно использовать для этих целей:

  • Атрибуты файла.
  • Семафоры, типа «взаимное исключение» (mutex).
  • Использование файла флага.

Давайте отдельно остановимся на каждом из них:

 

* Атрибуты файла.

У каждого файла есть набор атрибутов: архив, каталог, скрытый, только чтение, системный. Так же существует возможность использовать расширенные атрибуты файлов. Мне понравилась идея использовать для маркировки файла его атрибуты в том, что сам файл начинает нести информацию о возможных режимах работы с ним, и не нужно привлекать дополнительные внешние средства.

От идеи использования расширенных атрибутов, пришлось отказаться сразу, так как они реализованы далеко не во всех файловых системах, и не все интерпретаторы Rexx имеют средства для работы с ними.

Из стандартных атрибутов файла, для работы было выбрано два: скрытый и системный.

В RexxUtil есть команда SysFileTree — получение информации о файлах (списках файлов). С её помощью можно не только искать файлы по маске атрибутов, но и устанавливать нужные атрибуты у всех найденных файлов.

Ложка дегтя оказалось в том, что в интерпретаторе Regina (который я использую в Windows) не реализована возможность установки атрибутов файлов. О чем прямо написано в документации. Иной возможности установить атрибуты файлов средствами Rexx найти не удалось. Что заставило воспользоваться для этих целей внешней утилитой, которая есть в любой ОС «attrib». Это решение значительно повысило временные расходы. Но лучше пока, ни чего нет.

В приведенных примерах в переменной «FileActual» содержится путь и имя файла, который необходимо блокировать.

         /* Защита от одновременной записи в файл через атрибуты (одиночная блокировка) */

do until FileActual.0>0
call SysFileTree FileActual, ‘FileActual’,’FN’,’**-*-‘
if FileActual.0>0 then ‘attrib +h «‘FileActual'» > nul’
else call SysSleep Random(1,5)/10
end /* until FileSearch.0>0 */

/* Снятие защиты файла */

‘attrib -h -s «‘FileActual'» > nul’

/* Защита от одновременной записи в файл через атрибуты (двойная блокировка) */

do until FileActual.0>0

call SysFileTree FileActual, ‘FileActual’,’FN’,’**-*-‘

if FileActual.0>0 then do

‘attrib +h «‘FileActual'» > nul’

call SysSleep Random(2,10)/100 /* Пауза для раз синхронизации процессов 0,02-0,1 сек.*/

call SysFileTree FileActual, ‘FileActual’,’FN’,’**+*-‘

if FileActual.0>0 then ‘attrib +s «‘FileActual'» > nul’

end /* if */

else call SysSleep Random(1,5)/10 /* Пауза ожидания освобождения файла 0,1-0,5 сек.*/

end /* until FileSearch.0>0 */

/* Снятие защиты файла */

‘attrib -h -s «‘FileActual'» > nul’

 

* Семафоры, типа «взаимное исключение» (mutex).

Это заведуемые ОС структуры данных, координирующие доступ к устройствам посредством специального API. Семафоры используются как сигналы начала или окончания операций над ресурсом для обеспечения взаимоисключающего доступа к ним.

Как правило, семафоры используются для управления множественного доступа к ресурсу и совместного использование одного ресурса несколькими процессами. Семафоры определяется системой, и размещаются во внутренней памяти. Имена семафора должно включать префикс ‘/SEM32/’. Максимальная длина имени семафора в разных источниках указана разная. В инструкции к RexxUtil для OS/2 указана максимальная длина имени 255 символов, тогда как в «IBM Knowledge Center» (http://www-01.ibm.com/support/knowledgecenter/SSZND2_6.0.0/com.ibm.etools.iseries.orxw.doc/orxw_ref603.htm?lang=ru) для Object REXX указана максимальная длина 63 символа.

Rexx позволяет работать с двумя видами семафоров:

  • «взаимное исключение» (mutex) — используется для систематизации доступа к ресурсам.
  • «множественное ожидание» (muxwait) — ожидание наступления нескольких событий для доступа к ресурсам. Управление ожиданием наступления события происходит через «события семафора» (Event semaphores).

Семафоры управляются командами RexxUtil: SysCreate…() SysOpen…(), и SysClose…(). Дополнительно семафоры «взаимного исключения» (Mutex) управляются командами SysReleaseMutexSem() и SysRequestMutexSem(), а «события семафоров» управляются через команды: SysPostEventSem(), SysResetEventSem(), и SysWaitEventSem().

Для решения задачи множественного доступа к файлу воспользуемся семафором «взаимного исключения» (mutex).

В примерах переменная «SemName» содержит имя семафора.

         /* Защита от одновременной записи в файл через семафоры*/

SemName=’/SEM32/’Year||MonthDay

SemName=SysCreateMutexSem(SemName)

do while SysRequestMutexSem(SemName,10)<>0

end /* until */

/* Снятие защиты файла */

call SysReleaseMutexSem SemName

call SysCloseMutexSem SemName

 

* Использование файла флага.

Это классический вариант блокировки с использованием флагов в виде файлов. Система реализованная во многих программах. Главным недостатком является дополнительная нагрузка на диск и файловую систему. Достоинством, простота организации на любом языке программирования, что позволяет организовывать совместную работу разных программ от разных авторов.

При проработки этой темы рассматривалось два сценария работы:

  1. Создание файла блокировки при начале работе с исходным файлом, и последующее удаление флага. Ищем наличие флага.
  2. Изначальное создание файлов флагов для каждого файла, а при начале работы с исходным файлом перемещение (move) файла флага во временный каталог, с последующим возвратом. Ищем отсутствие файла.

Второй вариант, хоть и приводит к удвоению файлов, но должен позволять обойти ряд скольких мест. Не смотря на это, было принято решение все-таки реализовывать только первый вариант.

В приведенных примерах в переменной «FileActual» содержится путь и имя файла, который необходимо блокировать.

         /* Защита от одновременной записи в файл через lock файл*/

do until FileActual.0=0

call SysFileTree FileActual’.lock’, ‘FileActual’,’FN’,’*****’

if FileActual.0=0 then call lineout FileActual’.lock’

else call SysSleep Random(1,5)/10

end /* until FileSearch.0=0 */

/* Снятие защиты файла */

call sysFileDelete FileActual’.lock’

 

Сравнительный анализ.

Теперь давайте сравним приведенные методы блокировки файлов между собой. Для чего проведем ряд тестовых запусков одного итого же скрипта, но с разными системами блокировка. Обрабатывать будем 209 файлов, общим объемом 6.7Мб.

Необходимо выбрать скрипт который агрессивно пытается забирать файла на монопольное использование. Для этих целей идеально подходит скрипт аналог команды “update”. Перед нашим скриптом поставим задачу проверить каждую строку в каждом файле на соответствие неким условиям, и если условия выполняются внести изменения в строку, после чего переписать файл. Условия подобраны так, что в каждом файле, будут найдены одна или несколько строк, для внесения изменений.

Для получения статистически данных, каждый вариант блокировки будет протестирован трижды.

В таблице приведены данные одиночного запуска скрипта, время в секундах.

Метод блокировки
Атрибуты Семафоры Файлы
1 68,985 31,196 23,335
2 57,135 23,258 22,997
3 58,355 22,495 23,031
Минимальные значения 57,135 22,495 22,997
Средние значения 61,492 25,650 23,121

Как видно из таблицы, минимальное время зафиксировано при использовании алгоритма на основе семафоров. За ним с минимальной разницей в 0,502 сек. идет метод на основе файловых флагов. А метод на основе использования атрибутов значительно проигрывает, что связано с вынужденным использованием внешней командой системы «attrib». Считаю, что если удастся найти замену команде «attrib», то результат будет как минимум на том же уровне.

Если смотреть на средние значения, то впереди метод на основе файловых флагов. На статистику метода семафоров отрицательно сказался результат первого замера, который аномально большой. Вероятно, на выполнение скрипта оказало влияние внешние факторы.

Опираясь на данные таблицы, можно сказать, что алгоритмы с использованием семафоров, и файловых флагов – показали примерно равные результаты.

Теперь давайте усложним задачу и при тех же условиях проверим, как поведут себя алгоритмы при одновременной работе четырех скриптов. У каждого из запущенных скриптов будут свои не пересекающиеся условия для проверки строк, но так что бы строки для изменения нашлись в каждом файле.

Данные по тестовым запускам сведем в следующую таблицу.

Атрибуты Значения
1 2 3 4 Минимальные Средние
1 72,867 81,024 79,432 66,356 66,356 74,920
2 79,848 80,852 81,323 81,323 79,848 80,837
3 72,999 71,396 73,203 71,390 71,390 72,247
Итого: 66,356 76,001
Семафоры Значения
1 2 3 4 Минимальные Средние
1 37,689 38,055 36,859 35,822 35,822 37,106
2 38,211 38,957 39,270 37,918 37,918 38,589
3 37,965 38,814 37,962 36,691 36,691 37,858
Итого: 35,822 37,851
Файлы Значения
1 2 3 4 Минимальные Средние
1 31,878 36,641 35,33 35,972 31,878 34,955
2 34,446 34,608 35,179 35,694 34,446 34,982
3 26,121 33,723 32,165 32,286 26,121 31,074
Итого: 26,121 33,670

 

Как видно, результаты стали предсказуемо хуже, но не очень критично. Зато у нас появился практически безоговорочный лидер, это метод на основе файловых флагов. Хотя, если честно, я ожидал победу метода на основе семафоров, так как он позволяет минимизировать обращения к диску.

 

Выводы.

В данной статье мы рассмотрели три способы решения в Rexx задачи блокировки файлов при множественном доступе к нему. Эти методы, основанные на использовании:

  • Атрибуты файла,
  • Семафоры, типа «взаимное исключение» (mutex).
  • Использование файла флага.

По результатам сравнительного анализа, самым быстрым оказался метод на основе файловых флагов. Значительно худшие показатели метода на основе атрибутов файлов, обусловлены использованием в работе внешней команды системы. Но сам метод интересен тем, что в нем сам файл несет всю информацию о режимах работы с ним. В определенный момент это может стать значимым отличием.

Окончательное решение, какой же метод использовать должен принимать программист, исходя из поставленной задачи и внешними факторами.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *