Обновление политики хранения документов

В системе е-поселок возможно прикрепление документов к карточкам собственников, карточкам участков, в архив документов поселка и к новостям. Е-поселок в настоящий момент ограничивает размер данного хранилища 1 Гб для каждого поселка и в большинстве случаев по мере необходимости расширяет данный лимит. Тем не менее за последние полгода мы столкнулись с некоторыми злоупотреблениями со стороны администраций поселков, связанными с загрузкой pdf файлов размером по 20-30-50 и даже 100 Мб. Место для хранения таких объемов файлов выделяется динамически, а когда речь идет о предоставлении места на скоростных дисках, прежде чем файлы уйдут на холодные накопители, цена такого места довольно высока. 15 октября в 6 утра мы столкнулись с активной загрузкой такого рода больших файлов, наша система попыталась сделать техническую резервную копию хранилища, и динамическая система, рассчитанная на адекватные объемы файлов и плавное увеличение хранилища, не справилась с выделением достаточного места. В результате с 15 октября с 6 утра до 11 утра (воскресенье) доступ к е-поселку был затруднен, а для некоторых поселков - ограничен. Пользователи могли видеть сообщения о блокировке доступа к базам данных или нехватки места на дисках. Это, конечно, наша недоработка, мы приносим извинения за неудобства, сделаем алгоритмические выводы. К 11 утра проблему решили вручную.

Но Е-поселок - это все-таки не холодный архив и сетевой диск. Для целей вечного хранения гигантских документов мы рекомендуем все-таки использовать всевозможные яндекс.диски и гугл.документы. Документы в е-поселок - это все-таки документы для оперативной работы, это именно документы, преимущественно сканы одностраничных свидетельств, пятистраничных выписок, протоколов собраний и т.п. файлы, а их размер ну никак не может быть такого чудовищного размера. Это не полиграфия в исходном качестве в 600dpi. В связи с этим мы приняли решение об обязательной автоматической оптимизации загружаемых на сервер файлов. С сегодняшнего дня все pdf файлы, загружаемые в хранилище, автоматически обрабатываются системой ghostscript с целью оптимизации. При этом понижается разрешение изображений до 144 dpi, сохраняется совместимость на уровне версии 1.4+ pdf. Опыт показывает, что неоптимизованный PDF файл - отсканированная копия 10 страничного документа - размером в 20Мб после такой оптимизации сокращается до 3-4 мб. без видимой потери качества изображения.
До конца месяца мы подготовим и проведем автоматическую обработку всех загруженных в систему pdf файлов c целью их сжатия и оптимизации. Аналогичная оптимизация будет произведена и с изображениями jpg. Фотографии документов размером в 5-7 Мб избыточны по качеству, мы будем сжимать их до экранного размера ~ 300-500 кб.

Чтобы развеять сомнения или опасения, отметим, что мы полагаем, что данные действия вообще никак не отразятся на работе и жизни поселков. Если вы только не храните полиграфические макеты у нас. Скорее всего никто изменений даже не заметит, однако, сообщаем о такой оптимизации, чтобы заранее ответить на вопрос, почему изменятся размеры файлов и что мы с ними делаем :) Кстати, оптимизацию PDF файла пользователи могут произвести и самостоятельно: достаточно открыть файл в Adobe PDF и выбрать Сохранить Как - Файл уменьшенного размера. Другие редакторы также позволяют произвести оптимизацию документов.
В перспективе мы рассматриваем возможность индивидуального подключения расширенных хранилищ "без ограничений" на индивидуальных условиях, но сегодня этот сервис лучше и дешевле работает у уже упомянутых компаний, так что это отдаленная перспектива.