Просмотров: 15652

Файловые системы ближайшего будущего. Hammer


Hammer  — это 64-битная кластерная файловая система построенная на B-деревьях, созданная специально для своего проекта DragonFly BSD известным гуру из FreeBSD Project, — Мэттью Диллоном (Matthew Dillon).

Давайте перечислим основные возможности HAMMER, которые доступны уже на данный момент (или реализация которых близка к завершению):

DragonFlyBSD DragonFly BSD logo

  • HAMMER — это файловая система доступная немедленно даже после падения и перезагрузки системы, здесь нет fsck ;
  • Размер ФС HAMMER может достигать размера до 1 экзабайта (1 миллиард гигабайтов), и может при этом вмещать в себя до 256 томов, каждый из которых может достигать размера до 4 петабайтов (4096 терабайтов).
  • Возможность отката любой дисковой операции и возврата состояния ФС в определенную точку;
  • Метод крупнозернистой истории реализуется через мгновенные снимки ФС (снапшоты). По умолчанию, системный крон генерирует один снапшот в день, который хранится в течении 60 дней. Количество и частота снапшотов неограниченна. Все хранимые снапшоты индексируются также посредством B-дерева таким образом, чтобы сделать их хранение на носителях максимально эффективным. Каждый отдельный снапшот полностью отражает состояние файловой системы в заданный промежуток времени. Параллельный метод — мелкозернистой истории, — фиксирует все системные операции в пределах около 20-60 секунд, которые также доступны для отката или повтора (undo/redo options), а также их анализа в случае любого сбоя (мелкозернистая история используется, чтобы избежать избыточных и ресурсоемких операций характерных для снапшотов, при этом, не теряя непрерывного контроля за системой);
  • Возможность инкрементального зеркалирования без использования очередей операций, поддержка режима «один master и много slave»;
  • Заканчивается тестирование работы в multi-master режиме с распределением данных на несколько хостов сети (резервирование за счет дублирования данных на разные машины). Также реализована поддержка асинхронных транзакций;
  • Возможности для создания псевдо-файловой системы (PFS) внутри файловой системы HAMMER. Можно создать до 65535 таких файловых систем. Каждая PFS использует независимое пространство нумерации inode'ов, что позволяет использовать её в качестве источника или цели репликации;
  • Реализована система контроля максимально эффективного распределения пропускной способности канала при выполнении множественного бэкапа ФС (или её PFSs) на её slave-PFSs физически находящиеся на удаленных хостах;
  • Поддержка автоматического объединения дубликатов данных на всех PFS (дедупликация);
  • Из недостатков — для очистки и реблокинга ФС (pruning/reblocking ops) требуется регулярный запуск специальной сервисной задачи (она выполняется быстро, как правило, в пределах нескольких минут).

DragonFlyBSD DragonFly BSD Мэт Мэттью Диллон Matthew Dillon

Мэт Диллон, создатель DragonFlyBSD/HAMMER

Не лишним будет ещё раз подчеркнуть, что HAMMER в своей стабильной версии доступен на данный момент лишь на своей родной DragonFlyBSD (также имеется экспериментальный FUSE-модуль для Linux, который позволяет работать с этой ФС в режиме read-only).

DragonFlyBSD DragonFly BSD Мэт Мэттью Диллон Matthew Dillon

Мэт Диллон, знаменитый бывший коммитер из FreeBSD

Начало этой серии статей здесь. Следующая часть (продолжение) — вот здесь.

Игорь Савчук // Системный Администратор, 2011
twitter.com facebook.com vkontakte.ru odnoklassniki.ru mail.ru ya.ru pikabu.ru blogger.com liveinternet.ru livejournal.ru google.com bobrdobr.ru yandex.ru del.icio.us

Подписка на обновления блога → через RSS, на e-mail, через Twitter
Теги: , , , , , , , ,
Эта запись опубликована: Суббота, 14 января 2012 в рубрике Unix'овоеОбзоры.

Оставьте комментарий!

Не регистрировать/аноним

Используйте нормальные имена. Ваш комментарий будет опубликован после проверки.

Зарегистрировать/комментатор

Для регистрации укажите свой действующий email и пароль. Связка email-пароль позволяет вам комментировать и редактировать данные в вашем персональном аккаунте, такие как адрес сайта, ник и т.п. (Письмо с активацией придет в ящик, указанный при регистрации)

(обязательно)


⇑ Наверх
⇓ Вниз