Просмотров: 23789

Файловые системы ближайшего будущего. Введение


В мае 2011 года, в расширенном докладе Майкла Рубина (Michael Rubin), занимающегося системами хранения данных в Google (и ответственный в первую очередь за их развитие и масштабирование), прозвучал подробный сравнительный обзор современных файловых систем, в котором, кроме перечисления их преимуществ и недостатков, были даны и некоторые прогнозы о будущем развитии и потребностях информационной индустрии в этой сфере.

В частности, была рассмотрена способность существующих файловых систем (ФС) адаптироваться к вызовам уже ближайшего будущего, в связи с чем, из всех были выделены четыре ведущие файловые системы «новой школы», изначально спроектированные с учетом удовлетворения самых взыскательных требований и запросов.

Майкл Рубин отдельно подчеркнул, что Google умышленно не рассматривал среди числа этих перспективных ФС, такие некогда популярные проекты, как JFS, ReiserFS, а также инновационную Tux3, — из-за их хронических проблем с графиком разработки и недостаточной поддержкой кодовой базы. Поэтому они, будучи скорее «мертвыми» чем «живыми», не позволяют рассматривать их как реальные варианты для будущей миграции.

много информации наводнение

Среди всех рассмотренных вариантов, в том числе отчасти мифических (например, таких, как WinFS), были тщательно отобраны лучшие претенденты, которые уже сегодня (или в ближайшем будущем) смогут стать успешным решением для больших информационных хранилищ. Сегодня мы рассмотрим и сравним основные плюсы и минусы каждого из этих четырех претендентов, чтобы помочь сделать ваш выбор своей файловой системы будущего.

Но перед тем как мы подробно ознакомимся с меню из наиболее перспективных файловых систем ближайшего будущего по версии экспертов Google, попробуем определиться и рассказать, что имеет в виду Google, когда говорит, что мы входим в новую стадию развития ИТ — «Эпоху Больших Данных».

Зетта-наводнение грядёт...

Только в 2008 году было создано около 5 экзабайт уникальной информации. Чтобы разместить такой объем данных, требуется 1 млрд DVD-дисков. Всего три года спустя размер уникальной информации возрос до 1,2 зеттабайта.

Чтобы создать аналогичное количество данных в Твиттере, каждому жителю Земли пришлось бы размещать твиты в течение 100 лет. Если же пересчитать этот объем на размер файла длящегося один час телешоу, то такой видеозаписи хватило бы на непрерывное воспроизведение в течение 125 лет.

В большей степени вся эта лавина информации — плод неуемной тяги людей к мультимедиа, особенно, к видео. К 2015 году свыше 90% данных во «всемирной паутине» будут приходиться на видеоконтент. Это создаст огромную нагрузку на сети и потребует оптимизации архитектуры безопасности, а также повышения качества услуг передачи данных. Отчего популярные сервисы уже сегодня буквально «тонут» от объемов поступающей информации...

Сравнительные цифры

Чтобы более наглядно представить все эти цифры, а также, чтобы немного лучше познакомить читателя с предстоящими необычными единицами измерений информации (пока необычных ему в том смысле, что пока они совершенно не встречаются в его бытовом окружении). Это поможет понять, почему Google так остро озабочен надвигающимся зетта-наводнением, тщательно готовясь к нему уже сегодня.

много информации наводнение

Человечество ежегодно создаёт миллиарды гигабайт информации, и эта инфо-цунами грозит захлестнуть нас совсем скоро. Журнал Wired приводит такие любопытные факты с наглядным сравнением различных объемов информации от терабайта (1000 ГБ) до петабайта (1000 ТБ):

  • На терабайтном жестком диске можно разместить 260 тыс. музыкальных композиций.
  • 90 терабайт фотографий пользователи ежемесячно закачивают в Facebook.
  • 120 терабайт данных и фотографий произвел телескоп Хаббл за всё время своего существования.
  • 500 терабайт информации еженедельно продуцирует Большой адронный коллайдер.
  • В 460 терабайт умещаются все данные о погоде, накопленные в Национальном климатическом датацентре (США).
  • 530 терабайт новых видеофайлов еженедельно закачивается на YouTube.
  • 600 терабайт — таков объем генеалогической базы данных Ancestry.com, записи с 1790-го по 2000-й.
  • 1 петабайт данных — именно столько обрабатывают серверы Google каждые 12 минут.

Почувствовали ничтожность своего многогигабайтного жесткого диска по сравнению с подобными «океанами» информации?!

Все мы стоим на пороге прихода «Эпохи Больших Данных». И если говорить про файловые системы (которым и посвящен наш большой обзор) — забудьте про NTFS или ext3 в этом контексте, они физически не способны эффективно обслуживать современные хранилища на десятки и сотни петабайтов. Какие же файловые системы, согласно тестированию Google, уже сегодня готовы к оперированию подобными чудовищными объемами данных?

Этот цикл статей даёт исчерпывающий ответ на этот вопрос. Вот общий план перевода всего доклада Google по «большим» файловым системам готовым к приёму так называемых зетта-данных:

~

В заключение этого введения, длинная простыня инфографики по вышеупомянутым «мегаединицам» для измерения больших объемов данных новой эры — сравнительные цифры и факты о Петабайте.

петабайт зетта наводнение эра больших данных мегаданные инфографика

twitter.com facebook.com vkontakte.ru odnoklassniki.ru mail.ru ya.ru pikabu.ru blogger.com liveinternet.ru livejournal.ru google.com bobrdobr.ru yandex.ru del.icio.us

Подписка на обновления блога → через RSS, на e-mail, через Twitter
Теги: , , , , , , , , , ,
Эта запись опубликована: Суббота, 14 января 2012 в рубрике Unix'овоеОбзоры.

Оставьте комментарий!

Не регистрировать/аноним

Используйте нормальные имена. Ваш комментарий будет опубликован после проверки.

Зарегистрировать/комментатор

Для регистрации укажите свой действующий email и пароль. Связка email-пароль позволяет вам комментировать и редактировать данные в вашем персональном аккаунте, такие как адрес сайта, ник и т.п. (Письмо с активацией придет в ящик, указанный при регистрации)

(обязательно)


⇑ Наверх
⇓ Вниз