Просмотров: 6667

Фоторепортаж из дата-центра Facebook. Часть 2


Это вторая часть эксклюзивного фоторепортажа с центрального дата-центра Facebook под Орегоном (начало было вот здесь): далее под катом описана система охлаждения этой социальной махины, её виртуализация, очень интересная собственная система резервирования данных, ну и также прочая мелочевка.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Охлаждение

Другой важный показатель — WUE (эффективности использования водных ресурсов) у компании составляет 0,22 л/кВт*ч, что также чрезвычайно хороший показатель.

Завершу череду этих цифр говорящим фактом: Facebook единственная компания-владелец крупных дата-центров, которая регулярно (раз в полгода) по собственной инициативе публикует свои текущие параметры PUE и WUE, другие же известные компании по каким-то причинам скрывают эти значения от широкой публики.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Я не зря привел параметр WUE, который напрямик характеризует эффективность систем охлаждения, так как Facebook в своих дата-центрах использует относительно распространенную систему испарительного охлаждения.

Её главные плюсы, что она не имеет никаких механических охлаждающих устройств, требующих дополнительного электричества, при этом она потребляет небольшое количество воды.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных
Элемент системы охлаждения – распыление дистиллированной воды

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Для получения больших количеств дистиллированной воды и осмусов используется вот такой вот агрегат:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Выше показана камера очистки и охлаждения воздуха, обратите внимание на специальные фильтры воздуха слева, они показаны ниже более крупно:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Верхняя крышка серверной стойки, как видно на фотографии внизу, — идеально чистая, — после тщательной очистки всего входящего воздуха среда здесь практически стерильная, так что пыль можно не протирать сэкономив на уборщицах, своими швабрами нещадно рвущих провода.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

С обратной стороны цикла отработанный нагретый воздух собирается под крышей, здесь горячо как нигде в другом месте.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

В специальном резервуаре накапливается и очищается уже отработанная вода, который находится на территории рядом с офисом (мне так неофициально сказали, что такое расположение выгодно тем, что если пожар — то у буржуев больше шансов спастись).

Видно, что вокруг бочки установлены кривые дизайн-инсталляции местного технического персонала (вот с детства ненавижу все эти гребанные кружки «сделай сам»), проходя мима этого места всем посетителям нужно усиленно восхищаться вслух:

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Вместо подробного описания уже стандартной водяной системы охлаждения, кратко описанной выше, я предлагаю сосредоточиться на ближайшем будущем, ведь это так интересно — заглянуть в завтра.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Главное слабое место традиционных схем охлаждения — их большая собственная энергоемкость. В связи с этим большое внимание сейчас приковано к альтернативным системам охлаждения, одним из лидеров которых является небезызвестная Intel, которая уже производит пока экспериментальные, но уже вполне рабочие образцы на основе минеральных (нефтяных) масел.

При таком подходе серверное оборудование буквально «с головой» погружается в стойки-бассейны, наполненные специальным маслом.

При этом само оборудование для столь экстремального купания требует минимальной доработки, существенная часть которой сводится к изоляции жестких дисков и герметизация сокетов процессора. Оборудование такой ванны обеспечивает непрерывную циркуляцию минерального масла в емкости по принципу аналогичному обдуву в воздушных системах, за единственным и существенным исключением: теплоемкость такого масла примерно в 1300 раз выше, чем у воздуха.

Как известно, минеральное или силиконовое масло являются почти идеальными жидкими диэлектриками, а значит, возможность короткого замыкания в системе исключена (такие системы даже безопаснее, чем традиционно размещенные в воздухе). Использование различных добавок позволяет динамически изменять свойства такой среды, увеличивая теплоотдачу, или наоборот — уменьшая её.

Несмотря на некоторую экзотичность подобного охлаждения и кажущиеся сложности, Intel совместно со стартапом Green Revolution Cooling уже завершили испытания подобной системы и сейчас совместно налаживают её промышленное производство. Очень многие дата-центры мира уже высказали заинтересованность в использовании подобных систем охлаждения, среди них — Facebook. Ведь при сравнительной дешевизне они резко поднимают эффективность охлаждения.

Увидеть в динамике эту экспериментальную установку можно на этом интересном видео:

Впрочем, пока масляные системы охлаждения только-только начинают делать свои первые шаги в промышленном секторе, подобное охлаждение уже давно используется военными в особо мощных радарных установках, для которых требуется непрерывное сильное охлаждение, и где уже зарекомендовало себя как замечательное средство для обжаривания свежих чипсов.

Виртуализация

Второе общепризнанное направление борьбы за снижение потребления электроэнергии — это грамотное применение виртуализации. Стоит отметить, что виртуализация физических серверов — это не только внутренняя специфика Facebook, это мировой тренд развития среди ведущих мировых дата-центров. Кроме снижения потребления энергии, второй плюс такого подхода — это больший процент утилизации вычислительных мощностей оборудования, достигающий идеальных 90-100% от доступных мощностей.

В деле виртуализации применяются и последние сетевые решения, в частности в Facebook очень хорошо себя зарекомендовал новейший серверный адаптер от Intel 10 Gigabit Ethernet Server Adapter X520, позволяющий пропускать весь трафик ЦОД по общему кабелю, что в том числе даёт удобную возможность создавать виртуализированные мини дата-центры путём соединения большого количества сетевых хранилищ в единую сеть стандарта 10 GbE (поддержка технологии Open FCoE).

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных
Провода здесь везде – и под полом (энергокабели), и под потолком (коммуникационно-сетевые)

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

В качестве самого яркого примера этого тренда можно привести British Telecom, которая в течение двух лет совершила миграцию на полностью виртуальную серверную инфраструктуру, при этом компания смогла избавиться от более чем 75 тонн оборудования, освободив при этом полезную площадь размером эквивалентную футбольному полю. В данном случае более 3500 обычных серверов были равнозначно заменены виртуальными машинами, физически размещенными на 200 серверах.

Это позволило добиться уже на следующий год 40%-ой экономии энергопотребления и 30%-ой экономии операционных расходов, при этом создана современная и очень гибкая среда для дальнейшего роста дата-центра. Впрочем, конкретно у Facebook виртуализация используется не так активно в силу масштабов и узкой специфики своих задач, как это делают более традиционные дата-центры.

Резервирование данных

Также хочется остановиться на необычном подходе к резервированию данных. В полностью отдельном здании, напротив дата-центра в штате Орегон, построен мини дата-центр, полностью специализирующийся на резервировании и хранении бэкапов.

Этот проект назван Sub-Zero (это неофициальное название, так как на территории США это торговая марка стороннего производителя) и, по мнению Facebook, представляет из себя наиболее оптимальную систему аварийного резервирования данных в мире.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Главная суть проекта сводится к использованию внешне укрепленных стен ангара. Специальным электростатическим покрытием это хранилище полностью изолировано от внешней среды, и в нем будут храниться исключительно накопительные устройства, которые отличаются небольшой мощностью потребления. Эти устройства подключаются к сети лишь на короткое время и только в момент синхронизации с ними данных, при этом питание осуществляется полностью от автономных электросистем.

Все остальное время накопители остаются обесточенными и защищенными в специальных пыленепроницаемых и ударопрочных контейнерах, которые хранятся при пониженной температуре, обеспечивающей максимальный срок хранения для магнитных носителей.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

Каждый цикл включения/выключения таких устройств сопровождается расчетом и сверкой текущей и последней сохраненных контрольных сумм, что гарантирует целостность хранимых данных на них. Все данные наблюдений о здоровье и наполненности всего массива устройств централизованно собирается в одной базе данных проекта Sub-Zero.

Такой подход не только делает хранение «долгих данных» в таких условиях более безопасным, но также существенно снижает расход электроэнергии по сравнению с обычными серверами.

Facebook datacenter Фейсбук лицокнига дата-центр ЦОД ДЦ серверная сервера вычислительная система кластер орегон highload фоторепортаж фотки стойки центр обработки данных

В заключение хочу сказать, что благодаря целому ряду ярких нововведений в области создания сверхэффективных дата-центров, частично перечисленных в этой статье, компания Facebook в этом году стала обладателем почетной награды Green Enterprise IT Awards, которая выбирает раз в год единственного мирового ИТ-лидера проводящего политику наиболее жесткого соблюдения экологических стандартов.

~

Продолжение этого фоторепортажа (окончание) читайте вот здесь.

twitter.com facebook.com vkontakte.ru odnoklassniki.ru mail.ru ya.ru pikabu.ru blogger.com liveinternet.ru livejournal.ru google.com bobrdobr.ru yandex.ru del.icio.us

Подписка на обновления блога → через RSS, на e-mail, через Twitter
Теги: , , , , , , , ,
Эта запись опубликована: Четверг, 29 ноября 2012 в рубрике Обзоры.

Оставьте комментарий!

Не регистрировать/аноним

Используйте нормальные имена. Ваш комментарий будет опубликован после проверки.

Зарегистрировать/комментатор

Для регистрации укажите свой действующий email и пароль. Связка email-пароль позволяет вам комментировать и редактировать данные в вашем персональном аккаунте, такие как адрес сайта, ник и т.п. (Письмо с активацией придет в ящик, указанный при регистрации)

(обязательно)


⇑ Наверх
⇓ Вниз