11:48 Как создать петабайтный кластер за $117 тыс | |
Дисковые массивы бизнес-класса от компаний вроде NETGEAR, QNAP,
Synology, Thecus и других не отличаются дешевизной, и не всегда высокая
стоимость обусловлена только превосходной функциональностью и
качеством. Иногда разница между тем, что можно построить самостоятельно
и тем, за что необходимо выложить немалую сумму, оказывается не
настолько критичной и побуждает заняться небольшой технической
творческой работой. Компания Backblaze, занимающаяся системами
восстановления, посчитала так же, когда оценила доступные на рынке
предложения. Backblaze предоставляет сервис "облачного" резервирования
данных с неограниченным объемом хранимой информации за $5 в месяц,
поэтому ей требуется много дискового пространства, измеряемого
петабайтами (1 Пб = 1024 Тб). Рассмотрев коммерческие решения, компания
посчитала, что выгоднее будет разработать кластер собственными силами.
В итоге, каждый 67-Тб сервер форм-фактора 4U обошёлся в $7867. Петабайт
- $117 тыс. Каждый сервер - Storage Pod – включает материнскую плату с четырьмя SATA-картами. 9 кабелей интерфейса SATA подключены к девяти платам расширения, к каждой из которых подключены по 5 дисков. В общей сложности количество устройств составляет 45.  Для начала разработчикам пришлось потрудиться над металлическим корпусом собственного дизайна. Возможно, это не продукт от грандов индустрии, но работа профессиональная. Электронные платы расширения монтируются на белых нейлоновых стойках, поглощающих вибрацию, создаваемую 45 дисками. Кабели питания и интерфейсные проложены под платами. Корпус имеет 6 120-мм вентиляторов, работающих на затягивание воздуха в конструкцию и вытяжку уже нагретого. Целью было достичь постоянной температуры 50° С. Хотя для большинства винчестеров допустимо значение в 60° С, блоки питания не рассчитаны на такой режим. В конечном итоге удалось добиться 40° С. Тем не менее, даже с одним или двумя работающими вентиляторами условия были допустимыми, но относительно высокая степень отказа этих компонентов заставила придать системе избыточную надёжность.  В качестве материнской платы была выбрана Intel BOXDG43NB LGA 775 G43 форм-фактора ATX. Причём, наличие разъёмов SATA на ней не повлияло на выбор. Storage Pod вообще их не использует, потому что, несмотря на декларирование Intel поддержки южным мостом ICH10 множества соединений SATA, Backblaze отмечала "странные результаты" в тестах производительности. Поэтому разработчики обратили внимание на внешние контроллеры и платы расширения, чтобы добиться работы 45 дисков на одной BOXDG43NB. Экзотических требований к памяти не предъявлялось, поэтому в два разъёма DIMM установлено 4 Гб DDR2-800.  Подсистема SATA включает три карты Syba SD-SA2PEX-2IR PCI Express SATA II с двумя разъёмами каждая и одну Addonics ADSA4R5 4-Port SATA II PCI с 4 разъёмами. Из 10 доступных используются 9 разъёмов, кабели от которых подключены к платам Chyang Fun Industry (CFI Group) CFI-B53PM с пятью интерфейсами SATA на каждой. Выбор решений был ограничен продуктами компании Silicon Image, которые, по мнению Backblaze, функционируют оптимальным образом. В CFI-B53PM используется чип SiI3726, в Syba SD-SA2PEX-2IR - SiI3132 и в Addonics ADSA4R5 - SiI3124. Поскольку карты Addonics используют интерфейс PCI, скорость передачи данных не высока – всего 25 Мб/с, однако этого оказалось достаточно для потребностей компании, ведь обмен данными между серверами и польхователями происходит по интернет-каналам. 2 Тб дискового пространства могут быть заполнены за день, а весь сервер Storage Pod – за месяц. Питание одного 4U обеспечено двумя 760-Вт БП Zippy PSM-5760, при этом один из них предназначен для трёх вентиляторов и пяти плат CFI-B53PM, другому отдано всё остальное.  Главный компонент системы – диски. Выбор Backblaze пал на Seagate 1,5 Тб Barracuda 7200.11 (ST31500341AS) по причине стабильности их работы в RAID-массиве по сравнению с WD, к тому же соотношение стоимости и ёмкости оказалось подходящим. По словам компании, также тестировались винчестеры Samsung и Hitachi, но их 1,5-Тб продукты не удовлетворили разработчиков дискового кластера по совокупности характеристик.  Storage Pod функционирует под управлением 64-битной операционной системы Debian 4 Linux, использующей файловую систему JFS, а доступ к информации на дисках обеспечивается через протокол HTTPS. Выбор JFS обусловлен необходимостью поддержки больших дисковых ёмкостей, ОС Debian и наличием широкой базы опытных пользователей. В свою очередь, Debian 4 Linux – потому что "вправду бесплатна", как считают в Backblaze. Для начала с помощью утилиты fdisk был создан один раздел на диск. Затем 15 1,5-Тб устройств были объединены в массив RAID 6 с помощью приложения mdadm и, наконец, отформатированы под JFS с 4-Кб блоками. Итоговое свободное пространство составило 87% от 67-Тб сервера, или 58 Тб на один Storage Pod. Система работает под Apache Tomcat 5.5 и, как уже упоминалось, протоколом HTTPS. Сервер потребляет ток 4,8 A в простое, а при полной нагрузке – 5,6 А. В качестве процессоров взяты двухъядерные Intel E8600 Wolfdale 3,33 ГГц.  Источник : 3DNews | |
|
| |