Расширенное тестирование Thecus N16000PRO
Введение
На наших страницах уже появлялся обзор сетевого хранилища Thecus N16000PRO, в котором мы рассмотрели большинство возможностей устройства и провели измерения основных показателей производительности СХД. Не обошли мы стороной и дисковую полку Thecus D16000, позволяющую увеличить доступное хранилищу дисковое пространство. Однако в арсенале компании Thecus имеется также и ряд других возможностей, позволяющих ещё больше увеличить предоставляемое пользователям дисковое пространство, либо направленных на обеспечение бесперебойной работы сетевой системы хранения. Именно эти возможности мы обещали рассмотреть в одном из предыдущих обзоров. Пришла пора выполнять обещанное, поэтому в данном материале мы познакомим наших читателей со следующими возможностями: стекирование, расширение объёма и функцией обеспечения высокой доступности; протестированными нами на базе двух N16000PRO.
Стекирование
Суть технологии стекирования чрезвычайно проста: на одном из сетевых хранилищ создаётся раздел iSCSI, который затем подключается на втором хранилище. Создание нового раздела iSCSI производится с помощью пункта «iSCSI» группы «Хранилище» веб-интерфейса устройства.
Для добавления удалённого раздела следует обратиться к пункту «Стекирование NAS» той же группы.
Единственное, что остаётся сделать после подключения – выполнить форматирование нового раздела.
Новое дисковое пространство становится доступным пользователям в виде отдельной папки (в зависимости от протокола доступа).
Естественно, мы решили провести измерения производительности хранилищ при выполнении стекирования. Схема нашего тестового стенда представлена ниже. Салатовой стрелкой представлено направление передачи данных между тестовым хостом и основным хранилищем. Красная стрелка отображает направление передачи данных между двумя СХД, то есть в данном случае использовался выделенный линк между устройствами.
Сначала мы решили сравнить производительность разных RAID-массивов при работе с файловой системой EXT4. Далее для RAID60 мы сравнили производительность хранилища при работе с разными файловыми системами: EXT4, BTRFS и XFS. Результаты измерений представлены на диаграммах ниже.
Технология стекирования допускает подключение удалённого раздела iSCSI через тот же линк, через который происходит подключение пользователей так, как это представлено на схеме (салатовая стрелка – подключение пользователя к хранилищу, красная стрелка – связь между самими хранилищами).
На диаграмме ниже представлены результаты измерения производительности технологии стекирования при работе через один линк для массива RAID60 и файловой системы EXT4.
Из приведённой диаграммы следует, что наличие выделенного линка между хранилищами не приводит к ощутимому приросту производительности всей системы.
Расширение объёма
Для работоспособности функции расширения объёма требуется наличие Ethernet-подключения со скоростью 10 Гбит/с (Установка сети-Сети).
Если устройство располагает активным подключением 10GE, можно приступать к созданию члена расширения (Хранилище-Менеджер увеличения емкости), для чего необходимо выбрать диски, указать тип массива и используемое сетевое подключение, а также задать адрес основного устройства, к которому будут подключаться все остальные СХД Thecus.
После успешного создания и подключения всех членов расширения в сети (максимально до восьми штук) необходимо произвести сборку распределённого массива (JBOD с файловой системой XFS).
Собранный распределённый массив практически ничем не отличается от локального.
Также как и при тестировании функции стекирования мы соединили хранилища выделенным линком. На диаграммах ниже представлены результаты измерения скоростей передачи пользовательских данных при VE-объединении устройств для протоколов SMB и iSCSI.
Мы также решили сравнить для массивов RAID60 производительность работы системы по протоколам SMB и iSCSI при объединении хранилищ выделенным и общим линками.
Выигрыш в скорости систем с разделяемым линком находится в пределах погрешности измерений, в остальном же (за исключением одного единственного измерения) можно считать производительность обеих систем равной.
Также мы решили сравнить производительность обсуждаемой технологии при подключении одного единственного члена расширения, расположенного на локальном и удалённом устройствах.
При подключении с помощью протокола SMB разница в том, произведено локальное или удалённое подключение, практически не обнаруживается, тогда как при подключениях iSCSI локально размещённые диски позволяют добиться существенно больших скоростей доступа.
Приятной особенностью явилась возможность объединения в один распределённый массив нескольких локальных наборов дисков, собранных в массивы разных типов. На диаграммах ниже сравнивается производительность объединения RAID6+RAID60 с объединением однотипных массивов RAID6 и RAID60. Передача данных между N16000PRO производилась с помощью выделенного канала.
При подключении с помощью SMB разница в производительности распределённых массивов RAID6+RAID6, RAID60+RAID60 и RAID6+RAID60 практически незаметна, тогда как для протокола iSCSI она уже ощутима, что связано с производительностью самого подключения iSCSI.
Высокая доступность
Кроме возможностей расширения дискового пространства, доступного пользователям, сетевые хранилища Thecus предоставляют администратору возможность построения отказоустойчивой системы, то есть системы, обеспечивающей высокую доступность хранимой информации. Конечно, построение отказоустойчивой системы не является тривиальной операцией, и даже с тем инструментарием, которым обладают владельцы СХД Thecus, не во всех ситуациях можно избавиться от простоев и отказов системы. Однако уменьшить их влияние на бизнес в целом всё-таки возможно, хотя внедрение отказоустойчивого решения и не является бесплатным. Но обо всём по порядку.
Одним из самых простых способов повышения отказоустойчивости системы является агрегация сетевых линков, с помощью которых администратор может защититься от единичного отказа сетевой карты хранилища, порта коммутатора или патч-корда. В идеале такой линк должен подключаться не к одному коммутатору, а к их стеку, либо к разным интерфейсным картам в одном шасси. Также коммутаторы могут быть объединены по технологии VSS или обеспечивать vPC (virtual Port Channel) подключение для хранилища. Однако обсуждение данных вопросов далеко выходит за рамки данной статьи. Существуют и более простые способы защиты от падения одного из интерфейсов СХД. К таким методам относится, например, iSCSI MultiPath. К сожалению, указанный способ защиты нельзя назвать универсальным, так как, например, он не поддерживается настольными версиями операционной системы Microsoft Windows. Но мы опять отвлеклись. Что же нам может предложить Thecus? Технология High Availability позволяет администраторам защититься не только от падения одного из линков между СХД и сетью, но и обеспечить бесперебойную работу системы хранения в случае выхода из строя всего устройства целиком. Справедливости ради, стоит сказать, что модель N16000PRO имеет также и некоторые механизмы внутреннего резервирования, к которым относятся два независимых блока питания и два внутренних накопителя (флеш-карты), содержащих операционную систему устройства. Рассмотрим механизм High Availability подробнее.
К сети компании подключаются два СХД Thecus, объединяемые по технологии HA. С помощью выделенного соединения между ними производится репликация данных с активного хранилища на резервное. Примерная схема такого подключения представлена ниже. Стоит отметить, что представленная схема не обеспечивает стопроцентную отказоустойчивость, так как не предполагает, например, никакого резервирования коммутатора или серверного линка. В данной ситуации нами рассматривается лишь вопрос о восстановлении работоспособности системы хранения данных после падения одного из СХД.
Сплошной салатовой линией отмечен поток данных между клиентом и системой хранения. Красная линия отображает канал передачи информации о состоянии активной системы (Heart Beat). Прерывистая салатовая линия показывает поток данных после переключения пользователей на резервное хранилище.
В принципе, поток репликационных данных может проходить через ту же сетевую инфраструктуру, что и потоки данных от пользователей. Единственное, на что следует обратить особое внимание, - необходимость использования выделенного интерфейса для соединения Heart Beat. То есть основное и резервное хранилища должны быть связаны высокоскоростным L2-линком. Примерная схема взаимодействия между основной и резервной системами представлена на схеме ниже.
Настройка функции High Availability производится с помощью одноимённого пункта группы «Хранилище» веб-интерфейса устройства.
При необходимости администратор может отрегулировать задержки переключения на резервную систему.
Настройки со стороны резервного СХД чрезвычайно просты, так как при синхронизации все параметры передаются с основного узла.
После перезагрузки обоих устройств в паре производится синхронизация состояния между ними. Пожалуй, стоит отдельно отметить, что в процессе синхронизации устройств производится удаление всей пользовательской информации, ранее размещённой на них.
К сожалению, мы не обнаружили способа изменения ролей хранилищ, то есть с минимальным временем простоя поменять роли основного и резервного устройств. Такая смена может быть необходима в случае ухудшения параметров канала до основного СХД. Также пока производителем не предусмотрена процедура смены версии микропрограммного обеспечения без прерывания сервиса.
Естественно, мы не могли обойтись без нагрузочного тестирования собранной отказоустойчивой системы. Первое, с чего мы начали, - измерили производительность разных дисковых массивов с файловой системой EXT4. Выбор этой системы был обусловлен тем, что она используется по умолчанию при создании массива.
Для RAID60 мы сравнили скорости доступа к пользовательским данным при использовании различных файловых систем.
Технология обеспечения отказоустойчивости Thecus поддерживает работу с протоколом IP следующего поколения, то есть IPv6. К сожалению, поддержку IPv6 хранилищем нельзя назвать полной. Так, например, при включении IPv6 на интерфейсе перестаёт работать iSCSI. Мы надеемся, производитель поправит указанную проблему в ближайших прошивках. К счастью, подключиться к СХД с помощью протокола SMB поверх IPv6 нам удалось. На диаграмме ниже представлено сравнение скоростей доступа к пользовательским данным по протоколу SMB, работающего поверх IPv4 и IPv6. Производительность устройства при работе с IPv4 ощутимо выше. Мы надеемся, что в следующих версиях прошивки обнаруженное снижение скоростей доступа при использовании IPv6 также будет устранено.
На этом мы бы хотели завершить раздел, посвящённый технологии обеспечения высокой доступности Thecus и перейти к подведению итогов.
Заключение
В нашей тестовой лаборатории в этот раз оказалась пара топовых сетевых хранилищ Thecus N16000PRO, поэтому мы не могли отказать себе в удовольствии выяснить их производительность при выполнении некоторых функций, протестировать которые лишь с одним устройством невозможно. Такими функциями стали High Availability, Stacking и Volume Expansion, предназначенные для повышения отказоустойчивости системы хранения и увеличения дискового пространства, доступного пользователям. Шаги, предпринимаемые производителем для предоставления администраторам расширенного функционала, нам кажутся правильными и чрезвычайно важными. Однако пока указанный функционал мы бы не могли назвать полностью реализованным, что связано с наличием некоторых ограничений в его работе.
Сильные стороны протестированных технологий перечислены ниже.
• Возможность объединения в один распределённый массив несколько разнотипных локальных дисковых наборов в функции VE.
• Наличие встроенных опций резервирования (два блока питания и две флеш-карты с операционной системой).
• Возможность защиты от падения всего хранилища целиком (при использовании функции HA).
• Высокие скорости доступа к данным по протоколу iSCSI.
• Возможность расширения непрерывного дискового пространства приблизительно до 4 Пбайт при построении системы из 640 жёстких дисков (VE из 8 членов (N16000PRO+4xD16000) при использовании дисков объёмом 6 Тбайт).
К сожалению, нельзя не упомянуть и об обнаруженных недостатках.
- Невозможность одновременной работы HA и VE.
- Отсутствие полноценной поддержки IPv6.
- Невозможность создания нескольких групп высокой доступности одновременно.
Также мы не можем не сказать пару слов и о нашем тестовом стенде. К сожалению, с момента тестирования нами одиночного хранилища Thecus N16000PRO в нём произошли некоторые незначительные изменения: были установлены самые актуальные обновления на тестовую операционную систему, а также был установлен новый центральный процессор: теперь вместо Intel i7-4770K на нас трудится Intel i7-4790K. Кроме этого мы обновили прошивку хранилища до версии 2.05.04. Для создания вспомогательной сетевой инфраструктуры мы использовали коммутатор D-Link DGS-3420-28PC. Остальные основные параметры нашего тестового стенда представлены в таблице ниже. Объём доступной операционной системе тестового ПК оперативной памяти нами был уменьшен вручную с помощью утилиты msconfig для того, чтобы соответствовать рекомендациям Intel для работы утилиты NASPT версии 1.7.1, с помощью которой мы и проводили все измерения.
| Компонент | ПК |
| Материнская плата | ASUS Maximus VI Extreme |
| Процессор | Intel Core i7 4790K 4 ГГц |
| Оперативная память | DDR3 PC3-10700 SEC 32 Гбайта |
| Сетевая карта | Thecus C10GTR Thecus C10GT |
| Операционная система | Windows Server 2008 R2 x64 |
Также мы решили предоставить нашим читателям информацию о скорости доступа к данным, помещённым на тестируемых СХД, полученную с использованием новой прошивки и нового тестового стенда. Измерения проводились с использованием протоколов SMB и iSCSI, работающих поверх IPv4, для дискового массива RAID60 с файловой системой EXT4.
Как несложно заметить, производительность устройства при использовании iSCSI ощутимо выше. Подобную же картину мы наблюдали и во всех остальных тестах в этот раз. Также мы бы хотели напомнить производительность использованных жёстких дисков HGST Deskstar NAS 0F22408 с объёмом 4 Тбайта, измеренную ранее.
Автор и редакция благодарят Компанию Тайле, официального дистрибьютора сетевого оборудования Thecus в России, за любезно предоставленные хранилища и диски для тестов.
