N16000 или топ-модель от Thecus
Введение
В нашей тестовой лаборатории побывало уже несколько стоечных сетевых хранилищ компании Thecus, однако все они имели не более восьми дисков и не относились к флагманской линейке оборудования. Мы с любопытством поглядывали на модель N16000 и размышляли, как скоро она доберётся до нас. И вот, этот замечательный день наступил, мы получили для тестирования самую «тяжёлую» и производительную модель сетевого хранилища с шестнадцатью дисками от Thecus – N16000.
Внешний вид
Традиционным для промышленного оборудования является стоечное исполнение, Thecus N16000 в этом смысле не является исключением, его корпус имеет габариты 651x440x132 мм (без учёта ушей) и занимает в стойке три юнита.
Лицевая панель скрыта за перфорированной дверцей, на которой расположен жидкокристаллический экран и четыре клавиши управления. Несмотря на значительную толщину дверцы её открытие может быть произведено даже в полностью загруженной стойке – конструкция рельсов позволяет безболезненно выдвинуть хранилище.
За дверцей размещаются шестнадцать корзин для установки жёстких дисков, а также световые индикаторы, отображающие состояние устройства, два порта USB, а также кнопки включения/выключения хранилища, сброса пользовательских настроек и клавиша Locator, предназначенная для поиска устройства.
Боковая поверхность N16000 ничем не примечательна, здесь лишь размещается часть рельсы для монтажа хранилища в стойку.
Задняя панель несёт на себе два блока питания, четыре порта USB2.0, два порта USB3.0 и два разъём eSATA, три сетевых интерфейса Gigabit Ethernet, порт DB-9 для подключения к источнику бесперебойного питания, а также четыре разъёма для установки карт расширения. На представленной ниже фотографии один из разъёмов занят дополнительной сетевой картой 10GE.
Заглянем теперь внутрь корпуса.
Аппаратная платформа
Сетевое хранилище Thecus N16000 внутри представлено несколькими текстолитовыми платами: одной материнской и несколькими вспомогательными, часть которых выполняет лишь функции переходников или конвертеров интерфейсов и не несёт никакой смысловой нагрузки.
В качестве центрального процессора здесь использован Intel Xeon X3480, работающий на частоте 3.06ГГц (максимальная 3.71 ГГц), с чипсетом Intel 3450. Мониторинг температуры системных элементов, скорости вращения вентиляторов обеспечивается чипом Winbond W83795G. Ввод/вывод обеспечивается контроллером Fintek F71889ED, который мы уже видели в хранилище модели N8900. Работу с сетью обеспечивают три Gigabit Ethernet контроллера Intel WG82574L.
Оперативная память здесь представлена двумя планками Unigen UG25U6400M8DU-ACB, построенные на чипах Hynix H5TQ1G838FR. Всего в распоряжении N16000 находится 4 Гбайта оперативной памяти.
Thecus N16000 укомплектован контроллером шины USB3.0, построенном на базе чипа NEC D720200AF1.
RAID-контроллер для SATA и SAS дисков построен на чипе LSI LSISAS2008, обладающий восьмью портами SAS/SATA. Поскольку N16000 позволяет подключить к себе до 16 дисков, то компания Thecus использовала специализированный расширитель LSISAS2x28, имеющий 28 портов SAS/SATA по 6Гбит/с, который был установлен на плату, к которой непосредственно подключаются устанавливаемые жёсткие диски (на фото отсутствует).
Файлы текущей прошивки хранятся в одном из модулей, произведённых компанией Afaya. Данный модуль в своём составе имеет контроллеры JMicron JM20300 и Silicon Motion SM2231T, а также чип флеш-памяти Samsung K9K8G08U0B на 2 Гбайта.
Обратимся теперь к программной составляющей устройства.
Обновление прошивки
Смена версии микропрограммного обеспечения традиционно может быть произведена в ручном или полуавтоматическом режиме. Для использования последнего хранилище требуется зарегистрировать с помощью соответствующей опции (Сведения о системе – Регистрация через Интернет) веб-интерфейса.
Обновление в ручном режиме немногим сложнее – требуется лишь предварительно загрузить файл с образом новой прошивки с веб-сервера производителя и обратиться к пункту «Обновление ПО» группы «Администрирование» меню. Судя по названию файла, модели N8900, N12000 и N16000 используют одно и то же микропрограммное обеспечение.
Весь процесс обновления занимает порядка четырёх минут.
Кроме возможностей, предоставляемых самой прошивкой, пользователям Thecus N16000 доступны также возможности, реализованные в модулях расширения, которые можно бесплатно скачивать и устанавливать. Также как и обновление микропрограммного обеспечения, установка модулей расширения может производиться полуавтоматически или вручную. Мы уже рассматривали этот процесс довольно подробно в обзоре, посвящённом N8900.
Начиная с прошивки 2.02.02 появилась поддержка антивирусного модуля, позволяющего проводить антивирусную проверку хранимых на N16000 файлов.
Обратимся теперь к возможностям веб-интерфейса устройства.
Веб-интерфейс
Из-за того, что прошивки для сетевых хранилищ N8900, N12000 и N16000 совпадают, мы не станем описывать возможности веб-интерфейса устройства, а предложим нашим читателям обратиться к статье, посвящённой модели N8900.
Здесь нам бы хотелось лишь отметить, что в хранилище N16000 изначально присутствовали функции горячего резервирования устройства целиком, поэтому сетевой интерфейс LAN3 недоступен для прямого конфигурирования. К счастью, последние прошивки для этой модели позволяют переопределить интерфейс, используемый функциями обеспечения высокой доступности (Хранилище-Высокая доступность). Мы считаем эту возможность крайне полезной, так как N16000 поддерживает работу с дополнительными сетевыми картами 10GE.
Также хотелось бы пару слов сказать о пункте «Функция входа в интерфейс», размещённому в группе «Администрирование» меню. С помощью данного пункта администратор может расположить на первой страничке хранилища (до ввода логина и пароля) ярлыки для ряда пользовательских возможностей.
Когда статья была уже полностью написана, мы обнаружили новую версию микропрограммного обеспечения на веб-сайте производителя. Естественно, мы установили новую версию прошивки (2.02.02) и теперь хотели бы познакомить читателя с некоторыми новыми возможностями веб-интерфейса устройства.
В пункте «Монитор системы» группы «Сведения о системе» администратор может просмотреть графики использования различных системных ресурсов.
Изменились также пункты группы «Сеть и сервисы», появилась поддержка протокола IPv6.
В группе «Пользователи и группы» новый пункт «LDAP Support» позволяет управлять параметрами LDAP-подключений.
Новая прошивка предоставляет пользователям доступ с помощью SSH без установки сторонних модулей. Соответствующие параметры конфигурируются в пункте «SSH» группы «Сетевая служба».
Кроме «SSH» группа «Сетевая служба» обзавелась и ещё двумя пунктами: «DDNS» и «Управление портами UPnP», позволяющие управлять одноимёнными службами.
Сетевое хранилище Thecus N16000 позволяет подключать к себе внешние CD/DVD/BD-приводы и записывать с их помощью хранимую информацию на оптические носители. Указанная процедура производится с помощью пункта «Data Burn» группы «Резервное копирование».
Рассмотрим теперь некоторые возможности интерфейса командной строки хранилища.
Командная строка
Для доступа к командной строке необходимо установить модуль расширения HiSSH с помощью пункта «Модули» группы «Сервер приложений» веб-интерфейса. Для доступа к хранилищу можно использовать любой SSH-клиент. Мы для этих целей выбрали PuTTY версии 0.60.
Для входа необходимо указать логин root и пароль, совпадающий с тем, что был выбран для пользователя admin веб-интерфейса. В системе используется BusyBox версии 1.16.1, выпущенный в марте 2010 года. Версию операционной системы можно выяснить с помощью команды uname –a или из файла /proc/version.
login as: root
Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.'s password:
N16000:~# busybox
BusyBox v1.16.1 (2011-12-13 18:12:23 CST) multi-call binary.
Copyright (C) 1998-2009 Erik Andersen, Rob Landley, Denys Vlasenko
and others. Licensed under GPLv2.
See source distribution for full notice.
Usage: busybox [function] [arguments]...
or: function [arguments]...
BusyBox is a multi-call binary that combines many common Unix
utilities into a single executable. Most people will create a
link to busybox for each function they wish to use and BusyBox
will act like whatever it was invoked as.
Currently defined functions:
[, [[, addgroup, adduser, arp, arping, awk, basename, cat, chmod,
chown, chpasswd, chroot, chvt, clear, cp, crond, crontab, cryptpw, cut,
date, dc, dd, deallocvt, delgroup, deluser, df, diff, dirname, dmesg,
dnsdomainname, du, dumpleases, echo, egrep, eject, env, ether-wake,
expr, false, fgrep, free, freeramdisk, fsck, fuser, getty, grep,
gunzip, gzip, halt, head, hexdump, hostname, hwclock, id, ifconfig,
init, insmod, ip, kill, killall, killall5, length, ln, logger, login,
ls, lsmod, md5sum, mdev, mkdir, mkfifo, mknod, mkpasswd, mktemp,
modprobe, more, mv, netstat, nslookup, openvt, passwd, pidof,
pipe_progress, poweroff, printenv, printf, ps, pwd, raidautorun,
readahead, readlink, realpath, reboot, renice, reset, rm, rmdir, rmmod,
route, sed, seq, sleep, sort, split, stat, strings, stty, sync, tail,
tee, test, time, top, touch, tr, traceroute, true, tty, udhcpc, udhcpd,
uname, uniq, unzip, uptime, usleep, uuencode, vi, watch, wc, wget,
whoami, xargs, yes, zcat
N16000:~# uname -a
Linux N16000 2.6.36 #1 SMP Tue Dec 13 18:11:11 CST 2011 x86_64 GNU/Linux
N16000:~# cat /proc/version
Linux version 2.6.36 (root@FC12-27) (gcc version 4.4.3 20100127 (Red Hat 4.4.3-4) (GCC) ) #1 SMP Tue Dec 13 18:11:11 CST 2011
Так как прошивки для N16000 и N8900 совпадают, мы не станем предоставлять читателям содержимое системных каталогов, а также список выполняющихся процессов. Вместо этого мы перейдём теперь в каталог /proc и посмотрим, какие файлы здесь размещены, а также выясним время работы операционной системы и её среднюю загруженность, получим информацию об установленном процессоре и количестве оперативной памяти. Также сведения о загруженности операционной системы можно получить с помощью утилиты /usr/bin/uptime.
N16000:/# cd /proc
N16000:/proc# ls
1/ 14/ 22/ 3208/ 4918/ 5443/ execdomains pagetypeinfo
10/ 143/ 23/ 3236/ 4921/ 5666/ f71889ed_gpio partitions
1037/ 14315/ 24/ 3257/ 4924/ 5668/ fb pca9532
1040/ 145/ 25/ 3258/ 4925/ 5669/ filesystems pca9532_id
10404/ 146/ 2570/ 3396/ 4926/ 5713/ fs/ scsi/
1043/ 148/ 26/ 3450/ 4928/ 5747/ hwm self@
1046/ 15/ 27/ 4/ 4942/ 5809/ ide/ softirqs
1049/ 150/ 277/ 455/ 4965/ 5922/ interrupts stat
1052/ 15004/ 28/ 456/ 4971/ 6/ iomem swaps
11/ 15090/ 282/ 457/ 4974/ 6036/ ioports sys/
1128/ 151/ 2845/ 4581/ 5138/ 6048/ irq/ sysvipc/
1130/ 152/ 28868/ 4599/ 5150/ 6691/ iscsi_target/ thecus_event
1131/ 15232/ 29/ 460/ 5151/ 7/ kallsyms thecus_eventc
1132/ 1566/ 291/ 4600/ 5152/ 8/ kcore thecus_io
1133/ 16/ 292/ 4601/ 5153/ 9/ kmsg timer_list
1185/ 17/ 293/ 4602/ 5154/ acpi/ kpagecount tty/
12/ 18/ 294/ 4603/ 5155/ buddyinfo kpageflags uptime
1246/ 18818/ 295/ 461/ 5156/ bus/ loadavg version
1248/ 19/ 296/ 462/ 5157/ cgroups locks vmallocinfo
1250/ 1992/ 297/ 463/ 5224/ cmdline mdstat vmstat
1260/ 2/ 3/ 464/ 5231/ cpuinfo meminfo zoneinfo
1267/ 20/ 30/ 4739/ 5237/ crypto misc
12895/ 2031/ 3091/ 4818/ 5243/ devices modules
12897/ 21/ 3187/ 4850/ 5263/ diskstats mounts@
13/ 2100/ 3206/ 4906/ 5346/ dma mtrr
13113/ 2198/ 3207/ 4917/ 5442/ driver/ net@
N16000:/proc# cat uptime
514275.26 4111070.57
N16000:/proc# cat loadavg
0.10 0.11 0.13 1/147 15255
N16000:/proc# /usr/bin/uptime
22:09:41 up 5 days, 22:51, load average: 0.08, 0.11, 0.13
N16000:/proc# cat meminfo
MemTotal: 4054480 kB
MemFree: 3771640 kB
Buffers: 4196 kB
Cached: 81776 kB
SwapCached: 0 kB
Active: 76940 kB
Inactive: 64072 kB
Active(anon): 69000 kB
Inactive(anon): 48108 kB
Active(file): 7940 kB
Inactive(file): 15964 kB
Unevictable: 3184 kB
Mlocked: 3184 kB
SwapTotal: 2096112 kB
SwapFree: 2096112 kB
Dirty: 0 kB
Writeback: 0 kB
AnonPages: 58268 kB
Mapped: 13140 kB
Shmem: 60080 kB
Slab: 22392 kB
SReclaimable: 4424 kB
SUnreclaim: 17968 kB
KernelStack: 1216 kB
PageTables: 4972 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 4123352 kB
Committed_AS: 172900 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 37820 kB
VmallocChunk: 34359697408 kB
DirectMap4k: 3840 kB
DirectMap2M: 4182016 kB
N16000:/proc# cat cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 6
model : 30
model name : Intel(R) Xeon(R) CPU X3480 @ 3.07GHz
stepping : 5
cpu MHz : 3066.937
cache size : 8192 KB
physical id : 0
siblings : 8
core id : 0
cpu cores : 4
apicid : 0
initial apicid : 0
fpu : yes
fpu_exception : yes
cpuid level : 11
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov
pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm
constant_tsc arch_perfmon pebs bts rep_good xtopology nonstop_tsc aperfmperf
pni dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm sse4_1 sse4_2
popcnt lahf_lm dts tpr_shadow vnmi flexpriority ept vpid
bogomips : 6136.45
clflush size : 64
cache_alignment : 64
address sizes : 36 bits physical, 48 bits virtual
power management:
Информацию о «процессорах» с первого по седьмой мы удалили, так как она повторяет те сведения, что представлены выше для процессора 0.
Версия установленной прошивки содержится в файле /app/version.
N16000:/# cat /app/version
2.01.01
На этом беглый обзор по возможностям интерфейса командной строки мы завершаем и переходим непосредственно к разделу тестирования.
Тестирование
Раздел тестирования, как и всегда, мы начинаем в определения времени загрузки устройства, под которым мы понимаем интервал времени, прошедший с момент подачи питания до получения первого эхо-ответа по протоколу ICMP. Сетевое хранилище Thecus N16000 загружается за 95 секунд, мы считаем это приемлемым результатом для подобного рода устройств.
Вторым тестом стала проверка защищённости хранилища, которую мы выполнили с помощью утилиты Positive Technologies XSpider 7.7 (Demo build 3100) до установки каких-либо модулей расширения и запуска дополнительных сетевых служб. Всего было обнаружено девять открытых портов: TCP-80 (HTTP), TCP-111 (RPC Unix), UDP-111 (RPC Unix PortMapper), UDP-137 (NetBIOS Name), TCP-139 (NetBIOS samba), TCP-443 (HTTP SSL), TCP-445 (Microsoft DS), TCP-631 (HTTP) и TCP-3260 (iscsi-target). Наиболее интересные обнаруженные сведения представлены ниже.
Итак, мы готовы приступить к самой, пожалуй, интересной части данного раздела – тестированию производительности сетевого хранилища Thecus N16000 с помощью утилиты Intel NASPT 1.7.1. В указанных тестах использовались жёсткие диски Seagate ST2000DM001. Основные параметры тестового стенда представлены ниже. Чтобы сетевая инфраструктура более не была узким местом в наших теста, мы использовали дополнительную сетевую карту 10GE, в качестве которой была выбрана Thecus C10GT с SFP+ модулем Gigalink GL-P03MM.
| Компонент | ПК |
| Материнская плата | ASUS Maximus IV Extreme-Z |
| Процессор | Intel Core i7 2600K 3.4 ГГц |
| Оперативная память | DDR3 PC3-10700 Corsair 16 Гбайт |
| Сетевая карта | Intel 82579V/82583V Thecus C10GT (Gigalink GL-P03MM) |
| Операционная система | Windows 7 x64 SP1 Rus |
Хотелось бы отдельно указать, что мы умышленно уменьшали объём оперативной памяти, доступной системе, с помощью утилиты msconfig, в соответствии с рекомендациями компании Intel. Смысл подобных действий состоит в том, чтобы локальное кэширование не искажало результаты измерений. К сожалению, большинство лабораторий в России и за рубежом пренебрегают подобными рекомендациями.
Thecus N16000 позволяет использовать одну из трёх файловых систем: EXT4, EXT3 и XFS, но минимальный доступный объём диска не может быть изменён вручную, как мы это видели в предыдущих моделях, то есть пользователю доступен только весь объём диска полностью. Описанное поведение хранилища приводит к невозможности использования EXT3 с большими дисками на определённых типах массивах. Так, например, мы использовали шестнадцать дисков по 2 Тбайта каждый, что при сборке в RAID0 даёт общий объём равный 32 Тбайта, что существенно превышает ограничение максимального раздела для этой файловой системы. Однако мы всё же решили провести сравнение всех трёх файловых систем, хотя и понимаем, какая из них будет выбираться пользователями наиболее часто. Для указанного теста мы собрали массив RAID0 на четырёх дисках, к которому подключались с помощью SMB. Результаты измерений представлены ниже.
Далее мы последовательно собирали все доступные массивы из шестнадцати дисков, форматировали разделы в EXT4, измеряли скорость доступа к данным с помощью SMB. Результаты измерений представлены на диаграмме ниже.
Аналогичные действия были совершены и для подключений с помощью iSCSI. Стоит только отдельно отметить, что полученные значения скорости в тесте DirectoryCopyToNAS Throughput не являются адекватными (вероятно, сказывалось локальное кэширование), поэтому мы не отобразили их на диаграмме, чтобы не смущать наших читателей.
Так как протокол iSCSI поддерживает балансировку нагрузки между несколькими сетевыми интерфейсами (iSCSI MultiPath), мы решили сравнить скорости доступа, получаемые с помощью одного 10GE интерфейса или двух GE, объединённых с использованием iSCSI MultiPath и балансировкой Round Robin.
Для защиты информации с украденных дисков производитель предоставляет возможности по шифрованию создаваемого массива. Мы решили сравнить производительность работы N16000 с зашифрованным и незашифрованным массивами.
Не осталась незамеченной и возможность хранилища работать с внешними жёсткими дисками, подключаемыми с помощью интерфейса USB 3.0, для чего мы использовали диск Transcend StoreJet 25M3 объёмом 750 Гбайт. Для данного теста мы выбрали две распространённые файловые системы: FAT32 и NTFS. Результаты измерений представлены на диаграмме ниже.
В прошивке 2.02.02 появилась поддержка протокола IPv6, который в самом ближайшем будущем придёт на смену текущей версии протокола IP – IPv4. Мы подключились к хранилищу с использованием IPv6 и провели тестирование производительности устройства. На диаграмме ниже представлены сравнительные данные для двух версий протокола.
Также, начиная с прошивки 2.02.02, сетевые хранилища Thecus начинают поддержку антивирусного модуля. Мы решили измерить скорость антивирусной проверки, для чего обновили базы модуля через интернет и выгрузили на хранилище три различных набора файлов, содержащие офисные данные, архивы и видео. Результаты измерений представлены ниже на диаграмме.
На этом мы завершаем раздел тестирования и переходим к подведению итогов.
Заключение
Протестированное нами флагманское сетевое хранилище Thecus N16000 позволяет хранить информацию на шестнадцати жёстких дисках в трёх стоечных юнитах. Доступ к данным может быть предоставлен как с помощью двух стандартных интерфейсов Gigabit Ethernet, так и с использованием дополнительно устанавливаемых сетевых карт для сред 1 и 10 GE. Обсуждаемая модель имеет производительность, сравнимую с той, что мы видели у N8900, но вдвое большее дисковое пространство предоставит конечному пользователю возможность сохранять больше данных в расчёте на один юнит в телекоммуникационной стойке.
Сильные стороны устройства перечислены ниже.
- Высокие скорости доступа к данным.
- Возможность установки дополнительных сетевых карт (в том числе и 10GE).
- Поддержка SATA и SAS накопителей.
- Возможность расширения функционала путём установки бесплатных дополнительных модулей.
- Устойчивость к сетевым атакам.
- Возможность агрегирования сетевых интерфейсов и объединения хранилищ в стек.
- Наличие резервного блока питания.
- Возможность резервирования всего устройства.
- Поддержка IPv6.
- Возможность антивирусной проверки хранимых данных.
К сожалению, мы не можем не указать на один обнаруженный недостаток устройства.
- Перевод веб-интерфейса и сайта производителя произведён не полностью.
На момент написания статьи средняя цена на сетевое хранилище Thecus N16000 в интернет-магазинах Москвы составляла 180000 рублей.
Автор и редакция благодарят компанию Тайле, официального дистрибьютора сетевого оборудования Thecus в России, за любезно предоставленное хранилище для тестов. Также мы благодарим цифровой супермаркет DNS за предоставленные для тестирования жёсткие диски.