Дисковые полки

вертикальное масштабирование as it's finest

Рассмотренные ниже дисковые полки подходят только для линеек FAS, AFF и ASA

Прежде чем планировать докупить дисковую полку, убедитесь что вы не превышаете максимально количество дисковых полок или дисков. Для каждой системы это разные значения!

Для пользователей старых систем хранения данных (до 2016 г.в.) внимательно прочитайте часть про подключение новых дисковых полок к старым СХД

Какие дисковые полки доступны для расширения?

Существует два поколения дисковых полок:

• Новые дисковые полки, IOM 12Gb SAS с коннекторами miniSAS HD

  • DS224C

  • DS212C

  • DS460C

• Старые дисковые полки которые уже недоступны к заказу официально, но очень много где установлены, IOM 6Gb SAS коннекторы QSFP и это имеет значение при планировании расширения

  • DS2246

  • DS4246

Как подключаются дисковые полки к СХД?

Речь подет только о дисковых полках с SAS IOM интерфейсами. NVMe полки подключаются иначе и описаны дальше.

У NetApp для подключения полок всегда использовалась "петля", когда SAS IOM подключались последовательно друг другу, а контроллеры СХД к первой и последней полке в стеке

Да, именно stack-depth или просто stack (стек) - название последовательно подключенных полок. Таких стеков в рамках даже одной СХД может быть несколько, если позволяет количество SAS портов

Количество дисковых полок в одном стеке так же ограничено. И дело тут не в маркетинге или вредности производителя, а в банальной физике. Дело в том, чем больше у нас дисковых полок в одном стеке, тем больше итоговых "хопов" приходится совершить данным с интерфейса последнего IOM модуля. Более того, все операции в стеке обрабатываются всеми IOM модулями, что в конечном итоге приводит к ограничениям на количество одновременно подключенных полок. А мы еще даже не начали говорить об SSD, которые еще больше бьют по ограничениям из-за специфики производительности Flash и требований к CPU СХД

Таким образом, у нас получается картина когда у каждой системы в линейке FAS/AFF/ASA есть ограничение по количеству дисков, дисковых полок в стеке и стеков

При чем эти ограничения только на половину "технические" есть так же доля маркетинга, особенно в случае младших систем. Шито поделать 🤷‍♂️

Сами стеки есть в двух вариантах:

Multi-path

Классический мультипас, оба контроллера СХД видят оба IOMA/B и таким образом пути задублированы, потеря одного IOM модуля или целой половины никак не повлияет на производительность

Quad-path

Встречается редко и только в самых крупных проектах. Надежнее но не производительнее. Кроме того надежность заключается только в дополнительных точках отказа интерфейсов. Поэтому фактической необходимости в таком подключении зачастую просто нет

Новые дисковые полки

Всего три модели

• DS212C

• DS224C

• DS460C

Названия расшифровуются достаточно просто, например возьмем полку DS 2 24 C:

• DS - disk shelf

• 2 - количество юнитов

• 24 - количество дисков в полке

• С - скорость SAS интерфейса IOM модуля

С в шестднатцатиричной системе счисления означает 12, именно такая скорость интерфейса - 12Gb SAS

Что такое IOM и как он выглядит?

Input - Output module модуль ввода-вывода. И как вы уже поняли из названия используется он исключительно для обмена информацией с другими IOM и контроллерами СХД

В каждой дисковой полке установлено два таких модуля A и В

12Gb self IOM

DS212C

DS212C

DS224C

DS224C

DS460C

DS460C

Сравнительня таблица

	DS212C	DS224C	DS460C
Высота	2U	2U	4U
Кло-во дисков макс	12	24	60
Диски 2.5"	нет	SAS 10k: 900GB, 1.2, 1.8TB NSE: 1.8TB SAS, 3.8TB SSD SSD: 960Gb, 3.8, 7.6, 15.3TB	нет
Диски 3.5"	NL-SAS/SATA: 4, 8, 10, 16TB NSE: 10TB SSD: 960GB, 3.8TB	нет	NL-SAS/SATA: 4, 8, 10, 16TB NSE: 10TB SSD: 960GB, 3.8TB
Макс. SSD	12	24	10
Какие платформы поддерживает*	FAS	FAS, AFF, ASA	FAS
Какие диски со старых DS поддерживаются	DS4243, DS4246	DS2246	DS4243, DS4246
Питание	C13-14	C13-14	C19-20

*Полки DS212C и DS460C можно подключить только к гибридным системам FAS Полку DS224C можно подключать ко всем системам

NVMe дисковые полки

Особняком стоят дисковые полки поддерживающие NVMe SSD диски

По сути у них свой собственный способ подключения, работы и списиок поддерживаемых систем. А по технологичности далеко превосходит даже некоторые СХД! Шутка ли, обеспечить доступность к 24 NVMe дискам с задержкой в наносекунду!

На сегодняшний день есть такие модели NVMe дисковых полок

• NS224

Как выглядит NS224?

front

back

Какие системы поддерживают NS224?

• AFF A400

• AFF A800

• AFF A250

• AFF A700

Какие диски поддерживаются

• Standard (SED*) 1.9TB, 3.8TB, 7.6TB, 15.3TB

• NSE** 3.8TB

• Non-SED*** 1.9TB, 3.8TB

*SED - self-encrypted drives, диски со встроенным модулем шифрования, не поддерживает FIPS140-2, можно миксовать с Non-SED, стандартная опция при заказе **NSE - NetApp storage encryption, диски со встроенным модулем шифрования, поддерживает FIPS140-2, нельзя миксовать с Non-SED и SED Non-SED опция для России и Китая

Еще более простым языком

Есть просто NVMe SED SSD диски, которые поддерживают full disc encryption, но не поддерживают стандарт безопастности FIPS 140-2

Есть NVMe NSE SED SSD, которые поддерживают как full disc encryption так и стандарт FIPS 140-2

Больше читайте в разделе

Шифрование

Как заказывать диски?

Паками

Как подключаются NS224 к СХД?

Достаточно интересный вопрос. Хотя, ответ банальный - кабелями 🙃

Что же тут интересного. Если помните в начале статьи я писал что чем больше полок подключены в один стек, тем больше требования ко всем элементам в этой цепи. И именно по этому есть ограничение по количеству дисков, дисковых полок и стеков в которые эти дисковые полки могут собираться для одной СХД

Так вот, для NVMe SSD все еще сложнее. Производительность одной дисковой полки NS224 - 400Gb/sec, по 200Gb на каждый модуль! Напоминаю, что речь идет о наносекундной задержке для приложений!

Таким образом NetApp подумал и решил уйти от подхода "стаков", и теперь невозможно объеденить несколько NS224 последовательно. Что вполне логично, учитывая требования к задержкам и производительности.

Как же тепрь подключаться?

Вариант первый, Direct Attached через 100GbE карточки

С помощью 100GbE QSFP+, которые уже установлены на NS224, прямое подключение по RDMA over RoCE

Поддерживается так же 40Gbe

• QSFP28 для 100GbE

• QSFP для 40GbE

При таком варианте:

• Необходимо установить на СХД (не все модели в базе имеют 40/100GbE порты) нужную PCIe карту (по одной на каждый контроллер, потому что на полке 2 IOM модуля)

• Таким образом мы подключим только одну полку

• Для подключения двух полок, необходимо 4 карточки (по две на контроллер)

• Таким

Вариант второй, Switched через 100GbE switch

Начиная с версии прошивки ONTAP 9.8, дисковые NVMe полки можно подключать через так называемые storege switch.

Официально (на текущий момент) поддерживается только Cisco Nexus 3232C

Но, по сути ,это обычный 100GbE свитч без каких либо излишеств и любой свитч, даже уже существующий в инфраструктуре должен подойти

Если появятся нюансы - я сразу же отображу их в этой статье

Такая топология позволяет подключить максимальное количество дисковых NVMe полок не занимаю слоты расширения

Какие системы поддерживают switched подключение?

• A320

• A400

• A700

• A800

switched connection

Об Авторе