Дисковые полки

вертикальное масштабирование as it's finest

Рассмотренные ниже дисковые полки подходят только для линеек FAS, AFF и ASA

Прежде чем планировать докупить дисковую полку, убедитесь что вы не превышаете максимально количество дисковых полок или дисков. Для каждой системы это разные значения!

Для пользователей старых систем хранения данных (до 2016 г.в.) внимательно прочитайте часть про подключение новых дисковых полок к старым СХД

Какие дисковые полки доступны для расширения?

Существует два поколения дисковых полок:

Новые дисковые полки, IOM 12Gb SAS с коннекторами miniSAS HD
- DS224C
- DS212C
- DS460C
Старые дисковые полки которые уже недоступны к заказу официально, но очень много где установлены, IOM 6Gb SAS коннекторы QSFP и это имеет значение при планировании расширения
- DS2246
- DS4246

Как подключаются дисковые полки к СХД?

Речь подет только о дисковых полках с SAS IOM интерфейсами. NVMe полки подключаются иначе и описаны дальше.

У NetApp для подключения полок всегда использовалась "петля", когда SAS IOM подключались последовательно друг другу, а контроллеры СХД к первой и последней полке в стеке

Да, именно stack-depth или просто stack (стек) - название последовательно подключенных полок. Таких стеков в рамках даже одной СХД может быть несколько, если позволяет количество SAS портов

Количество дисковых полок в одном стеке так же ограничено. И дело тут не в маркетинге или вредности производителя, а в банальной физике. Дело в том, чем больше у нас дисковых полок в одном стеке, тем больше итоговых "хопов" приходится совершить данным с интерфейса последнего IOM модуля. Более того, все операции в стеке обрабатываются всеми IOM модулями, что в конечном итоге приводит к ограничениям на количество одновременно подключенных полок. А мы еще даже не начали говорить об SSD, которые еще больше бьют по ограничениям из-за специфики производительности Flash и требований к CPU СХД

Таким образом, у нас получается картина когда у каждой системы в линейке FAS/AFF/ASA есть ограничение по количеству дисков, дисковых полок в стеке и стеков

При чем эти ограничения только на половину "технические" есть так же доля маркетинга, особенно в случае младших систем. Шито поделать 🤷‍♂️

Сами стеки есть в двух вариантах:

Multi-path

Классический мультипас, оба контроллера СХД видят оба IOMA/B и таким образом пути задублированы, потеря одного IOM модуля или целой половины никак не повлияет на производительность

Quad-path

Встречается редко и только в самых крупных проектах. Надежнее но не производительнее. Кроме того надежность заключается только в дополнительных точках отказа интерфейсов. Поэтому фактической необходимости в таком подключении зачастую просто нет

Новые дисковые полки

Всего три модели

DS212C
DS224C
DS460C

Названия расшифровуются достаточно просто, например возьмем полку DS 2 24 C:

DS - disk shelf
2 - количество юнитов
24 - количество дисков в полке
С - скорость SAS интерфейса IOM модуля

С в шестднатцатиричной системе счисления означает 12, именно такая скорость интерфейса - 12Gb SAS

Что такое IOM и как он выглядит?

Input - Output module модуль ввода-вывода. И как вы уже поняли из названия используется он исключительно для обмена информацией с другими IOM и контроллерами СХД

В каждой дисковой полке установлено два таких модуля A и В

DS212C

DS224C

DS460C

Сравнительня таблица

DS212C

DS224C

DS460C

Высота

Кло-во

дисков макс

Диски 2.5"

нет

SAS 10k: 900GB, 1.2, 1.8TB

NSE: 1.8TB SAS, 3.8TB SSD

SSD: 960Gb, 3.8, 7.6, 15.3TB

нет

Диски 3.5"

NL-SAS/SATA: 4, 8, 10, 16TB

NSE: 10TB

SSD: 960GB, 3.8TB

нет

NL-SAS/SATA: 4, 8, 10, 16TB

NSE: 10TB

SSD: 960GB, 3.8TB

Макс. SSD

Какие платформы

поддерживает*

FAS

FAS, AFF, ASA

FAS

Какие диски

со старых DS

поддерживаются

DS4243, DS4246

DS2246

DS4243, DS4246

Питание

C13-14

C19-20

*Полки DS212C и DS460C можно подключить только к гибридным системам FAS Полку DS224C можно подключать ко всем системам

NVMe дисковые полки

Особняком стоят дисковые полки поддерживающие NVMe SSD диски

По сути у них свой собственный способ подключения, работы и списиок поддерживаемых систем. А по технологичности далеко превосходит даже некоторые СХД! Шутка ли, обеспечить доступность к 24 NVMe дискам с задержкой в наносекунду!

На сегодняшний день есть такие модели NVMe дисковых полок

NS224

Как выглядит NS224?

Какие системы поддерживают NS224?

AFF A400
AFF A800
AFF A250
AFF A700

Какие диски поддерживаются

Standard (SED*) 1.9TB, 3.8TB, 7.6TB, 15.3TB
NSE** 3.8TB
Non-SED*** 1.9TB, 3.8TB

*SED - self-encrypted drives, диски со встроенным модулем шифрования, не поддерживает FIPS140-2, можно миксовать с Non-SED, стандартная опция при заказе **NSE - NetApp storage encryption, диски со встроенным модулем шифрования, поддерживает FIPS140-2, нельзя миксовать с Non-SED и SED Non-SED опция для России и Китая

Еще более простым языком

Есть просто NVMe SED SSD диски, которые поддерживают full disc encryption, но не поддерживают стандарт безопастности FIPS 140-2

Есть NVMe NSE SED SSD, которые поддерживают как full disc encryption так и стандарт FIPS 140-2

Больше читайте в разделе

Шифрование

Как заказывать диски?

Паками

Как подключаются NS224 к СХД?

Достаточно интересный вопрос. Хотя, ответ банальный - кабелями 🙃

Что же тут интересного. Если помните в начале статьи я писал что чем больше полок подключены в один стек, тем больше требования ко всем элементам в этой цепи. И именно по этому есть ограничение по количеству дисков, дисковых полок и стеков в которые эти дисковые полки могут собираться для одной СХД

Так вот, для NVMe SSD все еще сложнее. Производительность одной дисковой полки NS224 - 400Gb/sec, по 200Gb на каждый модуль! Напоминаю, что речь идет о наносекундной задержке для приложений!

Таким образом NetApp подумал и решил уйти от подхода "стаков", и теперь невозможно объеденить несколько NS224 последовательно. Что вполне логично, учитывая требования к задержкам и производительности.

Как же тепрь подключаться?

Вариант первый, Direct Attached через 100GbE карточки

С помощью 100GbE QSFP+, которые уже установлены на NS224, прямое подключение по RDMA over RoCE

Поддерживается так же 40Gbe

QSFP28 для 100GbE
QSFP для 40GbE

При таком варианте:

Необходимо установить на СХД (не все модели в базе имеют 40/100GbE порты) нужную PCIe карту (по одной на каждый контроллер, потому что на полке 2 IOM модуля)
Таким образом мы подключим только одну полку
Для подключения двух полок, необходимо 4 карточки (по две на контроллер)
Таким