Для компаний Узбекистана, которые планируют локальные AI-проекты, это повод оценить всю цепочку обработки данных. Производительность проекта зависит не только от вычислительных серверов: хранилище и сеть должны успевать передавать им необходимые данные.
Как скорость доступа к данным влияет на AI и другие ресурсоемкие задачи
При обучении AI-моделей система многократно обращается к наборам данных. Если чтение и передача становятся узким местом, вычислительные ресурсы могут использоваться не полностью. Поэтому при проектировании инфраструктуры важно оценивать пропускную способность, задержки и характер обращений к данным.
Похожая задача возникает в средах виртуализации и видеопроизводстве. Несколько параллельных нагрузок могут одновременно требовать высокой скорости обмена с хранилищем.
NFS over RDMA снижает задержки и нагрузку на процессор
NFS over RDMA использует удаленный прямой доступ к памяти для передачи данных. Такой механизм снижает участие процессора в сетевом обмене и помогает уменьшать задержки по сравнению с традиционной обработкой передачи данных.
В серии TVS-hx77AX поддержка этой технологии сочетается с возможностью установки совместимых сетевых адаптеров 25GbE. Для ее использования необходима соответствующая конфигурация хранилища, клиентской системы и сети.
Практический эффект следует оценивать на нагрузке конкретного проекта. Для AI это могут быть скорость чтения обучающих наборов и загрузка вычислительных ресурсов, для виртуализации — поведение системы при одновременной работе нескольких виртуальных машин.
Как совместить быстрый доступ и большой объем
TVS-hx77AX построена на процессорах AMD Ryzen серии 7000 и памяти DDR5. Гибридная архитектура сочетает отсеки для дисков с выделенными слотами U.2 NVMe SSD.
Это дает возможность использовать быстрые накопители для данных, к которым приложения обращаются особенно активно, а HDD — для емкого хранения. Например, рабочий набор AI-проекта и накопленный архив могут предъявлять разные требования к скорости доступа.
В качестве аппаратной основы можно рассмотреть TVS-h877AX или TVS-h1277AX. Конфигурацию выбирают по объему данных, профилю операций и требованиям приложений, а не только по количеству дисковых отсеков.
Защита данных как часть AI-инфраструктуры
Обучающие наборы, подготовленные данные и результаты экспериментов могут быть трудоемкими в воспроизводстве. Поэтому вместе с производительностью необходимо проектировать их защиту.
Серия использует QuTS hero на базе ZFS и поддерживает неизменяемые снимки. Они дают возможность сохранять точки восстановления, защищенные от изменения и удаления в течение установленного срока.
Для проекта это означает, что требования к скорости доступа и сохранности данных можно учитывать в одной архитектуре.
С чего начать проект
Перед выбором оборудования стоит определить объем рабочих наборов, интенсивность чтения и записи, число параллельных задач и требования к восстановлению. Затем проверить сочетание накопителей, сетевых адаптеров и клиентских систем на типовой нагрузке.
Такой подход помогает понять, какую роль NFS over RDMA и гибридное хранение могут сыграть в AI-проекте или среде виртуализации.
Обсудить архитектуру высокопроизводительного хранения для AI и корпоративных нагрузок:
E-mail: vad_uz@asbis.com
Сайт: asbis.uz
Telegram: t.me/asbisuz
На правах рекламы.
