Анализ компании Nvidia
(тикер NVDA)
Последние новости
Предоставлено GlobeNewswire 28 октября 2024 г., 19:00
САНТА-КЛАРА, Калифорния, 28 октября 2024 г. (GLOBE NEWSWIRE)
- Сегодня компания NVIDIA объявила, что суперкомпьютерный кластер xAI Colossus, состоящий из 100 000 графических процессоров NVIDIA Hopper Tensor Core в Мемфисе, штат Теннесси, достиг такого огромного масштаба благодаря использованию NVIDIA Spectrum-X™ Ethernet. сетевая платформа, которая предназначена для обеспечения превосходной производительности мультиарендных гипермасштабируемых фабрик искусственного интеллекта, использующих стандартный Ethernet, для сети удаленного прямого доступа к памяти (RDMA).
Colossus, крупнейший в мире суперкомпьютер искусственного интеллекта, используется для обучения семейства больших языковых моделей Grok от xAI, а чат-боты предлагаются в качестве функции для подписчиков X Premium. xAI находится в процессе удвоения размера Colossus до 200 000 графических процессоров NVIDIA Hopper.
Вспомогательное оборудование и современный суперкомпьютер были построены компаниями xAI и NVIDIA всего за 122 дня, вместо обычных сроков для систем такого размера, которые могут занять от многих месяцев до лет. С момента, как первая стойка упала на пол, до начала тренировки прошло 19 дней.
Производительность сети
Обучая чрезвычайно большую модель Grok, Colossus достигает беспрецедентной производительности сети. На всех трех уровнях сетевой структуры в системе не наблюдалось снижения задержки приложений или потери пакетов из-за коллизий потоков. Он поддерживает пропускную способность 95%, что обеспечивается благодаря контролю перегрузки Spectrum-X. Такого уровня производительности невозможно достичь в масштабе с помощью стандартного Ethernet, который создает тысячи коллизий потоков, обеспечивая при этом лишь 60% пропускной способности данных.
«ИИ становится критически важным и требует повышения производительности, безопасности, масштабируемости и экономической эффективности», - сказал Гилад Шейнер, старший вице-президент по сетевым технологиям NVIDIA. «Сетевая платформа NVIDIA Spectrum-X Ethernet предназначена для того, чтобы предоставить инноваторам, таким как xAI, более быструю обработку, анализ и выполнение рабочих нагрузок ИИ, что, в свою очередь, ускоряет разработку, развертывание и вывод на рынок решений ИИ».
«Colossus - самая мощная система обучения в мире», - сказал Илон Маск на X. «Отличная работа команды xAI, NVIDIA и наших многочисленных партнеров/поставщиков».
«Компания xAI создала самый большой и мощный суперкомпьютер в мире», - заявил представитель xAI. «Графические процессоры NVIDIA Hopper и Spectrum-X позволяют нам расширить границы обучения моделей искусственного интеллекта в массовом масштабе, создавая сверхускоренную и оптимизированную фабрику искусственного интеллекта на основе стандарта Ethernet».
Платформа Spectrum-X
В основе платформы Spectrum-X лежит Ethernet-коммутатор Spectrum SN5600, поддерживающий скорость портов до 800 Гбит/с и основанный на ASIC коммутатора Spectrum-4. Компания xAI решила объединить коммутатор Spectrum-X SN5600 с картами NVIDIA BlueField-3® SuperNIC для достижения беспрецедентной производительности.
Сети Spectrum-X Ethernet для искусственного интеллекта предоставляют расширенные функции, которые обеспечивают высокоэффективную и масштабируемую полосу пропускания с низкой задержкой и короткой задержкой, ранее эксклюзивную для InfiniBand. Эти функции включают в себя адаптивную маршрутизацию с технологией NVIDIA Direct Data Placement, контроль перегрузки, а также улучшенную видимость структуры искусственного интеллекта и изоляцию производительности - все это ключевые требования для многопользовательских генеративных облаков искусственного интеллекта и крупных корпоративных сред.
Успехов в инвестировании
Команда AVI
Обсуждение в Telegram
Комментариев пока нет. Будьте первым!
Вход через Telegram. Комментарий появится под постом в канале.