Какъв сървър за AI да изберете? Три нива на инвестиции и реални разходи

Само преди две години „собствен AI“ означаваше за повечето компании едно: абонамент за ChatGPT или Copilot. Днес все повече организации достигат момента, в който облакът вече не е достатъчен. Причините обикновено са три: разходи, които растат с броя на заявките, данни, които не бива да напускат компанията, и необходимостта AI да работи със собствени документи, бази данни и процеси, а не с общи знания от интернет.

Тогава възниква въпросът: какъв AI сървър всъщност да купите и колко струва той?

Отговорът е по-интересен, отколкото изглежда, защото ценовият диапазон е огромен: от устройство с размер на книга за малко над двадесет хиляди злоти до машина за над два милиона. Важно е, че всяко от тези решения има смисъл, но за различен тип потребители. По-долу описвам трите нива на инвестиция, сметката, която си струва да направите преди решението, и пет въпроса, с които да изберете оборудване, без да купувате нито прекалено много, нито недостатъчно.

С какво AI сървърът се различава от стандартния сървър

Стандартният сървър е изграден около процесора. AI сървърът е изграден около GPU ускорителите — те извършват цялата работа с моделите, а останалият хардуер е предназначен да ги обслужва. Оттук произтичат три практически разлики.

• GPU ускорители и тяхната памет. В такава машина работят от четири до осем ускорителя — в rack сървърите най-често като PCIe карти, а в най-мощните платформи като модули, запоени върху обща платка. Общият им капацитет памет е най-важният параметър при цялата покупка — повече за това след малко.
• Електрозахранване. Осем карти под натоварване консумират 5–6 kW, което е колкото няколко десетки офис компютъра. Това изисква rack шкаф с подходящо електрозахранване и ефективно отвеждане на топлината от сървърното помещение.
• Мрежа. За една машина е достатъчна стандартна високоскоростна мрежа. При свързване на няколко сървъра в една система са необходими значително по-бързи връзки, тъй като GPU ускорителите в различни шасита трябва да обменят данни със закъснение, сравнимо с работата в едно шаси.

Затова това не е просто „по-мощен сървър“. Това е различна категория хардуер, която се избира по различни критерии.

GPU памет: числото, което подрежда целия избор

Има един параметър, по-важен от цената: с колко обща памет разполагат GPU ускорителите в сървъра.

Защо? Моделът трябва да се побере изцяло в тази памет, подобно на файл, който трябва да бъде зареден в програмата, за да може да се използва. Ако не се побере, просто няма да стартира.

Самият модел обаче е само началото на сметката. Всеки влязъл потребител и всеки анализиран документ заемат допълнителна памет за текущия разговор. Следователно един и същ модел за сто души изисква осезаемо повече място, отколкото за един — и именно броят потребители, а не само размерът на модела, най-често определя кое ниво хардуер е необходимо.

Основните изисквания на моделите към паметта са разгледани в ръководството Какъв компютър за AI да изберете. Таблицата по-долу показва втората ос на тази сметка: как се променят изискванията с мащаба на внедряването. Стойностите са ориентировъчни и се отнасят за типична производствена конфигурация.

Размер на модела	5 потребители	50 потребители	200 потребители	Ниво на хардуера
малък (клас 8B)	около 8 GB	около 20 GB	около 50 GB	DGX Spark
среден (клас 70B)	около 45 GB	около 70 GB	около 130 GB	rack сървър, 1–2 карти
голям (клас 200B+)	около 130 GB	около 200 GB	около 350 GB	сървър с осем карти
обучение на собствен модел	няколко пъти повече, отколкото само за стартиране	–	–	HGX платформа B200

Обозначения като 8B или 70B показват от колко милиарда параметри е съставен моделът — 8B означава осем милиарда. Колкото повече са параметрите, толкова по-добро е качеството на отговорите и толкова повече GPU памет заема моделът.

И още нещо, което лесно се забравя.

Резерв. Посочените по-горе стойности важат при нормална работа. При пиково натоварване е добре да предвидите 20–30% резерв, иначе при по-голям трафик системата ще започне да отхвърля заявки.

Ниво 1: NVIDIA DGX Spark — отправната точка

NVIDIA DGX Spark е настолно устройство с размер на книга, с 128 GB унифицирана памет и изчислителна мощност от порядъка на 1 петаFLOP за AI задачи. То позволява локално изпълнение на модели от класа на тези, които захранват популярните асистенти, без нито един документ да се изпраща в облака. Има няколко варианта, които се различават основно по капацитета на диска (1, 2 или 4 TB) и пакета за поддръжка. Пълната оферта в този клас хардуер, включително модели от осем производителя, ще откриете в категорията компютри и работни станции за AI.

За кого е подходящ? За компания, която тепърва иска да провери дали AI ще подобри обслужването на клиенти, анализа на договори или изготвянето на оферти, преди някой да одобри голям бюджет. Инвестицията е от порядъка на около 11 105,45 лв. без ДДС, тоест по-малко от годишен абонамент за AI инструменти за екип от няколко десетки души. Две устройства могат да се свържат в една система.

Ограничение. Това е хардуер за един екип, а не за цялата организация. Не може да се монтира в rack шкаф, няма резервирано захранване и не може да бъде обхванат от сервизната политика, приложима в сървърното помещение. Когато AI трябва да се използва едновременно от сто души, е необходимо да преминете на следващото ниво.

Ниво 2: GPU сървър за rack шкаф — производствен AI за компанията

Според мен това е нивото, което днес най-често се пренебрегва, а за компания с реално приложение на AI е най-разумният избор.

Става дума за специализирана GPU платформа за rack шкаф (5U), проектирана за осем карти с двойна ширина. Тя не е обвързана с конкретен модел ускорител — изборът на картите зависи от приложението. Основната конфигурация включва два процесора AMD EPYC, до 6 TB памет DDR5 в 24 слота и шест 2700 W захранващи блока, работещи в резервиран режим.

Броят на картите е от ключово значение, тъй като той определя GPU паметта. Две карти RTX PRO 6000 по 96 GB осигуряват 192 GB и ще поддържат вътрешен асистент за няколко десетки души. Пълната конфигурация с осем карти предлага 768 GB, което е достатъчно за няколкостотин потребители или много големи модели. Допълнителни карти се добавят в същото шаси, без подмяна на сървъра – и това е най-голямото предимство на това ниво: не е необходимо да започвате с пълна конфигурация.

Конкретен модел: Supermicro AS-5126GS-TNRT Gold Series

Продава се като цялостна, конфигурирана система. Ориентировъчната инвестиция за начална конфигурация с две карти е около 231 363,20 лв. без ДДС. Проверете точната конфигурация и актуалната цена на продуктовата страница.

Какво означава това на практика? Такъв сървър може да изпълнява големи езикови модели локално, да анализира фирмения архив с документи, да автоматизира обслужването на клиенти, да генерира съдържание на много езици и да анализира изображения от производствена линия. Освен това картите RTX PRO са универсални – същият сървър може да се използва за рендиране, инженерни симулации или виртуализация на работни станции. Това често е решаващ аргумент: оборудването не остава неизползвано между AI проектите.

За кого е подходящ? В начална конфигурация – за компания с няколко десетки служители, която е преминала етапа на тестовете и иска да предостави на екипите вътрешен асистент, познаващ фирмените процедури. В пълна конфигурация – за големи организации, стотици едновременни потребители и регулирани отрасли като финансите, медицината или публичния сектор, в които данните трябва да останат в сградата.

Какво да имате предвид. Консумацията на енергия нараства с броя карти: от около 2 kW при две до 5–6 kW при осем. Шкафът трябва да осигури това захранване, а охлаждането – да отвежда топлината. Ако планирате разширяване, изчислете капацитета на електрозахранването и климатизацията още сега за крайната, а не за началната конфигурация.

Ниво 3: NVIDIA HGX B200, или инфраструктурата, върху която се обучават модели

На самия връх е оборудването, за което се чете в новините за технологичната надпревара между най-големите компании в света. Сървърът с платформа NVIDIA HGX B200 разполага с осем Blackwell чипа – най-мощните AI ускорители на пазара в момента – с общо 1,44 TB памет HBM3e, най-бързата, която може да се купи днес.

Машината заема 10U в шкафа и има осем мрежови интерфейса 400 Gb/s, тъй като е проектирана за обединяване в клъстер с още идентични сървъри. Захранването се осигурява от шест захранващи блока с мощност около 5 kW, работещи с резервираност в схема 3+3 – реалната консумация на машината при натоварване е около 10 kW, а останалото е резерв и защита при повреда. В комплекта са включени процесор BlueField-3, който разтоварва основната система от мрежови задачи и задачи по сигурността, както и тригодишна поддръжка със сервиз на място на следващия работен ден.

Конкретен модел: Supermicro AS-A126GS-TNBR

Предназначен за научни изчисления, AI, индустриална автоматизация и анализ на данни. Ориентировъчната инвестиция е около 925 452,73 лв. без ДДС за един сървър; актуалната цена е посочена на продуктовата страница.

Разликата спрямо GPU сървър от второ ниво не е в това, че B200 „прави същото, но по-бързо“. Той изпълнява задачи, които другият не може да изпълни за разумно време: обучение на собствени модели от нулата, дообучаване на модели със стотици милиарди параметри, обслужване на стотици потребители едновременно, научни изследвания и симулации в индустриален мащаб.

За кого е подходящ? За компании, които разработват AI-базирани продукти и не използват готови модели, а създават собствени. За изследователски институции и университети. За телекомуникационни оператори, банки, големи индустриални групи и фармацевтични компании.

На практика рядко се купува само една такава машина. Необходими са още мрежова инфраструктура, захранване и охлаждане на сървърното помещение – при 10 kW на шаси обикновено се налага течно охлаждане. Това не е просто покупка на оборудване, а стратегическо решение.

Как да изберете сървър за AI? Пет въпроса, които си струва да си зададете

Вече знаете ли какво трябва да прави AI във вашата организация?

Ако не – изберете първо ниво. На цената на един премиум лаптоп получавате среда, в която за две седмици можете да тествате няколко идеи и да вземете решение въз основа на факти, а не на презентации.

Колко души ще го използват и колко често?

Ако отговорът е „цялата компания, всеки ден“, настолното устройство няма да е достатъчно и GPU сървър за шкаф ще бъде подходящ избор. Струва си да изчислите колко харчите в момента за облачни API и абонаменти. При голям мащаб собственото оборудване е по-евтино в рамките на две до три години.

Създавате ли собствени модели или използвате готови?

Използването на готови, дори много големи модели, е сферата на второ ниво. Създаването на собствени модели вече изисква B200. Тук границата е ясна и рядко има съмнение от коя страна се намира компанията.

Колко голям модел трябва да изпълнявате и за колко души?

Върнете се към таблицата с паметта. Ако избраният модел заема 60 GB и трябва да се използва от петдесет души едновременно, една карта с 96 GB памет е абсолютният минимум, а две осигуряват удобство и възможност за растеж.

Какво може да поеме вашето сървърно помещение?

Най-честата изненада в AI проектите не е свързана с оборудването, а със сградата: колко електроенергия може да се осигури, дали климатизацията ще отведе допълнителната топлина и дали има място в шкафа. По-добре е да проверите това преди поръчката, отколкото след доставката.

Какво още влиза в бюджета за внедряване

Цената на сървъра обикновено представлява 70–85% от бюджета на проекта. Останалите позиции е добре да се предвидят още на етапа на планиране.

• Захранване и шкаф – PDU с подходяща мощност, разпределение на фазите, непрекъсваемо захранване, а в част от инсталациите – и ново електрическо присъединяване.
• Охлаждане – до около 5–6 kW на шкаф обикновено е достатъчно прецизно климатизиране. Над 10 kW се използва течно охлаждане, което изисква адаптиране на помещението и отделна сервизна процедура. Ако сървърното помещение не е проектирано за това, този разход е добре да се включи още в офертата.
• RAM памет – конфигурациите за AI започват от няколкостотин гигабайта, а цените на сървърните модули през 2026 г. нараснаха значително. Разликата между 512 GB и 1 TB може да бъде съществен разход в бюджета.
• Мрежа – комутатор с подходяща пропускателна способност, трансивъри и окабеляване. При клъстерни конфигурации е необходима и отделна мрежа за GPU.
• Съхранение на данни – моделите и колекциите от документи заемат терабайти, а пропускателната способност при четене трябва да съответства на производителността на картите.
• Внедряване – инсталиране на софтуера, стартиране на модела, интеграция с фирменото удостоверяване и със системите, които използвате.
• Поддръжка и гаранция – за производствени среди стандартът е сервиз на място на следващия работен ден.

От какво да започнете

Най-честата грешка при подобни покупки е да се започва от каталога. Работещият ред е обратният: първо едно конкретно приложение, след това броят потребители, после сравнителен анализ с текущите разходи за облачни услуги и едва накрая конфигурацията.

Ако все още не знаете точно за какво ще служи AI, първото ниво е достатъчно за няколко месеца тестове и струва колкото един лаптоп. Ако тестовете вече са приключили и асистентът трябва да работи за цялата компания, второто ниво в момента е най-разумният избор за повечето организации. Третото ниво се избира, когато изграждате собствени модели — и тогава решението обикновено е очевидно.

Ако конфигурацията трябва да бъде съобразена с вашето сървърно помещение — брой карти, памет, мрежа или охлаждане — нашият екип ще подготви предложение за конкретното приложение.

ЧЗВ