+7 383 380-81-89
22 августа 2023Когда говорят про искусственный интеллект, обычно обсуждают программы. Но любая нейросеть — это в первую очередь расчёты, а расчёты кто-то должен считать. От того, на чём они считаются, зависит и скорость, и цена.
Разберём простыми словами, почему для ИИ нужно особое железо и что это значит для компании, которая думает о внедрении.
Почему обычный процессор не подходит
Процессор компьютера умеет делать сложные вещи по очереди. Он как один очень образованный человек: справится с любой задачей, но по одной за раз.
Нейросети устроены иначе. Им нужно выполнить миллиарды очень простых однотипных действий — умножений и сложений — и все одновременно. Здесь нужен не один умный, а десять тысяч простых, работающих параллельно.
Именно так устроены видеокарты. Их придумали для игр, где надо одновременно рассчитать цвет миллионов точек на экране. Оказалось, что расчёт нейросети устроен похоже — и видеокарты стали основным железом для ИИ.
Две разные задачи
Это различие важнее всего остального, потому что от него зависит бюджет.
Обучение
Модель учится на больших объёмах данных. Это очень долго и очень дорого: недели работы на десятках и сотнях мощных карт.
Хорошая новость: подавляющему большинству компаний обучать модель с нуля не нужно и не имеет смысла. Это делают несколько крупных игроков, а остальные берут готовое.
Применение
Готовая модель отвечает на вопросы. Это в тысячи раз дешевле обучения, и именно этим занимается любое внедрение в компании.
Когда вам говорят «нужен свой сервер под ИИ», речь почти всегда про применение, а не про обучение. И требования там принципиально скромнее.
Что определяет, потянет ли железо
Объём памяти на карте. Главный ограничитель. Модель должна целиком поместиться в память видеокарты. Не поместилась — работать не будет вообще, независимо от того, насколько карта быстрая.
Скорость памяти. Определяет, как быстро приходит ответ. При работе с текстом упираются обычно именно в неё, а не в вычислительную мощность.
Количество карт. Большие модели разносят на несколько карт, и тогда важно, насколько быстро карты общаются между собой.
Три варианта, где считать
Чужой сервис по подписке
Вы отправляете запрос, получаете ответ, платите за объём. Не нужно ничего покупать и настраивать, начать можно за день.
Минус: данные уходят наружу. Для части компаний это неприемлемо по закону или по политике безопасности.
Аренда мощностей
Вы арендуете сервер с видеокартами и ставите на него модель сами. Данные обрабатываются на арендованной машине, платить надо за время, а не за объём запросов.
Разумный средний вариант, когда объёмы уже большие, но покупать железо рано.
Своё железо
Сервер стоит у вас, данные не покидают компанию совсем. Это то, что называют размещением в своём контуре.
Требует денег вперёд и людей, которые это обслуживают. Оправдано, когда данные секретные по закону — медицина, госсектор, банки, фармацевтика — или когда объём запросов такой, что подписка выходит дороже покупки.
Как считать, что выгоднее
Сравнивать надо не цену сервера с ценой подписки, а полную стоимость владения за два-три года.
В своё железо, кроме покупки, входят электричество, место в стойке, охлаждение, замена вышедших из строя карт и зарплата человека, который всё это поддерживает.
Практическое правило: если запросов немного и они нерегулярные — подписка дешевле почти всегда. Если нагрузка постоянная и предсказуемая — своё железо начинает выигрывать примерно со второго года.
Что делать компании, которая только начинает
Не покупать железо. Сначала выяснить, работает ли идея вообще.
Порядок такой: собрать решение на подписке, проверить на реальных задачах, посчитать реальный объём запросов. И только потом, с цифрами на руках, решать, нужен ли свой сервер.
Обратный порядок — купить сервер, а потом придумывать, что на нём считать — самый частый способ потратить несколько миллионов впустую.
Автор: Рогачев Дмитрий Васильевич, основатель La Chatte. Компания с 2014 года
делает сайты, интеграции и решения на искусственном интеллекте — более 400 проектов.
