Суверенный ИИ для завода
Qwen и SGLang на вашем железе. Аккаунт OpenAI закрыли: контур на заводе жив.
Зачем
Если завод сидит на API OpenAI, Azure или AWS, блокировка аккаунта останавливает разбор документов в тот же день. Веса у вас, инференс у вас, оркестрация у вас. Закрытый ключ облака контур на заводе не гасит. Весь стек от этого суверенным не становится.
Как собираем
1
Свои веса
Копия модели лежит на ваших дисках. Закрыть её из облака нельзя.
2
NVIDIA и AMD
Инференс на CUDA и ROCm. Не завязаны на одну полку видеокарт.
3
Русский контур
Дообучение под ГОСТ, регламент и цеховую терминологию.
152-ФЗ и КИИ
Нет трансграничной передачи. Документ не уезжает к провайдеру. Это условие для контуров с коммерческой тайной и требованиями к КИИ.
Оценить переход
Разберём, что у вас сейчас на облачном ключе и что останется в периметре.
Проконсультироваться