Качество и метрики ИИ-модели в договоре на разработку

Качество и метрики ИИ-модели в договоре: как закрепить и как защитить

Когда заказчик принимает построенное здание, он видит стены и может пощупать недостатки. Когда заказчик принимает обученную модель машинного обучения, он видит лишь числа — доли правильных ответов на проверочных данных. Именно поэтому в договорах на создание ИИ-решений вопрос качества стоит острее, чем где-либо в практике разработки программного обеспечения: качество модели не самоочевидно, его нельзя осмотреть, его можно только измерить. За годы сопровождения ИТ-проектов я убедился, что подавляющее большинство споров вокруг ИИ возникает не из-за злого умысла сторон, а из-за того, что в договоре не было ясного, измеримого и проверяемого критерия качества модели.

В этой статье я разберу, как юридически грамотно закрепить в договоре критерии качества ИИ-модели — метрики, пороговые значения, валидационные выборки и процедуру приёмки, — как распределить риск недостижения целевых показателей и какими гарантиями подкрепить результат. Главная мысль проста: метрика, не записанная в договоре вместе со способом её измерения, юридически не существует.

Что закон понимает под качеством работы и почему этого мало для ИИ

Отправная точка — статья 721 ГК РФ, по которой качество выполненной работы должно соответствовать условиям договора, а при их отсутствии или неполноте — требованиям, обычно предъявляемым к работам соответствующего рода. В классическом подряде второй критерий спасает заказчика: даже если договор молчит, есть строительные нормы, ГОСТы, отраслевые стандарты. В мире машинного обучения «обычно предъявляемые требования» к качеству модели почти не формализованы — нет общепринятого порога точности для распознавания дефектов или прогноза оттока, он всегда зависит от задачи и данных. Поэтому опираться на второй критерий статьи 721 ГК РФ для ИИ опасно: при споре суд не найдёт внешнего эталона и будет вынужден толковать молчание договора. Вывод очевиден — качество ИИ-модели должно быть исчерпывающе описано самими сторонами.

Эта необходимость усиливается тем, что создание нетривиальной модели несёт черты научно-исследовательской работы. По статье 769 ГК РФ исполнитель по договору на НИОКР проводит обусловленные техническим заданием исследования, и результат может оказаться недостижимым по объективным причинам. Закон учитывает это в статье 775 ГК РФ: при невозможности достичь результата по не зависящим от исполнителя обстоятельствам заказчик обязан оплатить понесённые затраты. Значит, метрика качества выполняет в договоре двойную роль — она и описывает результат, и служит границей, за которой начинается зона исследовательского риска, по умолчанию лежащего на заказчике.

Какие метрики выбрать и как их формулировать

Метрика — это числовая мера того, насколько хорошо модель решает поставленную задачу. Для задач классификации обычно используют точность (accuracy) — долю верных ответов; точность попаданий (precision) — долю действительно положительных среди предсказанных положительными; полноту (recall) — долю выявленных положительных среди всех положительных; и F1-меру — их гармоническое среднее, балансирующее precision и recall. Для других задач применяют иные метрики: для регрессии — среднюю ошибку, для ранжирования — свои показатели. Юристу не нужно становиться специалистом по данным, но он обязан добиться, чтобы в договоре была названа конкретная метрика, а не абстрактное «высокое качество».

Ключевая ошибка — указать одну метрику там, где задача требует баланса. Например, в задаче выявления мошенничества модель, всегда отвечающая «не мошенник», даст высокую общую точность, но нулевую полноту по мошенникам и будет бесполезной. Поэтому я рекомендую закреплять набор метрик с пороговыми значениями для каждой и указывать, какие из них являются приёмочными (их недостижение означает, что работа не выполнена), а какие — справочными. Такой подход опирается на свободу сторон детально определять условие о качестве в рамках статьи 721 ГК РФ, и именно детализация превращает размытое обещание в проверяемое обязательство.

Пороговые значения нужно привязывать к измеримому ориентиру. Удобно указывать не только целевой порог (например, F1 не ниже определённого значения), но и базовый уровень, относительно которого измеряется улучшение, а также минимально приемлемый уровень для пилотного этапа. Это позволяет выстроить этапную приёмку и избежать ситуации, когда формально не достигнутый на сотую долю порог обнуляет всю работу. Договорная свобода здесь широка, и ею стоит пользоваться осознанно.

Валидационная выборка: на чём измеряют качество

Метрика бессмысленна без данных, на которых она вычисляется. Одна и та же модель покажет разные значения на разных выборках, поэтому валидационная (приёмочная) выборка — такой же существенный элемент условия о качестве, как и сама метрика. В договоре нужно зафиксировать, кто формирует приёмочную выборку, каков её объём и состав, кто её хранит и гарантирует неизменность, и, что принципиально, что эта выборка не использовалась при обучении модели. Последнее требование защищает заказчика от приёмки модели, которая «выучила ответы» и потому показывает завышенные метрики, а в реальной эксплуатации работает плохо.

Я рекомендую прямо разделять в договоре обучающие, проверочные и приёмочные данные и описывать порядок их предоставления. Поскольку данные нередко предоставляет заказчик, разумно увязать ответственность за качество модели с качеством этих данных: если метрики не достигнуты из-за нерепрезентативности или загрязнённости предоставленного заказчиком датасета, это не должно считаться нарушением исполнителя. Такая оговорка согласуется с логикой статьи 775 ГК РФ — невозможность достичь результата по не зависящим от исполнителя причинам является риском заказчика, а не основанием для отказа в оплате.

Процедура приёмки по объективным метрикам

Приёмка ИИ-модели — это измерение, а не осмотр, но правовая рамка остаётся общей. По статье 720 ГК РФ заказчик обязан в предусмотренные договором сроки и порядке, с участием исполнителя, осмотреть и принять результат, а обнаружив недостатки — немедленно о них заявить. Применительно к модели «осмотр» превращается в прогон на приёмочной выборке и сравнение полученных метрик с порогами. Я всегда детально прописываю эту процедуру: какая выборка используется, кто запускает прогон и в чьём присутствии, сколько прогонов проводится и как усредняется результат при стохастичности модели, в какой форме фиксируются значения и в какой срок подписывается акт.

Особое внимание уделяю последствиям бездействия заказчика. По статье 720 ГК РФ заказчик, принявший работу без проверки, лишается права ссылаться на недостатки, которые могли быть установлены обычным способом приёмки, а при уклонении от приёмки на исполнителя по общим правилам подряда могут перейти неблагоприятные последствия просрочки. Поэтому в интересах обеих сторон закрепить чёткий срок и регламент испытаний. Для итеративного обучения логична этапная приёмка: пилотная модель на ограниченных данных, доработка до целевых порогов, приёмка финальной версии — с привязкой платежей к подписанным актам этапов и финального платежа к подтверждённому достижению приёмочных метрик.

Распределение риска недостижения целевых показателей

Самый деликатный вопрос — кто отвечает, если модель не дотянула до порога. Ответ зависит от квалификации работы. Если этап носит исследовательский характер, действует статья 775 ГК РФ: при объективной невозможности достичь результата заказчик оплачивает затраты исполнителя, а ответственность исполнителя по статье 777 ГК РФ наступает лишь при наличии вины и по умолчанию ограничена стоимостью работ, причём упущенная выгода возмещается, только если это прямо предусмотрено договором. Если же речь об инженерном доведении известного решения, ближе режим подряда и статья 723 ГК РФ, дающая заказчику при ненадлежащем качестве право требовать безвозмездного устранения недостатков, соразмерного уменьшения цены или возмещения расходов на устранение.

На практике я рекомендую не оставлять распределение риска на усмотрение суда, а конструировать его прямо. Удобный приём — связать последствия недостижения метрик с причиной: при недостижении из-за качества предоставленных заказчиком данных исполнитель освобождается от ответственности и сохраняет право на оплату выполненного; при недостижении по вине исполнителя он за свой счёт дорабатывает модель в согласованный срок, а при невозможности — стороны расторгают договор с расчётом по фактически достигнутым этапам. Такая градация снимает большинство споров, потому что заранее отвечает на вопрос «что будет, если не получится».

Гарантии качества и сопровождение модели

После приёмки возникает вопрос о гарантии. По статье 722 ГК РФ договором может быть установлен гарантийный срок, в течение которого результат сохраняет предусмотренные договором свойства. Для ИИ-модели гарантия имеет принципиальную особенность: качество предсказаний со временем снижается из-за изменения входных данных — это явление называют дрейфом данных, и оно не является дефектом модели. Поэтому гарантийное обязательство я формулирую как воспроизводимость согласованных метрик на фиксированной приёмочной выборке, а не как обещание стабильной работы в меняющейся реальности. Иначе исполнитель окажется бессрочно ответственным за обстоятельства, которые он не контролирует.

Сопровождение модели — переобучение на свежих данных, мониторинг метрик в эксплуатации, реагирование на дрейф — логично выделять в отдельную услугу с собственным предметом и оплатой. Это разграничивает гарантийные обязательства (бесплатное устранение дефектов в рамках статьи 722 ГК РФ и статьи 723 ГК РФ) и платную поддержку. Заодно стоит помнить о конфиденциальности: метрики, детали архитектуры и обучающие данные нередко имеют коммерческую ценность, и их защиту обеспечивают как договорные оговорки, так и режим секрета производства по статье 1465 ГК РФ.

Связь качества с правами на результат и налогами

Метрики качества влияют не только на приёмку, но и на момент перехода прав. Я рекомендую привязывать переход исключительного права на модель и сопутствующее программное обеспечение к подтверждённому достижению приёмочных метрик и полной оплате. По статье 1296 ГК РФ исключительное право на созданное по заказу произведение принадлежит заказчику, если иное не предусмотрено договором, и логично, чтобы это право переходило именно тогда, когда результат подтверждённо соответствует согласованному качеству. Сам момент перехода исключительного права при отчуждении регулируется статьёй 1234 ГК РФ, и стороны вправе связать его с приёмкой.

Налоговая сторона тоже зависит от того, как оформлен результат. С 1 января 2026 года основная ставка НДС составляет 22 процента (Федеральный закон от 28.11.2025 № 425-ФЗ, изменивший статью 164 НК РФ). При этом по подпункту 26 пункта 2 статьи 149 НК РФ реализация исключительных прав на программы для ЭВМ и базы данных из единого реестра российских программ, а также прав на их использование освобождена от НДС. Поэтому решение о включении результата в реестр стоит принимать заранее: оно влияет и на цену, и на структуру передачи прав, привязанной к достижению метрик.

Судебная практика и доказывание качества модели

Споры о качестве работ по созданию программного обеспечения и результатов интеллектуальной деятельности рассматриваются судами по общим правилам, и здесь полезно учитывать разъяснения высших судов. Постановление Пленума Верховного Суда РФ от 23 апреля 2019 года № 10 «О применении части четвёртой Гражданского кодекса Российской Федерации» систематизирует подходы к охране и защите интеллектуальных прав, в том числе к программам для ЭВМ и базам данных, на которые опирается ИИ-решение. Для практикующего юриста это означает, что доказательственная база по качеству модели должна формироваться заранее: подписанные акты этапов, зафиксированные протоколы прогонов на приёмочной выборке, переписка о согласовании метрик. Без этих документов спор о достижении качества превращается в столкновение голословных утверждений. Разъяснения Пленума доступны по ссылке: Постановление Пленума ВС РФ № 10.

Доказывание осложняется и тем, что обязанность исполнителя по статье 773 ГК РФ незамедлительно информировать заказчика о невозможности получить ожидаемые результаты на практике становится предметом спора: исполнитель утверждает, что предупреждал о недостижимости порога, а заказчик это отрицает. Поэтому такие уведомления я рекомендую делать письменно и фиксировать момент их направления. По спорам о недостатках работ суд при необходимости назначает экспертизу — по аналогии с правилом статьи 720 ГК РФ о привлечении эксперта при разногласиях о качестве. В ИИ-проектах предметом экспертизы становится корректность измерения метрик и чистота приёмочной выборки, что ещё раз подчёркивает ценность заранее зафиксированной методики испытаний.

Типовые ошибки и способы их избежать

Первая ошибка — формулировка качества через прилагательные: «высокая точность», «надёжная работа», «современный уровень». Такие условия не проверяемы и при споре толкуются против того, кто на них ссылается. Лечится это конкретными метриками с порогами. Вторая — единственная метрика там, где нужен баланс нескольких; модель может оптимизировать одну метрику в ущерб полезности. Третья — отсутствие зафиксированной приёмочной выборки, из-за чего стороны спорят, на каких данных мерить качество, и нарушают логику статьи 720 ГК РФ.

Четвёртая ошибка — молчание о риске недостижения порога, из-за чего суд вынужден сам распределять риск между режимами статьи 775 ГК РФ и статьи 723 ГК РФ. Пятая — бессрочная гарантия на модель без учёта дрейфа данных, превращающая исполнителя в вечного должника. Шестая — игнорирование качества предоставляемых заказчиком данных как фактора, влияющего на достижимость метрик. Каждая из этих ошибок устраняется на стадии подготовки договора, и вложенные в детализацию условия о качестве усилия многократно окупаются отсутствием споров при сдаче результата.

Краткое заключение

Качество ИИ-модели в договоре существует ровно настолько, насколько оно измеримо и проверяемо. Опираться на «обычно предъявляемые требования» из статьи 721 ГК РФ здесь нельзя — внешнего эталона нет, поэтому метрики, их пороги, приёмочную выборку и методику измерения стороны обязаны описать сами. Приёмка по статье 720 ГК РФ превращается в измерение, риск недостижения порога нужно сознательно распределить между режимами статьи 775 ГК РФ и статьи 723 ГК РФ, а гарантию по статье 722 ГК РФ формулировать через воспроизводимость метрик с учётом дрейфа данных. Чем точнее договор описывает качество, тем меньше остаётся пространства для спора о том, выполнена ли работа.