First principles работы с ИИ
Содержание
Все материалы
Методичка

First principles работы с ИИ

Из свойств задачи и системы — в принципы работы. Из принципов — в конкретные действия: 10 принципов и 32 практические техники с готовыми формулировками.

Принцип 01 из 10

Качество определяется целью

Исходное свойство
Результат нельзя назвать хорошим без указания того, для чего он нужен и какие требования должен выполнить.
Принцип
Критерии успеха должны быть заданы до выбора средств и оценки результата.
Следствия
Брифы, спецификации, примеры, критерии приёмки и evals.

Содержание, формат, полнота, скорость и допустимые ошибки — разные измерения. Они могут конфликтовать. Следовательно, нужно установить их приоритеты. Если критерий субъективен, его можно уточнить примерами и сравнением вариантов.

Универсальная рекомендация «сделай лучше» недоопределена. При исследовательской работе допустимо уточнять цель по мере получения информации, но изменения цели должны быть явными.

Принцип 02 из 10

ИИ может обоснованно использовать только доступную информацию

Исходное свойство
Скрытое намерение человека и недоступное состояние мира не становятся известными системе от силы формулировки запроса.
Принцип
Обеспечить доступ к нужным сведениям и обозначить их происхождение, актуальность и приоритет.
Следствия
Retrieval, подключение данных, MCP, ссылки на первоисточники, явные определения и согласование предположений.

Информация может поступать из обучения модели, текущего контекста, внешней памяти и инструментов. Эти каналы отличаются свежестью и проверяемостью. Если частный факт нигде не доступен, модель может лишь предположить его.

Нужно различать: ресурс подключён, ресурс найден, ресурс прочитан, ресурс правильно использован. Это разные условия успешного выполнения.

Принцип 03 из 10

Информация полезна лишь в той мере, в какой система может её использовать

Исходное свойство
Обработка ограничена ресурсами; способность принять вход не равна способности безошибочно использовать каждую его часть.
Принцип
Оптимизировать достаточность, релевантность и непротиворечивость информации, а не её максимальный объём.
Следствия
Разделение контекстов, поиск по корпусу, загрузка skills по необходимости, краткие инструкции и обновление состояния.

В текущих LLM длинный контекст может увеличивать шум и усложнять извлечение сведений. При этом недостающий контекст тоже ухудшает результат. Значит, правильная цель — достаточная информация для решения, с доступом к дополнительным материалам по необходимости.

Универсального оптимального числа токенов нет. Длину, состав и структуру контекста следует оценивать на нужной задаче.

Принцип 04 из 10

Способность генерировать ответ не устанавливает его правильность

Исходное свойство
Правдоподобный результат, выраженная уверенность и фактическая корректность — разные характеристики.
Принцип
Оценивать способности и надёжность по реальным результатам на нужном классе задач.
Следствия
Сравнительные испытания, baseline, учёт ошибок и отказов, проверка фактов, повторная оценка при замене модели.

Нельзя вывести качество выполнения конкретной задачи только из общей репутации модели или её лучшего benchmark. Успех в одной области не устанавливает успех в другой. Возможность честно отказаться от неподтверждённого утверждения должна учитываться при оценке.

При смене модели могут изменяться способы использования инструментов и реакции на инструкции, даже если цель остаётся прежней.

Принцип 05 из 10

Работоспособность определяется всей системой, включая среду

Исходное свойство
Модель может выбрать действие, но выполнить его можно только через доступные интерфейсы с их разрешениями и ограничениями.
Принцип
Проектировать окружение так, чтобы правильные действия были доступны, результаты наблюдаемы, а проверяемые ограничения исполнялись механизмами.
Следствия
Инструменты, проверки, структурированный ввод и вывод, разрешения, harness.

Одной инструкции недостаточно для гарантии соблюдения правила. Если требование можно обеспечить валидатором, схемой, правами доступа или обычным кодом, оно меньше зависит от интерпретации модели. При этом корректный формат ещё не гарантирует корректного смысла.

Неясные интерфейсы и перекрывающиеся инструменты могут ограничивать даже сильную модель. Поэтому улучшение среды иногда полезнее переписывания промпта.

Принцип 06 из 10

Улучшение требует сигнала, позволяющего выбрать более правильный результат

Исходное свойство
Несколько разных ответов сами по себе не дают знания, какой из них лучше.
Принцип
Связать генерацию с оценкой и возможностью изменить результат по выявленному расхождению.
Следствия
Agent loop, проверка результата, evaluator–optimizer, диагностическая обратная связь и условия остановки.

Новый сигнал может поступать от среды, источника, расчёта, человека или оценщика. Проверять нужно и фактическое состояние после действия. Сообщение о выполнении не заменяет этого наблюдения.

Повторные попытки могут помогать поиску, а самокритика — замечать часть ошибок. Но без достаточно надёжного способа отбора дополнительная генерация не гарантирует улучшения. Модельный оценщик тоже требует проверки.

Принцип 07 из 10

Надёжность цепочки зависит от ошибок и передач между её частями

Исходное свойство
Неверный промежуточный результат может стать исходным условием следующего шага и распространить ошибку.
Принцип
Создавать проверяемые границы работы и сохранять информацию, нужную для проверки и объединения.
Следствия
Workflows, промежуточные артефакты, отдельные рабочие области, небольшие проверяемые изменения.

Декомпозиция полезна, когда уменьшает сложность и позволяет локализовать расхождение. Параллелизм полезен для действительно независимых частей. Для зависимых частей нужны явные передачи состояния и общий критерий успеха.

Чрезмерное дробление увеличивает издержки и может терять общий смысл. Несколько агентов не гарантируют независимости ошибок. Итог оценивается после объединения, а не только по отдельным частям.

Принцип 08 из 10

Допустимая автономность зависит от последствий ошибки

Исходное свойство
Одинаковая вероятность ошибки имеет разную ценность при разных последствиях, обратимости и возможности обнаружения.
Принцип
Полномочия системы должны соответствовать подтверждённой надёжности, проверяемости результата и цене исправления.
Следствия
Human-in-the-loop, ограниченные полномочия, пороги, контроль последствий и обратимость.

Автономность — управляемая характеристика процесса, а не безусловная цель. Нужно определить доступные действия, границы, условия передачи человеку и остановки. Важна возможность исправления или отмены.

Текстовое «уверен на 95%» не является автоматически калиброванной вероятностью. Если численная уверенность используется для принятия решений, её соответствие реальным ошибкам проверяют на данных.

Принцип 09 из 10

Сохранение опыта и изменение модели — разные процессы

Исходное свойство
Обычная коррекция в диалоге меняет доступное состояние разговора, но сама по себе не гарантирует изменения весов модели или поведения новой сессии.
Принцип
Проверенные уроки нужно сохранять в форме, которая будет доступна, применена и проверена в последующей работе.
Следствия
Внешняя память, skills, наборы оценочных примеров, контроль версий, внешний цикл улучшений.

Инструкции, память, примеры и skills могут менять поведение без переобучения модели. Их полезность зависит от поиска, загрузки и применения. Самообновление требует контроля: ошибочный урок может закрепить неверное поведение.

Полезно различать исправление результата текущей задачи и изменение процесса для будущих задач. Второй цикл нуждается в проверке регрессий и версионировании.

Принцип 10 из 10

Оптимизировать нужно весь путь до принятого результата

Исходное свойство
Скорость и стоимость генерации — только часть общих затрат; существуют проверки, исправления, задержки и последствия ошибок.
Принцип
Выбирать архитектуру по измеримому результату и совокупным затратам, добавляя сложность ради подтверждённой пользы.
Следствия
Минимальная достаточная архитектура, сравнительные evals, анализ ошибок, учёт человеческого времени.

Дополнительный агент, инструмент или инструкция могут улучшить качество либо создать новый источник ошибок. Это определяется испытанием, а не названием механизма.

Начинать с простой рабочей конфигурации полезно для диагностики. Если она не справляется, изменение должно отвечать конкретному ограничению. После изменения проверяются и улучшения, и регрессии.

32 техники × 10 принципов

Практические техники

Помимо принципов мы собрали 32 практические техники — конкретные приёмы, которыми принципы применяются в работе. Закрашенная клетка показывает, какой принцип помогает применить техника.

Нажмите на название техники или на закрашенную клетку, чтобы прочитать подробнее: когда применять, что делать, готовую формулировку и как проверить пользу.

Таблица листается вбок

01Цель02Доступ к информации03Использование контекста04Проверка правильности05Система и среда06Сигнал для улучшения07Надёжность цепочки08Автономность и риск09Сохранение опыта10Весь путь до результата
Постановка задачи
Данные и контекст
Организация контекста
Планирование и workflows
Инструменты и исполнение
Проверка и итерации
Повторное использование
Оценка и оптимизация

Практическая техника

Хотите встроить ИИ в работу команды?

Разберём ваши процессы и покажем, где ИИ даст результат, а где без проверки человеком не обойтись.

Сотрудничество

Расскажите о задаче

Четыре коротких ответа — и мы свяжемся с вами, чтобы обсудить детали.

Какую задачу хотите решить

Отправляя форму, вы соглашаетесь на обработку контактных данных для ответа на заявку.