Harness Engineering · pela lente do Alembic · Visual Course

Harness engineering — como se faz um sistema de LLM confiável

Ilustração: uma unidade de trabalho atravessa o harness — roteamento por tier, adapter com cintura estreita, gates, verificação, custo/span — e sai como park ou ship.

Não é prompt engineering — é construir o sistema em volta do modelo: o loop, os gates, o roteamento, a memória, o custo, a observabilidade. Este curso ensina os 23 princípios de harness/AI-engineering através de como o Alembic realmente os implementa — o que ele possui, o que delega, e onde estão os gaps honestos (que viram roadmap).

Começar →Lição 1 · O que é harness engineering
Fio condutor: uma unidade de trabalho atravessando o harness — pedido → tier routing → adapter (cintura Result) → gates → verificação determinística → custo+span → park (T4) ou ship. E a moldura "Self-Learning Agents": Model (delegado) · Harness (possuído) · Context (composto) · o sinal do usuário que falta.

Módulo 1 · Fundamentos

Lição 1
O que é harness engineering
Harness vs prompt eng; as 3 camadas + o sinal do usuário; o Alembic = o harness; a cintura como dobradiça.
 Lição 2
Cintura estreita & confiabilidade
ModelAdapter, Result never-throws, core guardado (Zod→breaker→retry), router no-silent-fallback, tier routing.
 Lição 3
Substrato de inferência delegado
KV cache, batching, prefill/decode, quantização, speculative decoding — por que o Alembic delega ao gateway + MLX.

Módulo 2 · O loop

Lição 4
Saída estruturada & ferramentas
Validação Zod nos boundaries + o gap de auto-repair; function calling/tool contracts/idempotência; MCP read-only.
 Lição 5
Loop do agente & guardrails
Budgets de loop/tool, terminação (MAX_DEPTH/MAX_LOOPS/DAG/T4 park), VM determinística, routing+fallback+degraded.

Módulo 3 · Contexto & operação

Lição 6
Contexto, memória & RAG
Pack de contexto L0–L7; o gap de retrieval (index build-only); memória multi-store composta; fine-tune vs RAG vs distillation.
 Lição 7
Evals, observabilidade & custo
O gap de evals (oráculos vs golden-set); spans OTEL; custo per-call/per-run (gap per-tenant); drift.
 Lição 8
Segurança, multi-tenant & shipping
Injection defense, permission boundaries, o gap multi-tenant, e o clímax: o loop aberto do sinal do usuário.