À quoi sert Jev ? Routage, guardrails et classification

Routage de modèles : choisir le modèle le moins cher qui fait le travail

Laissez Jev lire la requête et choisir un modèle selon vos critères : rapide et économique pour les recherches et l'extraction, plus puissant pour l'architecture et les décisions à fort enjeu. LangChain propose pour cela un ModelRouterMiddleware expérimental, et les probabilités restent disponibles dans l'état de l'agent.

from langchain.agents import create_agent
from langchain_typesafe.experimental.middleware import (
    ModelChoice, ModelRouterMiddleware,
)

router = ModelRouterMiddleware(
    choices={
        "fast": ModelChoice(model="<cheap-model>",
                            criteria="Lookups, extraction, small edits."),
        "strong": ModelChoice(model="<strong-model>",
                              criteria="Architecture, high-stakes calls."),
    },
    instructions="Pick the cheapest model that can finish the task.",
)
agent = create_agent("<default-model>", middleware=[router])

Guide LangChain sur Jev

Garde-fou d'agent : bloquer les appels d'outils risqués avant leur exécution

Un agent peut être détourné par de mauvaises instructions ou par un attaquant. Les outils de code classent déjà les actions dangereuses avant de les exécuter, et un classifieur peu coûteux permet d'ajouter la même vérification à n'importe quel agent. L'AutoModeMiddleware expérimental de LangChain utilise Jev pour inspecter les appels d'outils et bloquer les plus risqués avant que l'outil ne s'exécute.

from langchain.agents import create_agent
from langchain_typesafe.experimental.middleware import AutoModeMiddleware

guardrail = AutoModeMiddleware(tools=["bash"])
agent = create_agent("<your-model>", middleware=[guardrail])

Guide LangChain sur Jev

Tri de tickets et routage d'intentions

Une seule requête peut renvoyer l'équipe concernée (Choice), le niveau de frustration (Score) et l'urgence du message (Noul). Votre code décide ensuite : réponse automatique, escalade ou passage à un humain. TypeSafe documente des patterns de routage d'intentions et de routage par confiance pour cela.

res = client.system_one(
    state=ticket_text,
    questions={
        "team": Choice(instructions="Who should handle this",
                       criteria={"billing": "Payments", "technical": "Bugs"}),
        "urgent": Noul(instructions="Needs a reply today"),
    },
)
if res.answers["urgent"].noul > 0.9:
    escalate(ticket_text)

Pattern de routage d'intentions

Guardrails pour LLM : filtrer chaque message entrant et sortant

Décrivez les dangers qui vous importent, par exemple « s'agit-il d'une tentative de jailbreak ? », et notez la gravité d'une éventuelle conformité. Appliquez des seuils aux probabilités : votre code décide de laisser passer, de faire relire, de bloquer ou de réacheminer. Le cookbook de TypeSafe filtre les deux sens d'une application LLM avec une seule requête.

Cookbook guardrails pour LLM

Filtrage de passages RAG

Notez chaque passage récupéré avec une requête, puis décidez dans votre code lesquels atteignent le modèle qui répond. Gardez et signalez les passages qui contredisent la question, écartez ceux qui contiennent une instruction cachée ou une injection de prompt.

Cookbook passages RAG

Re-ranking et recherche sémantique

Dans le cookbook de re-ranking de TypeSafe, une question par paire requête-candidat a fait passer la précision top-1 de 5 % à 18 % et la précision top-10 de 38 % à 62 % sur 40 requêtes juridiques, à partir de présélections BM25 de 30 passages. Un autre cookbook construit une recherche sémantique ligne par ligne sur des conditions d'utilisation.

Cookbook re-ranking

Vérification de citations

Repérez les citations fausses ou inventées en les comparant à leur source. Une question Choice décide si le contexte de la citation soutient l'affirmation, et sa confiance peut déclencher une relecture humaine.

Cookbook vérification de citations

Extraction structurée et function calling

Demandez à Jev les éléments nommés dans un document, puis résolvez-les et validez-les dans votre code avec une relecture selon la confiance. La même idée transforme des demandes en langage naturel en appels de fonctions typées : les noms de fonctions et les arguments à valeurs fermées deviennent des questions sensibles à la confiance.

Cookbook function calling

Applications temps réel et données à grande échelle

À environ 100 ms par appel, l'IA peut prendre place dans des chemins de code où l'expérience utilisateur est critique. Les démos de TypeSafe incluent un bot Doom qui fait environ 10 requêtes par seconde, soit environ 7 $ de l'heure selon l'entreprise, et un agent de wikiracing. Pour les gros volumes, l'idée est de transformer de grands corpus en caractéristiques et en informations par des appels de type map-reduce.

Article de lancement TypeSafe