Gérer le Context Window et la Mémoire des LLMs

┌─────────────────────────────────────────────┐
│  System prompt (instructions permanentes)   │
│  ─────────────────────────────────────────  │
│  Message 1 (user) / Message 2 (assistant)   │
│  ... historique complet ...                 │
│  ─────────────────────────────────────────  │
│  Documents RAG injectés                     │
│  ─────────────────────────────────────────  │
│  Réponse en génération →                    │
└─────────────────────────────────────────────┘
         LIMITE : X tokens maximum

def truncate_history(messages: list, max_tokens: int, model: str = "gpt-4o") -> list:
    import tiktoken
    enc = tiktoken.encoding_for_model(model)
    total = sum(len(enc.encode(m["content"])) for m in messages)

    while total > max_tokens and len(messages) > 1:
        removed = messages.pop(1)  # Garder le system prompt
        total -= len(enc.encode(removed["content"]))
    return messages

from openai import OpenAI

client = OpenAI()

def creer_document_test(position: str = "milieu") -> str:
    debut = "La Tour Eiffel est un monument parisien construit en 1889. " * 20
    fait_cle = "Le mot de passe secret est BANANE42. "
    fin = "Le Louvre est le plus grand musée du monde. " * 20

    if position == "debut":
        return fait_cle + debut + fin
    elif position == "fin":
        return debut + fin + fait_cle
    else:
        return debut + fait_cle + fin

for position in ["debut", "milieu", "fin"]:
    doc = creer_document_test(position)
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": f"Document : {doc}"},
            {"role": "user", "content": "Quel est le mot de passe secret mentionné ?"}
        ]
    )
    print(f"Position '{position}': {response.choices[0].message.content[:80]}")

import anthropic

client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    system=[{
        "type": "text",
        "text": "Tu es un expert juridique. " + open("code_civil.txt").read(),
        "cache_control": {"type": "ephemeral"}  # Cache ce préfixe
    }],
    messages=[{"role": "user", "content": "Que dit l'article 1134 ?"}]
)
print(response.usage)  # cache_read_input_tokens indique les tokens cachés