Systèmes Experts et Frontières de l'IA

# pip install jax jaxlib
import jax.numpy as jnp
from jax import grad

# Fonction simple : f(x) = x²
def f(x):
    return x**2

# Calcul automatique de la dérivée (gradient) : f'(x) = 2x
df = grad(f)

x = 3.0
print(f"f({x}) = {f(x)}")       # 9.0
print(f"f'({x}) = {df(x)}")     # 6.0 (C'est magique!)

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# Corpus de connaissances
docs = [
    "La capitale de la France est Paris.",
    "L'eau bout à 100 degrés Celsius.",
    "Le Python est un langage de programmation."
]

# Question utilisateur
query = ["Quelle température pour faire bouillir de l'eau?"]

# Vectorisation (Transformation en nombres)
vectorizer = TfidfVectorizer()
vectors = vectorizer.fit_transform(docs + query)

# Calcul de similarité (Le dernier vecteur est la question)
similarities = cosine_similarity(vectors[-1], vectors[:-1])

# Trouver le document le plus proche
best_doc_index = similarities.argmax()
print(f"Réponse trouvée : {docs[best_doc_index]}")

# Pseudo-code pour illustration de la simplicité de DPO
from trl import DPOTrainer
from transformers import TrainingArguments

# 1. On définit juste les arguments (pas de Reward Model complexe!)
training_args = TrainingArguments(output_dir="dpo_model")

# 2. Le Trainer prend directement les données de préférence
# Dataset doit avoir colonnes : "prompt", "chosen", "rejected"
dpo_trainer = DPOTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,  # Vos données (A > B)
    beta=0.1,               # Hyperparamètre de divergence KL
)

# 3. Lancer l'alignement
# dpo_trainer.train()
print("DPO optimise directement la probabilité de 'chosen' vs 'rejected'")