Token Trainer
Prédisez comment un tokenizer découpe les phrases en tokens ! Cliquez entre les caractères pour placer vos séparations et découvrez les règles de tokenization.
Par Alex Perey
Token Trainer
Prédisez comment un tokenizer (type GPT/BPE) va découper une phrase en tokens. Placez vos séparations entre les caractères, puis découvrez la vraie tokenization avec des explications sur les règles.
À propos de l'auteur
Alex Perey
Diplômé d'un master en intelligence artificielle, je travaille au quotidien sur des projets IA en entreprise. J'ai créé IwanttolearnAI pour rendre l'apprentissage de l'IA accessible à tous, gratuitement.
Continuer à apprendre
TP : Créer un Chatbot RAG de A à Z
Construisez un chatbot intelligent qui répond en se basant sur vos documents : chunking, embeddings, vector store, prompt engineering et interface web.
15 min de lecture · 61 vues
TP : Fine-tuner un LLM sur vos Données
Apprenez à fine-tuner un LLM (Llama, Mistral) avec LoRA/QLoRA sur vos données métier : préparation du dataset, entraînement, évaluation et déploiement avec Ollama.
18 min de lecture · 32 vues
Embedding Explorer
Classez des phrases par similarité sémantique ! Découvrez comment les embeddings capturent le sens des mots grâce à une visualisation 2D interactive.
10 min de lecture · 80 vues