


Système de chiffon pour le raisonnement de l'IA avec un modèle distillé Deepseek R1
Mar 05, 2025 am 10:47 AMDeepseek R1: un modèle de langue open source révolutionnaire
Deepseek, une startup de l'IA chinoise, a lancé Deepseek R1 en janvier 2025, un modèle de langue open-source révolutionnaire contestant les principaux modèles comme O1 d'Openai. Son mélange unique d'architecture de mélange de mélange (MOE), d'apprentissage par renforcement et de l'accent mis sur le raisonnement le distingue. Bénéficiant de 671 milliards de paramètres, il n'active intelligemment que 37 milliards par demande, optimisant l'efficacité informatique. Le raisonnement avancé de Deepseek R1 est distillé en modèles open-source plus petits et accessibles tels que LLAMA et QWEN, affinés en utilisant des données générées par le modèle R1 Deepseek primaire.
Ce tutoriel détaille la construction d'un système de génération augmentée (RAG) de récupération utilisant le modèle Deepseek-R1-Distill-Llama-8b - un modèle LLAMA 3.1 8B affiné avec des données générées par des R1 profondes.
Objectifs d'apprentissage clés:
- saisir l'architecture, les innovations et les techniques d'apprentissage du renforcement de Deepseek. Comprendre le r?le de l'optimisation relative de la politique du groupe (GRPO) dans l'amélioration du raisonnement.
- Analyser les performances et l'efficacité de référence de Deepseek R1 par rapport aux concurrents.
- Implémentez un système de chiffon à l'aide de modèles distillés et Qwen de Deepseek R1.
(Cet article fait partie du blogathon de la science des données.)
Table des matières:
- Présentation de Deepseek R1
- caractéristiques distinctives de Deepseek R1
- Apprentissage du renforcement dans Deepseek R1
- grpo dans Deepseek R1
- Performance de référence de Deepseek R1
- Modèles distillés R1 Deepseek
- Construire un système de chiffon avec Deepseek-R1-Distill-QWEN-1.5B
- Conclusion
- Les questions fréquemment posées
Présentation de Deepseek R1:
Deepseek R1 et son prédécesseur, Deepseek R1-Zero, sont des modèles de raisonnement pionnier. Deepseek R1-Zero, formé uniquement par l'apprentissage par renforcement à grande échelle (RL) sans réglage fin supervisé (SFT), a présenté des capacités de raisonnement impressionnantes. Cependant, il a souffert de problèmes de lisibilité et de mélange de langues. Deepseek R1 aborde ces limites en incorporant les données "de démarrage à froid" avant RL, fournissant une base robuste pour les taches de raisonnement et de non-renforcement.
Caractéristiques distinctives de Deepseek R1:
L'architecture avancée et l'efficacité de Deepseek R1 redéfinissent les performances de l'IA.
- Architecture MOE: Contrairement aux modèles de transformateurs standard, l'architecture MOE de Deepseek R1 active seulement 37 milliards de ses 671 milliards de paramètres par demande, augmentant l'efficacité et réduisant les co?ts.
- Apprentissage du renforcement: RL améliore les capacités de raisonnement, éliminant le besoin d'un modèle de fonction de valeur séparé, rationalisant le réglage fin.
- Effectif: Formé en utilisant moins de ressources (2 000 GPU NVIDIA, ~ 5,6 millions de dollars) que les projets comparables, il offre des co?ts d'API considérablement inférieurs.
- Performance de référence supérieure: Deepseek R1 surpasse constamment les concurrents sur les tests de précision et de centile (par exemple, 79,8% sur AIME 2024, 96,3% sur les forces de code).
- évolutivité: versions "distillées" (paramètres de 1,5b à 70b) Assurent l'accessibilité sur divers matériel.
- Manipulation du contexte long: prend en charge efficacement les jetons de 128K, gérant efficacement les taches complexes et riches en contexte.
Apprentissage du renforcement dans Deepseek R1:
L'utilisation innovante de RL par Deepseek R1 représente un changement de paradigme par rapport aux méthodes traditionnelles. Il exploite:
- rl pur: repose principalement sur RL, en contournant le réglage fin supervisé habituel.
- Auto-évolution: affine les performances par des essais et erreurs itératifs.
- Récompense de précision et de format: Récompense des prédictions précises et des réponses bien structurées.
- Raisonnement de la cha?ne de réflexion (COT): articule son processus de raisonnement étape par étape.
- Efficacité: Préorise la qualité des données sur la quantité pure.
- RL et SFT combinés: combine des données "de démarrage à froid de haute qualité avec RL et SFT pour les sorties cohérentes.
Grpo dans Deepseek R1:
GRPO (optimisation de la politique relative du groupe) améliore le raisonnement LLM. Il améliore PPO en éliminant le besoin d'un modèle de fonction de valeur.
Les étapes de GRPO comprennent: les sorties d'échantillonnage, la notation des récompenses, le calcul de l'avantage (par rapport à la moyenne du groupe) et l'optimisation des politiques.
Performance de référence de Deepseek R1:
Les résultats de référence impressionnants de Deepseek R1 incluent:
- MATH-500: 97,3% (dépassant O1-1217 d'OpenAI).
- SWE-BENCH Vérifié: 49,2%.
- AIME 2024: comparable à l'Openai-O1-1217 d'Openai.
Modèles distillés profonds R1:
Les connaissances de Deepseek R1 sont distillées en modèles plus petits à l'aide d'un ensemble de données de 800 000 exemples générés par R1 Deepseek. Cela permet un transfert efficace des capacités de raisonnement à des modèles comme Llama et Qwen.
Construire un système de chiffon avec Deepseek-R1-Distill-Qwen-1.5b:
(Cette section contiendrait des exemples de code détaillés pour configurer le système de chiffon à l'aide du modèle et des bibliothèques spécifiés. En raison des contraintes de longueur, cette partie est omise mais inclurait des étapes pour installer des bibliothèques, le chargement du PDF, la création de l'intégration, la définition du Retriever, le chargement du modèle, la création du pipeline de rag et le modèle avec des exemples de questions et de sorties.)
Conclusion:
Deepseek R1 signifie une progression significative du raisonnement du modèle linguistique, en utilisant un RL pur et des techniques innovantes pour les performances et l'efficacité supérieures. Ses modèles distillés rendent le raisonnement avancé accessible à une gamme plus large d'applications.
Questions fréquemment posées:
(Cette section contiendrait des réponses aux questions fréquemment posées sur Deepseek R1, similaire au texte d'origine.)
(Remarque: Les URL de l'image restent inchangées.)
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undress AI Tool
Images de déshabillage gratuites

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
échangez les visages dans n'importe quelle vidéo sans effort grace à notre outil d'échange de visage AI entièrement gratuit?!

Article chaud

Outils chauds

Bloc-notes++7.3.1
éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

Notebooklm de Google est un outil de prise de notes SMART IA propulsé par Gemini 2.5, qui excelle à résumer les documents. Cependant, il a toujours des limites dans l'utilisation des outils, comme les bouchons de source, la dépendance au nuage et la fonction récentes ?Discover?

Voici dix tendances convaincantes qui remodèlent le paysage de l'IA de l'entreprise. L'engagement financier de la lancement envers les organisations LLMS augmente considérablement leurs investissements dans les LLM, 72% s'attendant à ce que leurs dépenses augmentent cette année. Actuellement, près de 40% A

L'investissement est en plein essor, mais le capital seul ne suffit pas. Avec la montée et la décoloration des évaluations, les investisseurs dans les fonds de capital-risque axés sur l'IA doivent prendre une décision clé: acheter, construire ou partenaire pour gagner un avantage? Voici comment évaluer chaque option et PR

Divulgation: mon entreprise, Tirias Research, a consulté IBM, NVIDIA et d'autres sociétés mentionnées dans cet article.Les moteurs de croissance La poussée de l'adoption générative de l'IA était plus dramatique que même les projections les plus optimistes ne pourraient prévoir. Ensuite, un

Ces jours sont comptés, grace à l'IA. Le trafic de recherche pour des entreprises comme le site de voyage Kayak et Edtech Company Chegg en baisse, en partie parce que 60% des recherches sur des sites comme Google ne font pas que les utilisateurs cliquent sur des liens, selon un étalon

L'écart entre l'adoption généralisée et la préparation émotionnelle révèle quelque chose d'essentiel sur la fa?on dont les humains s'engagent avec leur gamme croissante de compagnons numériques. Nous entrons dans une phase de coexistence où les algorithmes se tissent dans notre quotidien en direct

Parlons-en. Cette analyse d'une percée innovante de l'IA fait partie de ma couverture de colonne Forbes en cours sur les dernières personnes en IA, notamment en identifiant et en expliquant diverses complexités d'IA percutantes (voir le lien ici). Se dirigeant vers Agi et

Examinons de plus près ce que j'ai trouvé le plus important - et comment Cisco pourrait s'appuyer sur ses efforts actuels pour réaliser davantage ses ambitions. (Remarque: Cisco est un client consultatif de mon entreprise, Moor Insights & Strategy.)
