Tan Dai, président de Volcano Engine

Afin de mettre en ?uvre de grands modèles, les entreprises sont confrontées à trois défis clés : l'effet de modèle, le co?t d'inférence et la difficulté de mise en ?uvre : elles doivent disposer de bons grands modèles de base comme support pour résoudre problèmes complexes , il doit également exister des services d'inférence à faible co?t pour permettre une large utilisation de grands modèles, et davantage d'outils, de plates-formes et d'applications sont nécessaires pour aider les entreprises à mettre en ?uvre des scénarios.

——Tan Dai, président de Volcano Engine

01.

Début du grand modèle Beanbao

Utilisation massive pour peaufiner le modèle

L'effet de modèle est le défi le plus critique pour l'IA mise en ?uvre. Tan Dai a souligné que ce n'est que grace à une utilisation intensive qu'un bon modèle peut être poli. Actuellement, le modèle Doubao traite 120 milliards de jetons de texte et génère 30 millions d'images par jour.

Afin d'aider les entreprises à mettre en ?uvre des scénarios de modèles à grande échelle, le grand modèle Doubao développé indépendamment par ByteDance sera officiellement fourni au monde extérieur via le moteur Volcano. Les entreprises peuvent choisir et mettre en ?uvre de manière flexible et rapide en fonction de leurs propres besoins en matière de scénarios commerciaux?:

.
• Doubao est un modèle pro universel?: La version professionnelle du modèle LLM auto-développée par ByteDance, prend en charge un texte long de 128 Ko, la série entière peut être affinée, a des capacités complètes plus fortes telles que la compréhension, la génération, la logique, etc., et convient aux questions et réponses, aux résumés, à la création, à la classification, etc. Scénario?:
• Modèle universel Dubao lite?: Version légère du modèle LLM auto-développé par ByteDance, qui offre un co?t de jeton inférieur et une latence inférieure à la version professionnelle, offrant aux entreprises avec des choix de modèles flexibles et économiques?;
• ?Modèle de jeu de r?le Doubao?: Capacités de création de personnages personnalisées, capacités de sensibilisation au contexte et de promotion de l'intrigue plus fortes, répondant aux besoins de jeu de r?le flexibles?
• Modèle de synthèse vocale?: Fournit une capacité de synthèse vocale naturelle et vive, capable d'exprimer une variété d'émotions et d'exécuter une variété de scènes
• Doubao·Modèle de réplique vocale?: Vous pouvez réaliser un clonage 1:1 de la voix en 5 secondes, restaure fortement la similitude et le naturel du timbre et prend en charge le transfert multilingue de la voix?;
• Doubao·Modèle de reconnaissance vocale?: Précision et sensibilité plus élevées, délai de reconnaissance vocale réduit, prend en charge la reconnaissance correcte de plusieurs langues?;
• Doubao·Modèle de diagramme Vincent?: Capacité de compréhension de texte plus précise, correspondance d'images et de texte plus précise, plus beaux effets d'image, bon pour créer des éléments culturels chinois
• Doubao·Modèle d'appel de fonction?: Fournit plus de précision?; capacités d'identification de fonctions et d'extraction de paramètres, adaptées aux scénarios d'appel d'outils complexes?;
• Modèle Doubao·Vectorisation?: Concentrez-vous sur les scénarios d'utilisation de la récupération de vecteurs, fournissez des capacités de compréhension de base pour la base de connaissances LLM et prenez en charge plusieurs langues.

Tan Dai a annoncé que dès l'année dernière, le modèle Doubao (nom original : Skylark) avait été lancé au sein de ByteDance, et qu'il était également l'un des premiers grands modèles à être enregistré en toute sécurité via le service de grands modèles. Plus de 50 entreprises au sein de ByteDance ont largement utilisé le modèle Doubao pour l'innovation en IA, y compris des produits comportant des centaines de millions de DAU tels que Douyin et Toutiao. Doubao APP, basée sur le grand modèle de Dou Bao du même nom, se classe au premier rang des applications AIGC* en termes de téléchargements sur l'Apple APP Store et les principaux marchés d'applications Android.

*Source de données?: QuestMobile

Zhu Jun, vice-président du produit et de la stratégie de ByteDance Zhu Jun, vice-président du produit et de la stratégie de ByteDance, a présenté les produits de ByteDance pour créer des applications natives d'IA basées sur Doubao idée de grand modèle. Il a déclaré que la technologie évolue rapidement, mais que les besoins fondamentaux des utilisateurs n'ont pas changé, tels que le besoin d'obtenir des informations de manière efficace, le besoin d'améliorer l'efficacité du travail, le besoin de s'exprimer, le besoin de divertissement social, etc. ByteDance a effectué de nombreuses études et explorations, dans l'espoir de trouver un formulaire de candidature à grand modèle approprié pour servir les utilisateurs sous une forme interactive naturelle et entrer dans la vie et le travail d'un plus grand nombre de personnes.

Doubao APP est une application modèle à grande échelle sur laquelle ByteDance se concentre. Selon Zhu Jun, les utilisateurs actifs mensuels de la plateforme Doubao ont atteint 26 millions et plus de 8 millions d'agents ont été créés.

Doubao Big Model sert non seulement le travail interne de Byte, mais co-crée également avec de nombreuses entreprises clientes de Volcano Engine. Tan Dai estime que les entreprises ont besoin de modèles présentant des caractéristiques différentes dans différents scénarios commerciaux pour obtenir les meilleurs résultats et le meilleur rapport qualité-prix. à cette fin, Doubao Big Model propose une famille de modèles multimodaux que les entreprises peuvent choisir de manière flexible en fonction de leurs propres besoins en matière de scénario commercial, afin de parvenir à un cycle positif d'utilisation du modèle et de contr?le des co?ts.

02.

Un bon modèle est abordable pour tout le monde

Tan Dai estime que la réduction des co?ts est un facteur clé pour pousser les grands modèles à passer au ? stade de création de valeur ?. Le prix du modèle principal de Doubao sur le marché des entreprises n'est que de 0,0008 yuans/millier de jetons. Il peut traiter plus de 1 500 caractères chinois à 0,8 centime, soit 99,3 % moins cher que l'industrie.

En prenant comme exemple la version universelle du modèle pro-32k de Doubao, le prix d'entrée de l'inférence du modèle n'est que de 0,0008 yuans/millier de jetons. Le prix des modèles ayant les mêmes spécifications sur le marché est généralement de 0,12 yuans/millier de jetons, soit 150 fois le prix du modèle de pouf. Le prix des grands modèles est entré dans ? l’ère centi ?.

Tan Dai a déclaré que le prix ? au rouleau ? des grands modèles aidera les entreprises à accélérer l'innovation commerciale à moindre co?t.

03.

Mise à niveau d'Ark 2.0

Promouvoir la création de valeur des grands modèles

L'année dernière, Volcano Engine a lancé la plateforme unique de services pour grands modèles Volcano Ark, dans l'espoir d'aider les entreprises grace au concept de modèle en tant que service Appliquez différents modèles dans un environnement efficace et s?r. Cette année, Volcano Engine a entièrement mis à niveau la plate-forme Ark. La version mise à niveau de Volcano Ark 2.0 améliorera considérablement les effets de modèle, les plug-ins de base, les performances du système et l'expérience de la plate-forme, aidant ainsi les entreprises à promouvoir la création de valeur des grands modèles.

En termes de plug-ins et de cha?nes d'outils, Ark 2.0 a mis à niveau le Plug-in Internet, offrant les mêmes capacités de recherche que Toutiao et Douyin, connectant des données massives de haute qualité en temps réel, tout en utilisant une interaction multimodale. des méthodes telles que le texte, les images et la voix, et grace à des capacités de reconnaissance d'intention de pointe de l'industrie, améliorant considérablement les capacités d'acquisition d'informations du modèle plug-in de contenu mis à niveau, fournissant à Toutiao et Douyin un contenu massif provenant de la même source, prenant en charge plusieurs- interaction modale, fournissant une récupération d'informations de contenu verticale basée sur l'intention et une récupération plus rapide du contenu, pour aider les grands modèles à comprendre, récupérer et générer du contenu en profondeur?; mettre à niveau le plug-in de base de connaissances pour fournir une récupération haute performance à des dizaines de milliards de?; millisecondes, mises à jour de l'index de la base de connaissances en streaming de deuxième niveau et modèles de vectorisation de pouf intégrés pour améliorer la pertinence des recherches sur le sexe et la précision.

En plus des mises à niveau de base du plug-in ci-dessus, Volcano Ark 2.0 a également mis à niveau de manière complète la capacité de charge du système, les capacités de protection de sécurité et les capacités de service d'algorithme. En termes de capacité de charge du système, il fournit des ressources informatiques GPU abondantes et une super élasticité d'expansion et de contraction de kilo-cartes en quelques minutes, garantissant la stabilité de l'entreprise et le contr?le des co?ts en termes de protection de la sécurité, il crée un environnement d'exécution fiable via un bac à sable de sécurité?; Une architecture de sécurité multidimensionnelle garantit la sécurité des données?; en outre, Volcano Engine fournit des services d'équipe d'algorithmes professionnels pour aider les clients à libérer une valeur de données unique et permettre la mise en ?uvre facile d'applications de modèles d'entreprise à grande échelle.

Button Product Manager Pan Yuyang

En plus de bons effets de modèle, des plug-ins pratiques et de solides performances du système, nous devons également fournir une plate-forme de développement simple et facile à utiliser afin que chacun puisse devenir un Développeur d'applications IA. Pan Yuyang, chef de produit Coze, a présenté que Coze, en tant que plate-forme de développement d'applications d'IA de nouvelle génération lancée par ByteDance, présente les avantages d'un seuil bas, de la personnalisation, du temps réel, de la multimodalité, etc., et intègre des ressources d'IA massives et des canaux de publication riches. , service API personnalisé en un clic pour vous aider à franchir le dernier kilomètre, des grands modèles aux scénarios utilisateur.

Volcano Engine a officiellement publié la version professionnelle de Buttons. Basée sur la capacité de Kouzi à orchestrer de manière flexible des agents intelligents, Kouzi Professional Edition fournit en outre des SLA au niveau de l'entreprise et une variété de fonctionnalités avancées, facilitant la mise en ?uvre des applications d'IA et permettant aux entreprises de se concentrer davantage sur la croissance de leur activité grace à l'innovation des agents.

Tan Dai a déclaré que Volcano Engine s'engage à devenir la plate-forme de services cloud la plus ouverte et la plus leader de l'ère de l'IA. Le Volcano Ark 2.0 récemment mis à niveau aidera à mettre en ?uvre des applications de modèles à grande échelle grace à des performances plus élevées, de meilleurs plug-ins, de meilleurs services et des solutions s?res et fiables.

04.

Largement mis en ?uvre dans la pratique

Des résultats fructueux dans de multiples secteurs

Le modèle de pouf et Volcano Ark 2.0 sont actuellement utilisés dans la finance, l'automobile, les terminaux intelligents, le commerce de détail en ligne, l'éducation et la recherche scientifique, etc. Les pratiques industrielles sont mises en ?uvre. Des entreprises telles que China Merchants Bank, Haidilao Hotpot, Super Orangutan, Ctrip Travel, Feichangzhun et Liepin ont également construit des corps intelligents sur des boutons. Des universités célèbres telles que l’Université de Fudan et l’Université du Zhejiang ont également construit des ? assistants pédagogiques en IA ? pour les cours et les expériences.

Gao Xulei, directeur du bureau de développement de la finance numérique de la China Merchants Bank

En tant que praticien de la transformation de l'IA dans le secteur financier, la China Merchants Bank explore et investit dans des centaines de scénarios de services d'IA tels que les appels sortants intelligents, le numérique personnes et assistants de données intelligents. Gao Xulei, directeur du bureau de développement de la finance numérique de la China Merchants Bank, a déclaré que ce grand modèle apporterait une transformation et une mise à niveau à l'ensemble de la cha?ne d'activité de la banque. En collaboration avec Volcano Engine, les deux parties construiront conjointement des scénarios d'application à grande échelle et une infrastructure haute performance, transformeront les systèmes et produits existants et généreront un grand nombre d'applications d'agents intelligents centrées sur l'IA.

Li Qijie, vice-président et directeur de l'intelligence numérique du groupe Mengniu

Li Qijie, vice-président et directeur du numérique du groupe Mengniu, a présenté les données du groupe Mengniu sous trois aspects : l'évolution des outils de production, l'évolution de les méthodes de production et l’évolution des méthodes d’organisation. Mengniu Group coopère avec Volcano Engine pour consolider la base technologique et construire une matrice intelligente d'experts en nutrition IA, de nounous IA, d'analystes de données IA, d'assistants d'innovation de produits, d'assistants créatifs hotspot, etc. -fin des opérations.

Sortie de la Smart Terminal Large Model Alliance

Lors de la réunion, Volcano Engine et OPPO, vivo, Honor, Xiaomi, Samsung et ASUS ont annoncé la création de la Smart Terminal Large Model Alliance. Des applications telles que OPPO Xiaobu Assistant, YOYO Assistant de Honor MagicBook, "Xiao Ai Classmate" de Xiaomi et Douding AI Assistant de l'ordinateur portable ASUS ont toutes été connectées au service grand modèle du Volcano Engine.

Lancement de l'Alliance écologique des grands modèles automobiles

Dans le même temps, Volcano Engine, en collaboration avec l'Association chinoise des véhicules électriques de 100 et plus de 20 fabricants tels que Geely Automobile, Great Wall Motors, Jietu Motors, Cyrus et Zhiji Automobile, a annoncé la création de l'Automobile Alliance. La Model Ecological Alliance s'engage à explorer de nouvelles formes d'interaction homme-véhicule et à améliorer la nouvelle expérience de l'IA dans tous les scénarios automobiles.

Les deux principales sociétés de l'alliance OPPO et Jietu Motors ont également partagé respectivement leurs propres pratiques de grands modèles?:

Directeur adjoint du département intelligent d'OPPO, architecte en chef adjoint de Xiaobu, Wan Yulong

Directeur adjoint du département intelligent d'OPPO, Wan Yulong, architecte en chef de Xiaobu Assistant, a partagé la pratique d'application de modèles à grande échelle des téléphones mobiles OPPO AI. Il a déclaré que Xiaobu Assistant couvre actuellement 350 millions de terminaux et compte plus de 150 millions d'utilisateurs actifs par mois. Sur Volcano Ark, OPPO a créé des agents intelligents tels que des questions et réponses universelles, des filles intelligentes et des intervieweurs via des modèles de reconnaissance d'intention, des modèles de résumé de réseau, des modèles de personnages personnalisés et des modèles de poufs, apportant une toute nouvelle IA à l'expérience des utilisateurs finaux.

Liu Hang, responsable de la numérisation de Jietu Automobile

Liu Hang, responsable de la numérisation de Jietu Automobile, a déclaré que Jietu Automobile espère étendre ses capacités de service et mieux comprendre les besoins réels des utilisateurs grace à de grands modèles, améliorant ainsi efficacité et capacités de vente. En s'associant à Volcano Engine, les deux parties ont co-créé autour de scénarios de service client. L'IA de service client intelligente qu'ils ont créée permet non seulement d'économiser de la main d'?uvre, mais aide également le personnel du service client à obtenir rapidement des informations et à servir les clients. à l'avenir, Jietu Motors espère également réaliser davantage d'améliorations intelligentes dans le cockpit, la prise de décision et le marketing grace à de grands modèles.

05.

Plusieurs applications d'IA publiées

Rapidement mises en ?uvre et prêtes à l'emploi

En plus de la plate-forme de services de grands modèles, les applications d'IA sont également un élément clé du moteur Volcano service d’IA complet.

L'année dernière, Volcano Engine a proposé un nouveau modèle pour la mise à niveau de l'intelligence numérique d'entreprise : le volant d'inertie des données. Ce modèle prend la consommation de données comme force motrice principale, intègre pleinement le flux de données d'entreprise dans le flux commercial et réalise l'effet de volant d'inertie des actifs de données et des applications métier. . Afin de rendre la consommation de données d'entreprise plus inclusive et plus pratique, Volcano Engine Intelligent Data Insight DataWind a officiellement publié l'assistant d'IA ChatBI. Les utilisateurs peuvent générer des indicateurs via une interaction en langage naturel pour la production de graphiques, la requête de données et l'analyse approfondie des données. Il prend en charge l'interaction de messagerie instantanée, peut être appliqué sur plusieurs terminaux et effectue une analyse en libre-service à tout moment et en tout lieu. Cela réduira considérablement le seuil de consommation de données, améliorera l'efficacité de la lecture et de l'utilisation des données et fournira la puissance nécessaire au fonctionnement accéléré du volant de données.

Pour les scénarios marketing, Volcano Engine a été mis à niveau vers Intelligent Creation Cloud 2.0, devenant ainsi une solution unique de croissance du marketing de contenu d'entreprise, depuis la création de contenu, la distribution matricielle, la publicité jusqu'aux informations sur les données, il fournit non seulement des capacités de compréhension et de génération multimodales ; , contribuant à multiplier par 25 l'efficacité de la création vidéo, et a également lancé des sujets Douyin, des POI, des mini-programmes et d'autres outils marketing, augmentant ainsi l'exposition des pages du magasin de 600 %. Actuellement, plus de 3 000 entreprises ont lancé la croissance du marketing vidéo AIGC sur Volcano Engine.

Pour les scénarios de vente, Volcano Engine a publié Sales Copilot, un assistant commercial IA qui peut suivre efficacement les besoins des clients et aider les ventes à répondre à tout moment à des questions complexes sur les produits. De plus, il peut simuler différents styles d'exercices clients grace à des jeux de r?le et fournir d'excellentes compétences orales pour améliorer la qualité de la communication commerciale.

Volcano Engine s'est toujours engagé à construire un concept écologique ouvert et partagé. Depuis la sortie du plan Wanwan en 2021, il a aidé plus de 100 entreprises SaaS à réaliser une croissance commerciale et à conclure près de 10 000 contrats clients. Doubao Enterprise Service Alliance est un plan spécial du plan Wanyou pour la mise en ?uvre de grands modèles. La Wanyou Plan Doubao Enterprise Service Alliance fournira un ensemble de plans de support pour aider les entreprises SaaS à réaliser des mises à niveau de l'IA et à fournir aux clients du secteur davantage d'applications d'IA prêtes à l'emploi.

06.

L'infrastructure de l'IA a été mise à niveau vers une nouvelle dimension

Garantie fiable de la puissance du cloud computing

à l'ère des grands modèles, la complexité de la gestion des clusters, les performances et la stabilité du réseau sont des défis clés pour les infrastructures cloud. Afin de relever les défis ci-dessus, Volcano Engine propose un ensemble de solutions de pointe autour de la construction, de la gestion, de l'optimisation des performances et de la garantie de stabilité de grands clusters, basées sur les avantages en matière d'échelle de ressources et les pratiques internes des pools communs internes et externes.

Lai Junjie, vice-président des solutions et de l'ingénierie de NVIDIA

Lors de la réunion, Volcano Engine a officiellement lancé veOmniverse, qui fournit aux entreprises et aux développeurs une nouvelle plate-forme de développement cloud basée sur NVIDIA Omniverse pour aider les entreprises et les développeurs dans le monde virtuel interconnecté. Dans le monde, concevez et collaborez efficacement autour du flux de travail, explorez et créez des mondes virtuels intelligents et réalistes.

En plus de fournir aux clients une infrastructure cloud haute stabilité et hautes performances, en réponse aux besoins de déploiement local, Volcano Engine a également publié une nouvelle version de cloud hybride veStack pour l'informatique intelligente, dotée d'un réseau de cluster Wanka et d'un processeur hautes performances 3.2T. sans perte L'avantage à très grande échelle du réseau?: les performances ultimes soutenues par une ingénierie de bout en bout, capable d'atteindre un taux d'accélération de formation de 97,78?% et une détection des défauts au niveau infime et une auto-réparation, il possède de multiples capacités hétérogènes?; s'adapte à plus de dix types de GPU et prend en charge les GPU personnalisés des produits nationaux grand public.

En plus du calcul intensif effectué par le GPU, l'application d'IA complète doit également continuer à réduire les co?ts et à augmenter l'efficacité de la charge CPU existante pour garantir que les activités peuvent être menées facilement et accélérer l'innovation. à partir des quatre niveaux d'informatique, de stockage, de réseau, d'exploitation et de maintenance, Volcano Engine prend pleinement en charge le fonctionnement stable des activités cloud des clients.

Fin

De l'innovation technologique à la mise en ?uvre commerciale, les grands modèles ont donné un puissant élan à la transformation de l'IA dans diverses industries. Le moteur Volcano est basé sur l'expérience pratique de ByteDance dans le domaine des grands modèles. Il a peaufiné de bons modèles grace à une utilisation à grande échelle, il rend les grands modèles abordables pour tous grace à sa rentabilité ultime et accompagne également les clients grace à sa technologie. une riche expérience de mise en ?uvre et des services d'algorithmes dans diverses industries. Grandissez ensemble. à l'avenir, les services d'IA complets de Volcano Engine continueront d'aider les entreprises à mettre en ?uvre la transformation de l'IA et à stimuler leur potentiel de croissance.