"Wenxinyiyan semble être lancé à la hâte. Je pense que ce n'est pas du tout pour gagner de l'argent, mais pour rattraper le boom de ChatGPT. Le grand modèle de l'industrie est ce qui peut vraiment générer de la valeur commerciale. " Peu de temps après la sortie de Baidu Wenxinyiyan, un ancien employé de Baidu a déclaré à Titanium Media : "Lorsque OpenAI n'était pas si populaire l'année dernière, M. Wang (Baidu CTO Wang Haifeng) a dirigé une équipe pour construire 10 modèles à grande échelle, y compris des modèles industriels à grande échelle. À cette époque , il n'y avait pas beaucoup d'attention en dehors de l'industrie, mais si vous regardez la mise en page de Baidu maintenant, le grand modèle industriel est en fait une mise en page tournée vers l'avenir, antérieure à OpenAI et Microsoft. »
Aujourd'hui, après l'agitation des modèles à grande échelle à usage général, les modèles industriels gagnent progressivement du terrain, ce qui confirme également cette réalité : les modèles à grande échelle de base tels que ChatGPT font "pleurer", ce qui joue largement un rôle dans l'éducation du marché et façonner la cognition , L'intelligence artificielle va vraiment être mise en œuvre et gagner de l'argent actuel, mais dépend également du grand modèle de l'industrie.
Même sur les marchés étrangers, ChatGPT, dans le cadre des attributs des produits de fin C, s'est progressivement affaibli. Selon les données de SimilarWeb, le taux de croissance des visites de ChatGPT au stade initial était étonnant. Le taux de croissance mensuel était de 131,6. % en janvier et 62,5 % en février. Il était de 55,8 % en mars, et il a nettement ralenti en avril, avec un taux de croissance mensuel de 12,6 %. En mai, ce chiffre était passé à 2,8 %, et il on s'attend à ce que le taux de croissance d'un mois sur l'autre en juin soit négatif.
"Je pense que beaucoup d'entre nous ont essayé ChatGPT, et je pense que beaucoup de gens l'ont mis de côté après l'avoir essayé, car il est fondamentalement séparé de notre travail à l'heure actuelle, nous l'avons donc abandonné après l'avoir utilisé. Mais j'espère toujours que tout le monde ne "se lèvera pas tôt et n'attrapera pas l'épisode tardif", car il s'agit d'une révolution paradigmatique qui entraînera des changements subversifs", a déclaré Wei Qing, directeur de la technologie (CTO) de Microsoft (Chine).
La solution B-side basée sur ChatGPT ou les grands modèles est un bon moyen de résoudre la séparation entre les grands modèles et les scènes.
À l'échelle internationale, de grandes entreprises telles que Microsoft et Amazon ont également commencé à rechercher des voies de commercialisation à partir des services au niveau de l'entreprise et ont commencé à explorer de multiples industries ; au niveau national, Baidu, Alibaba, Tencent et Huawei accélèrent tous les investissements dans l'industrie à grande échelle. des modèles. En outre, de nombreux leaders de l'industrie et start-up du monde entier explorent également la perspective de modèles industriels à grande échelle.Récemment, la Commission municipale des sciences et technologies de Pékin et le Comité de gestion de Zhongguancun ont également publié le premier lot de 10 cas d'application de modèles industriels d'intelligence artificielle à grande échelle à Pékin. En outre, le nombre de fusions et d'acquisitions de voies technologiques connexes a également atteint de nouveaux sommets...
Mais la piste des modèles à grande échelle est loin d'être encombrée - avec le développement rapide de l'itération technologique, tous les horizons réaccumulent les connaissances techniques et façonnent les modèles commerciaux, et tout ne fait que commencer.
Mise à niveau : guerre des mille modèles
Si le modèle de base est une "guerre des cent modèles", le modèle à grande échelle de l'industrie est une "guerre des mille modèles". Tout comme le tronc fait pousser des branches, chaque fabricant de modèles à grande échelle de base peut incuber plusieurs modèles à grande échelle de l'industrie. .unanime.
"Bien que tout le monde ait des attentes élevées pour le modèle à grande échelle à usage général, ce n'est pas nécessairement la solution optimale pour répondre aux besoins des scénarios de l'industrie." Le 19 juin, lors de la Tencent Cloud Industry Large-scale Model Conference, Senior Executive Vice Président de Tencent Group, Cloud et Tang Daosheng, PDG de Smart Industry Business Group, ont déclaré.
Dans le cas où Hunyuan Assistant ne l'a pas rendu public, Tencent a pris l'initiative de publier des modèles industriels à grande échelle.En s'appuyant sur la plate-forme Tencent Cloud TI pour créer une sélection de modèles industriels à grande échelle, il fournit aux clients un- arrêter les services MaaS et aide les entreprises clientes à créer des modèles exclusifs à grande échelle et des applications intelligentes. On apprend de Tencent que Tencent publiera à l'avenir des informations officielles sur le modèle général du C-end.
Cette série de mesures peut être comprise comme, quels que soient l'effet et les progrès du modèle de base à grande échelle de Hunyuan, la publication prioritaire du modèle à grande échelle de l'industrie est une mesure nécessaire pour Tencent pour assurer sa propre réputation et saisir les clients du marché lorsque les clients ont un besoin urgent.
Plus tôt, Tian Qi, le scientifique en chef dans le domaine de l'intelligence artificielle chez Huawei Cloud, a mentionné que Huawei divise le grand modèle en trois niveaux, L0, L1, L2 et L0 est ce que tout le monde appelle le modèle général de base, comme GPT-3 , dans le modèle de base L0 Sur la base de , plus les données de l'industrie, le grand modèle de l'industrie obtenu par formation mixte est L1.
Ensuite, L1 est déployé pour des scénarios de subdivision spécifiques de milliers d'industries en aval, et le modèle de tâche L2 des scénarios de subdivision est obtenu.Afin de réduire les coûts de production et d'améliorer l'efficacité dès que possible, comment produire rapidement des modèles L2 à partir du grand modèle métier L1 et le déploiement du modèle L2 côté appareil, côté périphérie et côté cloud est un problème très important.
On peut voir à l'ordre du jour de la prochaine conférence des développeurs Huawei en juillet que Huawei Cloud mènera une série d'interprétations et de publications sur la façon dont le modèle Pangu a été affiné d'un modèle de base à un modèle industriel.
Lors du Alibaba Cloud Summit de cette année, le directeur technique d'Alibaba Cloud, Zhou Jingren, a également déclaré : « Aujourd'hui, toutes les entreprises n'ont pas besoin de commencer la formation à partir de zéro, et vous n'avez pas non plus besoin que tout le monde reparte de zéro pour créer une variété de corpus, y compris un grand nombre de puissance de calcul. ressources, pour grandir à partir de zéro.Une série de personnalisation du modèle, nous espérons que sur la base du modèle Tongyi Qianwen aujourd'hui, combiné avec le scénario de l'entreprise, le système de connaissances d'entreprise et les besoins spéciaux de l'entreprise dans l'industrie, chaque modèle spécifique à l'entreprise sera être généré."
Microsoft crée également son propre modèle industriel. En avril, en Chine, la version internationale de Microsoft Azure OpenAI Service a publié les trois premiers ensembles de scénarios de l'industrie de l'innovation mondiale Azure pour le commerce électronique de détail, la fabrication et les domaines natifs numériques, intégrant GPT-3 et GPT-4 pour les utilisateurs d'entreprise locaux allant outre-mer. , Codex, DALL-E et ChatGPT au niveau de l'entreprise, cinq services modèles à grande échelle, pour aider les entreprises clientes chinoises à l'étranger à accélérer leur expansion sur le marché mondial.
La "guerre des mille modèles" est sur le point d'éclater, mais il est encore trop tôt pour vraiment entrer dans le stade des grosses vagues lavant le sable. Dans l'ensemble, les modèles à grande échelle sont encore à un stade de développement relativement précoce. les modèles à grande échelle dans l'industrie sont concentrés, il n'y a évidemment plus de place pour cette piste.
Prenant l'exemple du grand modèle de l'industrie financière, celle-ci est divisée en différents domaines tels que les sociétés de titres, les assurances, les banques, la nouvelle finance... Les tâches en aval de chaque domaine sont divisées en dizaines ou centaines de sous-tâches.
"Le moment le plus important est lorsque, sur la base du modèle de base, SFT et d'autres mécanismes et structures peuvent être efficacement adaptés aux tâches en aval, et lorsque les tâches en aval du secteur financier ou d'autres modèles industriels ont un effet d'échelle". Chen Haiqing, responsable du Moyuan Innovation Business Center, ce n'est que le début des grands modèles et scénarios de l'industrie pour la formation continue grâce à des données non structurées universelles.
Choix sensé et réaliste
Si une entreprise souhaite créer un modèle de base à grande échelle avec des centaines de milliards de paramètres, elle a besoin d'une puissance de calcul de plus de 10 000 cartes dans un cluster à une seule machine, non seulement une carte GPU, mais également l'utilisation des ressources du cluster GPU , ce que la plupart des entreprises ne peuvent pas faire.
Le modèle de grande industrie est évidemment plus facile à réaliser, et il a également une perspective d'application plus large.
"Les grands modèles peuvent habiliter des milliers d'industries, mais vous devez avoir une bonne compréhension des scénarios de milliers d'industries, et vous ne pouvez pas vous attendre à former des centaines de milliards ou des billions de grands modèles, qui peuvent être facilement utilisés par les utilisateurs de l'entreprise, " a déclaré Zhou Ming, fondateur de Lanzhou Technology. "Du modèle général au modèle métier, il faut faire le dernier kilomètre pour le scénario de l'utilisateur."
Après avoir évalué l'investissement requis pour le modèle de base à grande échelle et pesé le pour et le contre, les gains et les pertes, les entreprises clientes se sont rapidement tournées vers le modèle industriel à grande échelle et les fabricants y ont consacré plus d'énergie.
Tang Daosheng a déclaré franchement que les modèles actuels à grande échelle à usage général sont généralement formés sur la base d'une vaste littérature publique et d'informations sur le réseau. Les informations sur Internet peuvent contenir des erreurs, des rumeurs et des préjugés. De nombreuses connaissances professionnelles et données de l'industrie ne sont pas suffisamment accumulées, résultant en des spécificités de l'industrie du modèle L'exactitude et la précision ne suffisent pas, et le "bruit" des données est trop important.
Cependant, dans de nombreux scénarios industriels, les utilisateurs ont des exigences élevées en matière de services professionnels fournis par les entreprises et leur tolérance aux pannes est faible. Une fois qu'une entreprise fournit des informations erronées, cela peut entraîner une énorme responsabilité juridique ou une crise des relations publiques. Par conséquent, les modèles à grande échelle utilisés par les entreprises doivent être contrôlables, traçables et corrigibles, et doivent être testés de manière répétée et complète avant de pouvoir être lancés.
"Nous pensons que les clients ont besoin de modèles industriels plus spécifiques à l'industrie, associés aux propres données de l'entreprise pour la formation ou le réglage fin, afin de créer des services intelligents très pratiques. Ce dont les entreprises ont besoin, c'est de résoudre véritablement le problème dans des scénarios réels. Résoudre un certain problème au lieu de résoudre 70% à 80% du problème en 100 scènes", a déclaré Tang Daosheng.
Zhu Yong, vice-président de Baidu Smart Cloud, a également déclaré : « D'après la situation au pays et à l'étranger, nous pouvons voir qu'il n'y a pas autant de modèles à usage général. Certains fabricants sur le marché fabriquent en fait des modèles relativement petits. Au contraire , les modèles de domaine sont spéciaux Important, parce que le modèle général n'a que la capacité de connaissances générales, le modèle de domaine peut être aligné sur les attentes des tâches d'industries et de domaines spécifiques et résoudre les problèmes réels de l'entreprise. Ce processus est très important, mais le coût et les ressources nécessaires à ce processus sont bien moindres que de partir de zéro Do le modèle général sous-jacent."
Dans le même temps, il a également estimé qu'il n'y aurait peut-être que quelques modèles de base (modèles généraux sous-jacents) à l'avenir, mais combinés aux données du domaine professionnel et au savoir-faire de l'industrie, de nombreux types de modèles de domaine s'y développeraient. Ces modèles de domaine seront très prospères à l'avenir et prendront en charge la couche supérieure.Applications de domaine prospères.
Prenant comme exemple le grand modèle de l'industrie de l'énergie "State Grid-Baidu Wenxin" créé par Baidu Smart Cloud et State Grid, Baidu Smart Cloud, en collaboration avec des experts de State Grid, a introduit les échantillons accumulés par State Grid dans le secteur de l'électricité dans le modèle général à grande échelle Données et connaissances uniques, et dans la formation, combiner l'expérience des deux parties dans l'algorithme de pré-formation et l'entreprise et l'algorithme dans le domaine de l'alimentation, concevoir des algorithmes tels que la discrimination des entités dans le domaine de l'alimentation et la discrimination des documents dans le domaine de l'énergie en tant que tâches de pré-formation, afin que le grand modèle Wenxin puisse acquérir des connaissances professionnelles approfondies, afin de résoudre véritablement les problèmes commerciaux pratiques dans le domaine de l'énergie et d'atteindre l'objectif de réduction des coûts et d'augmentation de l'efficacité.
Zhu Yong a déclaré que la différence entre le modèle général et le modèle de domaine peut être comparée à une personne possédant un large éventail de connaissances qui est allée à l'université. Il peut connaître certaines connaissances médicales, mais il ne peut pas diagnostiquer les patients et n'est pas un médecin professionnel. . Le modèle de domaine consiste à acquérir des connaissances médicales approfondies sur la base d'une forte capacité générale et à devenir un médecin professionnel pouvant apporter une valeur ajoutée dans le domaine médical.
D'un modèle général avec un large éventail de connaissances à un modèle médical professionnel, le coût des ressources nécessaires dans ce processus est bien inférieur à celui de la construction d'un grand modèle général à partir de zéro, mais il souligne qu'il existe des données professionnelles, il doit y avoir Il est motivé par des tâches dans le domaine professionnel pour le stimuler à produire de telles capacités.
Comment faire un modèle métier
Le grand modèle lui-même est une nouveauté, qui a changé le paradigme de développement logiciel précédent. Les fabricants ont besoin d'une nouvelle chaîne d'outils et d'une nouvelle plate-forme pour aider les clients à peaufiner le grand modèle de l'industrie plus tôt et plus rapidement.
Avec l'avènement de l'ère des grands modèles, l'efficacité du dernier kilomètre sera grandement améliorée. Zhou Ming a mentionné qu'une nouvelle génération de paradigme de développement logiciel prend forme, principalement basée sur le fait que les entreprises fournissent de nombreux moteurs fonctionnels et que les utilisateurs sont désormais des assistants pour améliorer l'efficacité. Sur cette base, il est facile de construire une nouvelle application.
Prenons l'exemple de la plate-forme de modèles à grande échelle Wenxin Qianfan, il s'agit d'une plate-forme unique de développement de modèles et d'exploitation de services à grande échelle pour les développeurs d'entreprise. Il fournit non seulement le modèle sous-jacent (ERNIE-Bot) et les grands modèles open source tiers, mais fournit également divers outils de développement d'IA et un environnement de développement complet pour permettre aux clients d'utiliser et de développer facilement de grandes applications de modèles.
Pour la gestion des données, le modèle SFT automatisé et le déploiement dans le cloud de services de raisonnement, les fabricants espèrent réaliser des services de personnalisation de modèle à grande échelle à guichet unique. Les capacités des plates-formes de construction de modèles à grande échelle de différents fabricants sont fondamentalement similaires, et la différence réside dans la facilité d'utilisation, la qualité de l'effet et les logiciels et matériels pris en charge.
"Faire un grand modèle n'est en effet pas bon marché, mais il n'y a que deux raisons pour lesquelles le service de grands modèles peut être promu au final : la première est que l'effet du modèle est meilleur, et l'effet du modèle n'est pas bon. Inutile de dire que le second est le coût », a déclaré Baidu Xin Zhou, directeur général de Smart Cloud AI et Big Data Platform.
En effet, le modèle sectoriel devrait s'appuyer sur le modèle général. Par exemple, dans l'enseignement général, s'il n'y a pas de meilleur modèle général, il est impossible de parler d'effet d'application dans une industrie spécifique. Le Bloomberg GPT lancé conjointement par Bloomberg et Johns Hopkins en est un exemple : dans sa répartition des données, les données générales du modèle de base représentent la moitié, les données publiques de l'industrie financière représentent la moitié et les propres données de Bloomberg représentent 0,6 %.
"Pour qu'un modèle atteigne un meilleur niveau d'intelligence ou de capacités de base, il doit former le modèle de base avec un nombre relativement bon de paramètres, puis intégrer certaines données professionnelles de l'industrie dans le modèle de base pour créer un modèle industriel." Xin dit Zhou.
L'idée de Baidu est de lancer un "big guy" (Wenxin Yiyan) et une plate-forme d'outils très complète (Wenxin Qianfan), puis de fournir des services modèles différenciés en fonction des besoins réels des clients pour aider les clients à faire le choix le plus rentable. croient que le prix ne deviendra pas un goulot d'étranglement pour que les entreprises adoptent de grands modèles.
En plus de modéliser les coûts d'appel et les coûts de formation, Baidu aide également les entreprises à réduire davantage leurs coûts. Si les entreprises ne se concentrent que sur leurs domaines relativement étroits, Baidu propose également une version avec des paramètres relativement bas, de sorte que tout en garantissant l'effet du modèle, utiliser ou Le coût des modèles de formation va chuter de façon spectaculaire.
En fait, il n'y a pas de norme universelle pour le coût de construction d'un grand modèle industriel.
Tout d'abord, différents grands modèles de base ont des spécifications de paramètres différentes, et l'investissement en logiciel et en matériel doit changer dynamiquement en fonction des paramètres de base et des capacités du modèle. Si le paramètre est des dizaines de milliards, une carte A100 peut également exécuter et démarrer des tâches en aval.
Les exigences actuelles relativement concentrées en matière de scénarios d'application entrent dans cette catégorie, telles que la réponse intelligente aux questions, l'écriture intelligente et la création intelligente dans la gestion des connaissances, ainsi que les scénarios de marketing pan-Internet et les exigences de génération de code.
Deuxièmement, le coût est lié à la quantité de données et à la direction de l'application. La tarification actuelle des modèles mondiaux à grande échelle est basée sur 1000 jetons comme unité de base. Si les tâches en aval d'une entreprise sont très simples et ne peuvent être effectuées qu'avec des dizaines de milliers de jetons, alors son coût est très faible et elle nécessite très peu de cartes GPU. La quantité de données requises pour créer un grand modèle métier est généralement en G ou même en T, de sorte que son coût de formation hors ligne sera très élevé.
**Qui fait la course ? **
Les joueurs ont afflué vers la piste de modèles à grande échelle.Cette fois, non seulement les sociétés Internet de premier plan, mais également davantage de leaders de l'industrie et de start-up se sont joints.
Quelles industries peuvent prendre l'initiative de percer ? Cela ressort peut-être de l'industrie dans laquelle se situe le cas de coopération.Comme le montre le tableau au début de l'article, la finance, les soins médicaux, l'éducation, la conduite autonome et d'autres domaines sont fréquemment utilisés.
Par exemple, lorsqu'Alibaba Cloud a lancé le grand modèle Tongyi en avril, il a annoncé qu'il avait lancé des explorations coopératives avec un certain nombre de sociétés.Le premier groupe de sociétés coopératives comprend OPPO Andes Smart Cloud, Geely Automobile, Zhiji Automobile, Chery New Energy, Momo Zhixing, Swire Coca-Cola, Bosideng, Palm Technology, etc. Selon les rapports, le secteur financier, le commerce de détail et certains scénarios et industries à grande échelle axés sur les consommateurs ont accumulé de nombreuses données publiques et données de scénarios, ce qui est pratique pour créer des modèles d'entreprise ou spécifiques à l'industrie.
Selon des informations publiques, le nombre de modèles industriels à grande échelle de Baidu Wenxin a atteint 11, couvrant l'énergie et l'électricité, la finance, l'aérospatiale, les médias, le cinéma et la télévision, l'automobile, la gestion urbaine, le gaz, l'assurance, la fabrication électronique et les sciences sociales.
Le premier lot de dix cas d'application de modèles à grande échelle dans l'industrie de l'intelligence artificielle à Pékin, publié le 27 juin, concerne l'énergie et l'électricité, la santé médicale, la finance, la conduite autonome, la construction, la recherche scientifique, la vie et les domaines des questions-réponses. Il est rapporté qu'au cours de la période du 27 juin au 30 juillet, la Commission des sciences et technologies de Pékin et le Comité de gestion de Zhongguancun se concentreront également sur des domaines clés tels que la gouvernance urbaine, la santé médicale, la recherche scientifique, la finance intelligente, la vie intelligente et la vie intelligente. villes, et cibler les sujets d'innovation dans la ville. , recueillera plus de 80 projets de cas d'application de modèles industriels à grande échelle.
Mais de plus en plus de clients sont confrontés à une nouvelle vague d'accumulation de connaissances et de processus d'apprentissage.
« Lorsque nous avons communiqué avec les clients, nous avons constaté que de nombreux clients ne connaissent pas grand-chose aux modèles industriels, mais ils prendront l'initiative de demander les modèles industriels de Baidu. » Li Jingqiu, directeur général adjoint de Baidu Smart Cloud AI Platform, a déclaré que à ce stade, il sera spécifiquement combiné avec l'utilisation réelle des entreprises. Analysez les besoins des produits et des clients, tels que le type de fonctionnalités que vous souhaitez que le modèle métier ait, quels systèmes ou applications utiliser, qui utilisera ces applications, et quels effets espérez-vous obtenir... Après avoir posé ces questions, vous trouverez vraiment des clients Ce qu'il faut, c'est un grand modèle basé sur la chaîne d'outils SFT de Wenxin Qianfan, ou un modèle pré-formé pour l'industrie. Ce dernier a besoin d'au moins plusieurs mois, voire l'année dernière, pour être construit et déployé, des problèmes techniques tels que le traitement des données, l'allocation des ressources au niveau de la puissance de calcul, à la formation à long terme sur les données courantes dans l'industrie.
De l'agitation du modèle à grande échelle de base au début du modèle à grande échelle de l'industrie, en entrant dans la seconde moitié de 2023, une véritable transformation de l'entreprise sera accélérée.
Il est également intéressant de comparer les parcours de fabricants nationaux tels que Baidu et OpenAI/Microsoft dans le domaine des modèles à grande échelle. Lorsque ChatGPT a montré une popularité au niveau du phénomène mondial, certaines voix se sont demandées pourquoi la Chine ne pouvait pas produire ChatGPT. est un environnement technique En fin de compte, beaucoup de gens ont encore un consensus superficiel - "L'IA chinoise est plus encline aux applications commerciales et aux capacités de commercialisation." Pour le dire franchement, l'IA chinoise a moins de patience et veut gagner de l'argent.
Mais d'un autre côté, le marché est le plus grand moteur du développement technologique, et la maîtrise du temps et du rythme a créé des résultats différents. Prenons l'exemple du modèle industriel à grande échelle. Microsoft attend la maturité de la technologie ou estime que le moment n'est pas encore venu et qu'il est trop tard. Les fabricants nationaux passent rapidement du modèle de base à grande échelle. modèle réduit au modèle industriel à grande échelle.Avoir une vitalité durable.
Perdus à l'est, récoltés dans le mûrier, en termes de résultats, ce n'est pas une mauvaise chose que les grands modèles de l'industrie nationale tournent vite.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Modèle métier, ouvrez le livre !
Source : Titanium Media, Auteur : Zhang Shuai
"Wenxinyiyan semble être lancé à la hâte. Je pense que ce n'est pas du tout pour gagner de l'argent, mais pour rattraper le boom de ChatGPT. Le grand modèle de l'industrie est ce qui peut vraiment générer de la valeur commerciale. " Peu de temps après la sortie de Baidu Wenxinyiyan, un ancien employé de Baidu a déclaré à Titanium Media : "Lorsque OpenAI n'était pas si populaire l'année dernière, M. Wang (Baidu CTO Wang Haifeng) a dirigé une équipe pour construire 10 modèles à grande échelle, y compris des modèles industriels à grande échelle. À cette époque , il n'y avait pas beaucoup d'attention en dehors de l'industrie, mais si vous regardez la mise en page de Baidu maintenant, le grand modèle industriel est en fait une mise en page tournée vers l'avenir, antérieure à OpenAI et Microsoft. »
Aujourd'hui, après l'agitation des modèles à grande échelle à usage général, les modèles industriels gagnent progressivement du terrain, ce qui confirme également cette réalité : les modèles à grande échelle de base tels que ChatGPT font "pleurer", ce qui joue largement un rôle dans l'éducation du marché et façonner la cognition , L'intelligence artificielle va vraiment être mise en œuvre et gagner de l'argent actuel, mais dépend également du grand modèle de l'industrie.
Même sur les marchés étrangers, ChatGPT, dans le cadre des attributs des produits de fin C, s'est progressivement affaibli. Selon les données de SimilarWeb, le taux de croissance des visites de ChatGPT au stade initial était étonnant. Le taux de croissance mensuel était de 131,6. % en janvier et 62,5 % en février. Il était de 55,8 % en mars, et il a nettement ralenti en avril, avec un taux de croissance mensuel de 12,6 %. En mai, ce chiffre était passé à 2,8 %, et il on s'attend à ce que le taux de croissance d'un mois sur l'autre en juin soit négatif.
"Je pense que beaucoup d'entre nous ont essayé ChatGPT, et je pense que beaucoup de gens l'ont mis de côté après l'avoir essayé, car il est fondamentalement séparé de notre travail à l'heure actuelle, nous l'avons donc abandonné après l'avoir utilisé. Mais j'espère toujours que tout le monde ne "se lèvera pas tôt et n'attrapera pas l'épisode tardif", car il s'agit d'une révolution paradigmatique qui entraînera des changements subversifs", a déclaré Wei Qing, directeur de la technologie (CTO) de Microsoft (Chine).
La solution B-side basée sur ChatGPT ou les grands modèles est un bon moyen de résoudre la séparation entre les grands modèles et les scènes.
À l'échelle internationale, de grandes entreprises telles que Microsoft et Amazon ont également commencé à rechercher des voies de commercialisation à partir des services au niveau de l'entreprise et ont commencé à explorer de multiples industries ; au niveau national, Baidu, Alibaba, Tencent et Huawei accélèrent tous les investissements dans l'industrie à grande échelle. des modèles. En outre, de nombreux leaders de l'industrie et start-up du monde entier explorent également la perspective de modèles industriels à grande échelle.Récemment, la Commission municipale des sciences et technologies de Pékin et le Comité de gestion de Zhongguancun ont également publié le premier lot de 10 cas d'application de modèles industriels d'intelligence artificielle à grande échelle à Pékin. En outre, le nombre de fusions et d'acquisitions de voies technologiques connexes a également atteint de nouveaux sommets...
Mise à niveau : guerre des mille modèles
Si le modèle de base est une "guerre des cent modèles", le modèle à grande échelle de l'industrie est une "guerre des mille modèles". Tout comme le tronc fait pousser des branches, chaque fabricant de modèles à grande échelle de base peut incuber plusieurs modèles à grande échelle de l'industrie. .unanime.
"Bien que tout le monde ait des attentes élevées pour le modèle à grande échelle à usage général, ce n'est pas nécessairement la solution optimale pour répondre aux besoins des scénarios de l'industrie." Le 19 juin, lors de la Tencent Cloud Industry Large-scale Model Conference, Senior Executive Vice Président de Tencent Group, Cloud et Tang Daosheng, PDG de Smart Industry Business Group, ont déclaré.
Dans le cas où Hunyuan Assistant ne l'a pas rendu public, Tencent a pris l'initiative de publier des modèles industriels à grande échelle.En s'appuyant sur la plate-forme Tencent Cloud TI pour créer une sélection de modèles industriels à grande échelle, il fournit aux clients un- arrêter les services MaaS et aide les entreprises clientes à créer des modèles exclusifs à grande échelle et des applications intelligentes. On apprend de Tencent que Tencent publiera à l'avenir des informations officielles sur le modèle général du C-end.
Cette série de mesures peut être comprise comme, quels que soient l'effet et les progrès du modèle de base à grande échelle de Hunyuan, la publication prioritaire du modèle à grande échelle de l'industrie est une mesure nécessaire pour Tencent pour assurer sa propre réputation et saisir les clients du marché lorsque les clients ont un besoin urgent.
Plus tôt, Tian Qi, le scientifique en chef dans le domaine de l'intelligence artificielle chez Huawei Cloud, a mentionné que Huawei divise le grand modèle en trois niveaux, L0, L1, L2 et L0 est ce que tout le monde appelle le modèle général de base, comme GPT-3 , dans le modèle de base L0 Sur la base de , plus les données de l'industrie, le grand modèle de l'industrie obtenu par formation mixte est L1.
Ensuite, L1 est déployé pour des scénarios de subdivision spécifiques de milliers d'industries en aval, et le modèle de tâche L2 des scénarios de subdivision est obtenu.Afin de réduire les coûts de production et d'améliorer l'efficacité dès que possible, comment produire rapidement des modèles L2 à partir du grand modèle métier L1 et le déploiement du modèle L2 côté appareil, côté périphérie et côté cloud est un problème très important.
On peut voir à l'ordre du jour de la prochaine conférence des développeurs Huawei en juillet que Huawei Cloud mènera une série d'interprétations et de publications sur la façon dont le modèle Pangu a été affiné d'un modèle de base à un modèle industriel.
Lors du Alibaba Cloud Summit de cette année, le directeur technique d'Alibaba Cloud, Zhou Jingren, a également déclaré : « Aujourd'hui, toutes les entreprises n'ont pas besoin de commencer la formation à partir de zéro, et vous n'avez pas non plus besoin que tout le monde reparte de zéro pour créer une variété de corpus, y compris un grand nombre de puissance de calcul. ressources, pour grandir à partir de zéro.Une série de personnalisation du modèle, nous espérons que sur la base du modèle Tongyi Qianwen aujourd'hui, combiné avec le scénario de l'entreprise, le système de connaissances d'entreprise et les besoins spéciaux de l'entreprise dans l'industrie, chaque modèle spécifique à l'entreprise sera être généré."
Microsoft crée également son propre modèle industriel. En avril, en Chine, la version internationale de Microsoft Azure OpenAI Service a publié les trois premiers ensembles de scénarios de l'industrie de l'innovation mondiale Azure pour le commerce électronique de détail, la fabrication et les domaines natifs numériques, intégrant GPT-3 et GPT-4 pour les utilisateurs d'entreprise locaux allant outre-mer. , Codex, DALL-E et ChatGPT au niveau de l'entreprise, cinq services modèles à grande échelle, pour aider les entreprises clientes chinoises à l'étranger à accélérer leur expansion sur le marché mondial.
La "guerre des mille modèles" est sur le point d'éclater, mais il est encore trop tôt pour vraiment entrer dans le stade des grosses vagues lavant le sable. Dans l'ensemble, les modèles à grande échelle sont encore à un stade de développement relativement précoce. les modèles à grande échelle dans l'industrie sont concentrés, il n'y a évidemment plus de place pour cette piste.
Prenant l'exemple du grand modèle de l'industrie financière, celle-ci est divisée en différents domaines tels que les sociétés de titres, les assurances, les banques, la nouvelle finance... Les tâches en aval de chaque domaine sont divisées en dizaines ou centaines de sous-tâches.
"Le moment le plus important est lorsque, sur la base du modèle de base, SFT et d'autres mécanismes et structures peuvent être efficacement adaptés aux tâches en aval, et lorsque les tâches en aval du secteur financier ou d'autres modèles industriels ont un effet d'échelle". Chen Haiqing, responsable du Moyuan Innovation Business Center, ce n'est que le début des grands modèles et scénarios de l'industrie pour la formation continue grâce à des données non structurées universelles.
Choix sensé et réaliste
Si une entreprise souhaite créer un modèle de base à grande échelle avec des centaines de milliards de paramètres, elle a besoin d'une puissance de calcul de plus de 10 000 cartes dans un cluster à une seule machine, non seulement une carte GPU, mais également l'utilisation des ressources du cluster GPU , ce que la plupart des entreprises ne peuvent pas faire.
Le modèle de grande industrie est évidemment plus facile à réaliser, et il a également une perspective d'application plus large.
"Les grands modèles peuvent habiliter des milliers d'industries, mais vous devez avoir une bonne compréhension des scénarios de milliers d'industries, et vous ne pouvez pas vous attendre à former des centaines de milliards ou des billions de grands modèles, qui peuvent être facilement utilisés par les utilisateurs de l'entreprise, " a déclaré Zhou Ming, fondateur de Lanzhou Technology. "Du modèle général au modèle métier, il faut faire le dernier kilomètre pour le scénario de l'utilisateur."
Après avoir évalué l'investissement requis pour le modèle de base à grande échelle et pesé le pour et le contre, les gains et les pertes, les entreprises clientes se sont rapidement tournées vers le modèle industriel à grande échelle et les fabricants y ont consacré plus d'énergie.
Tang Daosheng a déclaré franchement que les modèles actuels à grande échelle à usage général sont généralement formés sur la base d'une vaste littérature publique et d'informations sur le réseau. Les informations sur Internet peuvent contenir des erreurs, des rumeurs et des préjugés. De nombreuses connaissances professionnelles et données de l'industrie ne sont pas suffisamment accumulées, résultant en des spécificités de l'industrie du modèle L'exactitude et la précision ne suffisent pas, et le "bruit" des données est trop important.
Cependant, dans de nombreux scénarios industriels, les utilisateurs ont des exigences élevées en matière de services professionnels fournis par les entreprises et leur tolérance aux pannes est faible. Une fois qu'une entreprise fournit des informations erronées, cela peut entraîner une énorme responsabilité juridique ou une crise des relations publiques. Par conséquent, les modèles à grande échelle utilisés par les entreprises doivent être contrôlables, traçables et corrigibles, et doivent être testés de manière répétée et complète avant de pouvoir être lancés.
"Nous pensons que les clients ont besoin de modèles industriels plus spécifiques à l'industrie, associés aux propres données de l'entreprise pour la formation ou le réglage fin, afin de créer des services intelligents très pratiques. Ce dont les entreprises ont besoin, c'est de résoudre véritablement le problème dans des scénarios réels. Résoudre un certain problème au lieu de résoudre 70% à 80% du problème en 100 scènes", a déclaré Tang Daosheng.
Zhu Yong, vice-président de Baidu Smart Cloud, a également déclaré : « D'après la situation au pays et à l'étranger, nous pouvons voir qu'il n'y a pas autant de modèles à usage général. Certains fabricants sur le marché fabriquent en fait des modèles relativement petits. Au contraire , les modèles de domaine sont spéciaux Important, parce que le modèle général n'a que la capacité de connaissances générales, le modèle de domaine peut être aligné sur les attentes des tâches d'industries et de domaines spécifiques et résoudre les problèmes réels de l'entreprise. Ce processus est très important, mais le coût et les ressources nécessaires à ce processus sont bien moindres que de partir de zéro Do le modèle général sous-jacent."
Dans le même temps, il a également estimé qu'il n'y aurait peut-être que quelques modèles de base (modèles généraux sous-jacents) à l'avenir, mais combinés aux données du domaine professionnel et au savoir-faire de l'industrie, de nombreux types de modèles de domaine s'y développeraient. Ces modèles de domaine seront très prospères à l'avenir et prendront en charge la couche supérieure.Applications de domaine prospères.
Prenant comme exemple le grand modèle de l'industrie de l'énergie "State Grid-Baidu Wenxin" créé par Baidu Smart Cloud et State Grid, Baidu Smart Cloud, en collaboration avec des experts de State Grid, a introduit les échantillons accumulés par State Grid dans le secteur de l'électricité dans le modèle général à grande échelle Données et connaissances uniques, et dans la formation, combiner l'expérience des deux parties dans l'algorithme de pré-formation et l'entreprise et l'algorithme dans le domaine de l'alimentation, concevoir des algorithmes tels que la discrimination des entités dans le domaine de l'alimentation et la discrimination des documents dans le domaine de l'énergie en tant que tâches de pré-formation, afin que le grand modèle Wenxin puisse acquérir des connaissances professionnelles approfondies, afin de résoudre véritablement les problèmes commerciaux pratiques dans le domaine de l'énergie et d'atteindre l'objectif de réduction des coûts et d'augmentation de l'efficacité.
Zhu Yong a déclaré que la différence entre le modèle général et le modèle de domaine peut être comparée à une personne possédant un large éventail de connaissances qui est allée à l'université. Il peut connaître certaines connaissances médicales, mais il ne peut pas diagnostiquer les patients et n'est pas un médecin professionnel. . Le modèle de domaine consiste à acquérir des connaissances médicales approfondies sur la base d'une forte capacité générale et à devenir un médecin professionnel pouvant apporter une valeur ajoutée dans le domaine médical.
D'un modèle général avec un large éventail de connaissances à un modèle médical professionnel, le coût des ressources nécessaires dans ce processus est bien inférieur à celui de la construction d'un grand modèle général à partir de zéro, mais il souligne qu'il existe des données professionnelles, il doit y avoir Il est motivé par des tâches dans le domaine professionnel pour le stimuler à produire de telles capacités.
Comment faire un modèle métier
Le grand modèle lui-même est une nouveauté, qui a changé le paradigme de développement logiciel précédent. Les fabricants ont besoin d'une nouvelle chaîne d'outils et d'une nouvelle plate-forme pour aider les clients à peaufiner le grand modèle de l'industrie plus tôt et plus rapidement.
Avec l'avènement de l'ère des grands modèles, l'efficacité du dernier kilomètre sera grandement améliorée. Zhou Ming a mentionné qu'une nouvelle génération de paradigme de développement logiciel prend forme, principalement basée sur le fait que les entreprises fournissent de nombreux moteurs fonctionnels et que les utilisateurs sont désormais des assistants pour améliorer l'efficacité. Sur cette base, il est facile de construire une nouvelle application.
Prenons l'exemple de la plate-forme de modèles à grande échelle Wenxin Qianfan, il s'agit d'une plate-forme unique de développement de modèles et d'exploitation de services à grande échelle pour les développeurs d'entreprise. Il fournit non seulement le modèle sous-jacent (ERNIE-Bot) et les grands modèles open source tiers, mais fournit également divers outils de développement d'IA et un environnement de développement complet pour permettre aux clients d'utiliser et de développer facilement de grandes applications de modèles.
Pour la gestion des données, le modèle SFT automatisé et le déploiement dans le cloud de services de raisonnement, les fabricants espèrent réaliser des services de personnalisation de modèle à grande échelle à guichet unique. Les capacités des plates-formes de construction de modèles à grande échelle de différents fabricants sont fondamentalement similaires, et la différence réside dans la facilité d'utilisation, la qualité de l'effet et les logiciels et matériels pris en charge.
"Faire un grand modèle n'est en effet pas bon marché, mais il n'y a que deux raisons pour lesquelles le service de grands modèles peut être promu au final : la première est que l'effet du modèle est meilleur, et l'effet du modèle n'est pas bon. Inutile de dire que le second est le coût », a déclaré Baidu Xin Zhou, directeur général de Smart Cloud AI et Big Data Platform.
En effet, le modèle sectoriel devrait s'appuyer sur le modèle général. Par exemple, dans l'enseignement général, s'il n'y a pas de meilleur modèle général, il est impossible de parler d'effet d'application dans une industrie spécifique. Le Bloomberg GPT lancé conjointement par Bloomberg et Johns Hopkins en est un exemple : dans sa répartition des données, les données générales du modèle de base représentent la moitié, les données publiques de l'industrie financière représentent la moitié et les propres données de Bloomberg représentent 0,6 %.
"Pour qu'un modèle atteigne un meilleur niveau d'intelligence ou de capacités de base, il doit former le modèle de base avec un nombre relativement bon de paramètres, puis intégrer certaines données professionnelles de l'industrie dans le modèle de base pour créer un modèle industriel." Xin dit Zhou.
L'idée de Baidu est de lancer un "big guy" (Wenxin Yiyan) et une plate-forme d'outils très complète (Wenxin Qianfan), puis de fournir des services modèles différenciés en fonction des besoins réels des clients pour aider les clients à faire le choix le plus rentable. croient que le prix ne deviendra pas un goulot d'étranglement pour que les entreprises adoptent de grands modèles.
En plus de modéliser les coûts d'appel et les coûts de formation, Baidu aide également les entreprises à réduire davantage leurs coûts. Si les entreprises ne se concentrent que sur leurs domaines relativement étroits, Baidu propose également une version avec des paramètres relativement bas, de sorte que tout en garantissant l'effet du modèle, utiliser ou Le coût des modèles de formation va chuter de façon spectaculaire.
En fait, il n'y a pas de norme universelle pour le coût de construction d'un grand modèle industriel.
Tout d'abord, différents grands modèles de base ont des spécifications de paramètres différentes, et l'investissement en logiciel et en matériel doit changer dynamiquement en fonction des paramètres de base et des capacités du modèle. Si le paramètre est des dizaines de milliards, une carte A100 peut également exécuter et démarrer des tâches en aval.
Les exigences actuelles relativement concentrées en matière de scénarios d'application entrent dans cette catégorie, telles que la réponse intelligente aux questions, l'écriture intelligente et la création intelligente dans la gestion des connaissances, ainsi que les scénarios de marketing pan-Internet et les exigences de génération de code.
Deuxièmement, le coût est lié à la quantité de données et à la direction de l'application. La tarification actuelle des modèles mondiaux à grande échelle est basée sur 1000 jetons comme unité de base. Si les tâches en aval d'une entreprise sont très simples et ne peuvent être effectuées qu'avec des dizaines de milliers de jetons, alors son coût est très faible et elle nécessite très peu de cartes GPU. La quantité de données requises pour créer un grand modèle métier est généralement en G ou même en T, de sorte que son coût de formation hors ligne sera très élevé.
**Qui fait la course ? **
Les joueurs ont afflué vers la piste de modèles à grande échelle.Cette fois, non seulement les sociétés Internet de premier plan, mais également davantage de leaders de l'industrie et de start-up se sont joints.
Quelles industries peuvent prendre l'initiative de percer ? Cela ressort peut-être de l'industrie dans laquelle se situe le cas de coopération.Comme le montre le tableau au début de l'article, la finance, les soins médicaux, l'éducation, la conduite autonome et d'autres domaines sont fréquemment utilisés.
Par exemple, lorsqu'Alibaba Cloud a lancé le grand modèle Tongyi en avril, il a annoncé qu'il avait lancé des explorations coopératives avec un certain nombre de sociétés.Le premier groupe de sociétés coopératives comprend OPPO Andes Smart Cloud, Geely Automobile, Zhiji Automobile, Chery New Energy, Momo Zhixing, Swire Coca-Cola, Bosideng, Palm Technology, etc. Selon les rapports, le secteur financier, le commerce de détail et certains scénarios et industries à grande échelle axés sur les consommateurs ont accumulé de nombreuses données publiques et données de scénarios, ce qui est pratique pour créer des modèles d'entreprise ou spécifiques à l'industrie.
Selon des informations publiques, le nombre de modèles industriels à grande échelle de Baidu Wenxin a atteint 11, couvrant l'énergie et l'électricité, la finance, l'aérospatiale, les médias, le cinéma et la télévision, l'automobile, la gestion urbaine, le gaz, l'assurance, la fabrication électronique et les sciences sociales.
Le premier lot de dix cas d'application de modèles à grande échelle dans l'industrie de l'intelligence artificielle à Pékin, publié le 27 juin, concerne l'énergie et l'électricité, la santé médicale, la finance, la conduite autonome, la construction, la recherche scientifique, la vie et les domaines des questions-réponses. Il est rapporté qu'au cours de la période du 27 juin au 30 juillet, la Commission des sciences et technologies de Pékin et le Comité de gestion de Zhongguancun se concentreront également sur des domaines clés tels que la gouvernance urbaine, la santé médicale, la recherche scientifique, la finance intelligente, la vie intelligente et la vie intelligente. villes, et cibler les sujets d'innovation dans la ville. , recueillera plus de 80 projets de cas d'application de modèles industriels à grande échelle.
« Lorsque nous avons communiqué avec les clients, nous avons constaté que de nombreux clients ne connaissent pas grand-chose aux modèles industriels, mais ils prendront l'initiative de demander les modèles industriels de Baidu. » Li Jingqiu, directeur général adjoint de Baidu Smart Cloud AI Platform, a déclaré que à ce stade, il sera spécifiquement combiné avec l'utilisation réelle des entreprises. Analysez les besoins des produits et des clients, tels que le type de fonctionnalités que vous souhaitez que le modèle métier ait, quels systèmes ou applications utiliser, qui utilisera ces applications, et quels effets espérez-vous obtenir... Après avoir posé ces questions, vous trouverez vraiment des clients Ce qu'il faut, c'est un grand modèle basé sur la chaîne d'outils SFT de Wenxin Qianfan, ou un modèle pré-formé pour l'industrie. Ce dernier a besoin d'au moins plusieurs mois, voire l'année dernière, pour être construit et déployé, des problèmes techniques tels que le traitement des données, l'allocation des ressources au niveau de la puissance de calcul, à la formation à long terme sur les données courantes dans l'industrie.
De l'agitation du modèle à grande échelle de base au début du modèle à grande échelle de l'industrie, en entrant dans la seconde moitié de 2023, une véritable transformation de l'entreprise sera accélérée.
Il est également intéressant de comparer les parcours de fabricants nationaux tels que Baidu et OpenAI/Microsoft dans le domaine des modèles à grande échelle. Lorsque ChatGPT a montré une popularité au niveau du phénomène mondial, certaines voix se sont demandées pourquoi la Chine ne pouvait pas produire ChatGPT. est un environnement technique En fin de compte, beaucoup de gens ont encore un consensus superficiel - "L'IA chinoise est plus encline aux applications commerciales et aux capacités de commercialisation." Pour le dire franchement, l'IA chinoise a moins de patience et veut gagner de l'argent.
Mais d'un autre côté, le marché est le plus grand moteur du développement technologique, et la maîtrise du temps et du rythme a créé des résultats différents. Prenons l'exemple du modèle industriel à grande échelle. Microsoft attend la maturité de la technologie ou estime que le moment n'est pas encore venu et qu'il est trop tard. Les fabricants nationaux passent rapidement du modèle de base à grande échelle. modèle réduit au modèle industriel à grande échelle.Avoir une vitalité durable.
Perdus à l'est, récoltés dans le mûrier, en termes de résultats, ce n'est pas une mauvaise chose que les grands modèles de l'industrie nationale tournent vite.