"Похоже, Wenxinyiyan запускается в спешке. Я думаю, что эта штука вовсе не для зарабатывания денег, а для того, чтобы догнать бум ChatGPT. Крупная модель отрасли - это то, что действительно может создать коммерческую ценность". Вскоре после выпуска Baidu Wenxinyiyan, бывший сотрудник Baidu, сказал Titanium Media: «Когда OpenAI не был так популярен в прошлом году, г-н Ван (технический директор Baidu Ван Хайфэн) возглавил команду для создания 10 крупномасштабных моделей, включая крупномасштабные отраслевые модели. В то время , за пределами отрасли не было особого внимания, но если вы сейчас посмотрите на структуру Baidu, модель большой отрасли на самом деле является перспективной, более ранней, чем OpenAI и Microsoft».
Сегодня, после суеты широкомасштабных моделей общего назначения, постепенно набирают обороты отраслевые модели, что также подтверждает эту реальность: Базовые крупномасштабные модели, такие как ChatGPT, зарабатывают «плачем», что во многом играет роль в обучении рынок и формирование познания, искусственный интеллект действительно будет реализован и принесет текущие деньги, но также зависит от большой модели отрасли.
Даже на зарубежных рынках ChatGPT, как часть атрибутов продуктов C-end, постепенно ослабевает.Согласно данным SimilarWeb, скорость роста посещений ChatGPT на ранней стадии была поразительной.Месячный темп роста составил 131,6. % в январе и 62,5 % в феврале, в марте было 55,8 %, а в апреле существенно замедлилось, при этом темп роста в месячном исчислении составил 12,6 %, а к маю этот показатель изменился до 2,8 %. ожидается, что темп роста в месячном исчислении в июне может быть отрицательным.
«Я считаю, что многие из нас пробовали ChatGPT, и я считаю, что многие люди отложили его после того, как попробовали, потому что в настоящее время он в основном отделен от нашей работы, поэтому мы отказались от него после использования. Но я все еще надеюсь что все не будут «вставать рано и ловить поздний эпизод», потому что это революция парадигмы, которая приведет к подрывным изменениям», — заявил ранее главный технический директор Microsoft (Китай) Вэй Цин.
Решение на стороне B, основанное на ChatGPT или больших моделях, — хороший способ устранить разделение между большими моделями и сценами.
На международном уровне крупные компании, такие как Microsoft и Amazon, также начали искать пути коммерциализации услуг корпоративного уровня и начали осваивать несколько отраслей; внутри страны Baidu, Alibaba, Tencent и Huawei ускоряют инвестиции в крупномасштабную промышленность. модели. Кроме того, многие лидеры отрасли и начинающие компании по всему миру также изучают перспективы крупномасштабных отраслевых моделей.Недавно Пекинская муниципальная комиссия по науке и технологиям и Комитет управления Чжунгуаньцунь также выпустили первую партию из 10 примеров применения крупномасштабные модели индустрии искусственного интеллекта в Пекине. Кроме того, количество слияний и поглощений связанных технологических маршрутов также достигло новых высот...
Но путь крупномасштабных моделей далеко не переполнен — с быстрым развитием технологической итерации все сферы жизни повторно накапливают технические знания и формируют бизнес-модели, и все только начинается.
Обновление: Война тысяч моделей
Если базовой моделью является «война сотен моделей», то крупномасштабной моделью отрасли является «война тысяч моделей».Так же, как из ствола растут ветви, каждый производитель базовой крупномасштабной модели может инкубировать несколько отраслевых крупномасштабных моделей. , единогласно.
«Хотя все возлагают большие надежды на крупномасштабную модель общего назначения, она не обязательно является оптимальным решением для удовлетворения потребностей отраслевых сценариев». Об этом заявил президент Tencent Group, Cloud и Тан Даошэн, генеральный директор Smart Industry Business Group.
В случае, если Hunyuan Assistant не выпустит его для широкой публики, Tencent возьмет на себя инициативу по выпуску крупномасштабных отраслевых моделей.Опираясь на платформу Tencent Cloud TI для создания выбранного хранилища крупномасштабных отраслевых моделей, она предоставляет клиентам один - остановить услуги MaaS и помочь корпоративным клиентам создавать эксклюзивные крупномасштабные модели и интеллектуальные приложения. От Tencent стало известно, что Tencent выпустит официальную информацию об общей модели C-end в будущем.
Этот ряд мер можно понимать так, что, независимо от эффекта и прогресса базовой крупномасштабной модели Hunyuan, приоритетный выпуск отраслевой крупномасштабной модели является необходимым шагом для Tencent, чтобы обеспечить свою репутацию и захватить рыночных клиентов, когда клиенты остро нуждаются.
Ранее Тянь Ци, главный научный сотрудник Huawei Cloud в области искусственного интеллекта, упомянул, что Huawei делит большую модель на три уровня: L0, L1, L2, и L0 — это то, что все называют базовой общей моделью, например GPT-3. , в базовой модели L0 На основе , плюс отраслевые данные, большая отраслевая модель, полученная путем смешанного обучения, имеет вид L1.
Затем L1 развертывается для конкретных сценариев подразделения тысяч отраслей, расположенных ниже по течению, и получается модель задач L2 сценариев подразделения.Чтобы как можно скорее снизить производственные затраты и повысить эффективность, как быстро создать модели L2 из больших отраслевая модель L1 и развертывание модели L2 на стороне устройства, на стороне периферии и в облаке — очень важный вопрос.
В повестке предстоящей конференции разработчиков Huawei в июле можно увидеть, что Huawei Cloud проведет серию интерпретаций и выпусков о том, как модель Pangu была усовершенствована от базовой модели до отраслевой модели.
На саммите Alibaba Cloud в этом году технический директор Alibaba Cloud Чжоу Цзинжэнь также сказал: «Сегодня не всем компаниям нужно начинать обучение с нуля, и вам не нужно, чтобы все начинали с нуля для создания различных корпусов, включая большое количество вычислительных мощностей. ресурсы, чтобы расти с нуля.Серия настройки модели, мы надеемся, что на основе сегодняшней модели Tongyi Qianwen, в сочетании со сценарием предприятия, системой знаний предприятия и особыми потребностями предприятия в отрасли, каждая модель для конкретного предприятия будет быть сгенерирован».
Microsoft также создает собственную отраслевую модель. В апреле в Китае международная версия Microsoft Azure OpenAI Service выпустила первые три набора сценариев глобальной инновационной индустрии Azure для розничной электронной коммерции, производства и цифровых технологий, интегрируя GPT-3 и GPT-4 для местных корпоративных пользователей, , Codex, DALL-E и ChatGPT корпоративного уровня, пять крупномасштабных модельных сервисов, призванных помочь китайским зарубежным корпоративным клиентам ускорить их экспансию на мировой рынок.
"Война тысяч моделей" вот-вот разразится, но по-настоящему вступать в стадию больших волн, омывающих песок, пока рано.В целом крупномасштабные модели все еще находятся в относительно ранней стадии разработки. масштабные модели в индустрии сконцентрированы, места для этого трека явно больше.
Если взять в качестве примера большую модель финансовой индустрии, то она разделена на различные области, такие как компании по ценным бумагам, страхование, банки и новые финансы.Нижестоящие задачи каждой области делятся на десятки или сотни подзадач.
«Более важный момент, когда на основе базовой модели SFT и другие механизмы и структуры могут быть эффективно адаптированы к последующим задачам, и когда последующие задачи финансовой индустрии или другие отраслевые модели имеют эффект масштаба». Чэнь Хайцин, глава Инновационного бизнес-центра Moyuan, это только начало крупных отраслевых моделей и сценариев непрерывного обучения с помощью некоторых универсальных неструктурированных данных.
Разумный и реалистичный выбор
Если предприятие хочет создать базовую крупномасштабную модель с сотнями миллиардов параметров, ему нужна вычислительная мощность более 10 000 карт в одномашинном кластере, не только карта GPU, но и использование ресурсов кластера GPU. , чего не может сделать большинство компаний.
Очевидно, что модель крупной отрасли легче реализовать, и она также имеет более широкую перспективу применения.
«Большие модели могут расширить возможности тысяч отраслей, но вы должны хорошо понимать сценарии тысяч отраслей, и вы не можете рассчитывать на обучение сотен миллиардов или триллионов больших моделей, которые могут легко использоваться корпоративными пользователями. ", сказал Чжоу Мин, основатель Lanzhou Technology. «От общей модели до отраслевой модели необходимо сделать последнюю милю по сценарию пользователя».
Оценив инвестиции, необходимые для базовой крупномасштабной модели, и взвесив все «за» и «против», выгоды и потери, корпоративные клиенты быстро обратились к крупномасштабной отраслевой модели, и производители уделили ей больше внимания.
Тан Даошэн откровенно сказал, что текущие крупномасштабные модели общего назначения обычно обучаются на основе обширной общедоступной литературы и сетевой информации.Информация в Интернете может содержать ошибки, слухи и предубеждения.Многие профессиональные знания и отраслевые данные недостаточно накоплены, в результате отраслевой модели Точность и аккуратность недостаточны, а данные «шум» слишком велики.
Однако во многих промышленных сценариях пользователи предъявляют высокие требования к профессиональным услугам, предоставляемым предприятиями, а их отказоустойчивость низка. Как только компания предоставляет неверную информацию, это может привести к огромной юридической ответственности или кризису связей с общественностью. Следовательно, крупномасштабные модели, используемые предприятиями, должны быть контролируемыми, прослеживаемыми и корректируемыми, а также многократно и полностью тестироваться, прежде чем их можно будет запустить.
«Мы считаем, что клиентам нужно больше отраслевых отраслевых моделей в сочетании с собственными данными компании для обучения или тонкой настройки, чтобы создавать высокопрактичные интеллектуальные услуги. Что нужно компаниям, так это действительно решить проблему в реальных сценариях. определенную проблему вместо того, чтобы решить 70%-80% проблемы в 100 сценах», — сказал Тан Даошэн.
Чжу Юн, вице-президент Baidu Smart Cloud, также сказал: «Из ситуации в стране и за рубежом мы видим, что моделей общего назначения не так много. Некоторые производители на рынке на самом деле производят относительно небольшие модели. Наоборот. , модели предметной области имеют особое значение, потому что общая модель обладает только способностью общих знаний, модель предметной области может быть согласована с ожиданиями задач конкретных отраслей и областей и решать актуальные проблемы бизнеса.Этот процесс очень важен, но стоимость и ресурсы, необходимые для этого процесса, намного меньше, чем если бы мы начинали с нуля. Применяйте базовую общую модель».
В то же время он также пришел к выводу, что в будущем может быть только несколько базовых моделей (лежащих в основе общих моделей), но в сочетании с данными в профессиональной области и отраслевыми ноу-хау на нем вырастет множество различных типов моделей предметной области. Эти модели предметной области будут очень процветающими в будущем и будут поддерживать верхний уровень — процветающие доменные приложения.
Взяв в качестве примера большую модель энергетической отрасли «State Grid-Baidu Wenxin», созданную Baidu Smart Cloud и State Grid, Baidu Smart Cloud совместно с экспертами State Grid представила образцы, накопленные State Grid в энергетическом бизнесе, в общая крупномасштабная модель Данные и уникальные знания, а также в обучении объединяют опыт обеих сторон в алгоритме предварительной подготовки и бизнесе и алгоритме в области власти, алгоритмы разработки, такие как различение объектов в области власти и различение документов в области энергетики в качестве задач перед обучением, чтобы большая модель Wenxin могла глубоко изучить мощность Профессиональные знания, чтобы по-настоящему решить практические бизнес-задачи в области энергетики и достичь цели снижения затрат и повышения эффективности.
Чжу Юн сказал, что разницу между общей моделью и моделью предметной области можно сравнить с человеком с широким спектром знаний, который поступил в университет, он может иметь некоторые медицинские знания, но не может диагностировать пациентов и не является профессиональным врачом. . Модель домена заключается в том, чтобы глубоко изучить медицинские знания на основе сильных общих способностей и стать профессиональным врачом, который может внести свой вклад в медицинскую область.
От общей модели с широким спектром знаний до профессиональной медицинской модели стоимость ресурсов, необходимых в этом процессе, намного меньше, чем стоимость построения общей большой модели с нуля, но она подчеркивает, что существуют профессиональные данные, должны быть Им движут задачи в профессиональной сфере, чтобы стимулировать его к продуцированию таких способностей.
Как сделать отраслевую модель
Сама большая модель — это новая вещь, которая изменила предыдущую парадигму разработки программного обеспечения.Производителям нужна новая цепочка инструментов и платформа, чтобы помочь клиентам быстрее и быстрее совершенствовать отраслевую крупную модель.
С наступлением эры больших моделей эффективность «последней мили» значительно повысится. Чжоу Мин упомянул, что формируется парадигма разработки программного обеспечения нового поколения, в основном основанная на том факте, что предприятия предоставляют множество функциональных механизмов, а пользователи теперь являются помощниками для повышения эффективности.На этой основе легко создать новое приложение.
Возьмем, к примеру, платформу крупномасштабных моделей Wenxin Qianfan. Это универсальная платформа для разработки крупномасштабных моделей и предоставления услуг корпоративным разработчикам. Он не только предоставляет базовую модель (ERNIE-Bot) и сторонние большие модели с открытым исходным кодом, но также предоставляет различные инструменты разработки ИИ и полную среду разработки, чтобы упростить клиентам использование и разработку приложений для больших моделей.
Для управления данными, автоматизированной модели SFT и облачного развертывания сервисов рассуждений производители надеются реализовать универсальные услуги по настройке крупномасштабных моделей. Возможности платформ построения крупномасштабных моделей разных производителей в основном схожи, а разница заключается в простоте использования, качестве эффекта и поддерживаемом программно-аппаратном обеспечении.
«Создание большой модели действительно недешево, но есть только две причины, по которым в конечном итоге можно продвигать услугу большой модели: первая заключается в том, что эффект от модели лучше, а эффект от модели плохой. Излишне говорить, что второе — это стоимость», — сказал Байду Синь Чжоу, генеральный менеджер Smart Cloud AI и Big Data Platform.
По сути, отраслевая модель должна опираться на общую модель. Например, в общем образовании, если нет лучшей общей модели, нельзя говорить об эффекте применения в конкретной отрасли. Например, Bloomberg GPT, запущенный совместно Bloomberg и Johns Hopkins, в распределении данных составляет половину данных общей базовой модели, половину — общедоступных данных финансовой отрасли, а собственных данных Bloomberg — 0,6%.
«Чтобы любая модель достигла более высокого уровня интеллекта или базовых возможностей, она должна обучить базовую модель относительно большому количеству параметров, а затем интегрировать в базовую модель некоторые отраслевые профессиональные данные для создания отраслевой модели». — сказал Чжоу.
Идея Baidu состоит в том, чтобы запустить «большого парня» (Wenxin Yiyan) и очень полную инструментальную платформу (Wenxin Qianfan), а затем предоставить дифференцированные модельные услуги в соответствии с фактическими потребностями клиентов, чтобы помочь клиентам сделать наиболее экономичный выбор. считают, что цена не станет узким местом для компаний при переходе на большие модели.
В дополнение к затратам на вызов модели и затратам на обучение Baidu также помогает компаниям еще больше сократить расходы.Если компании сосредоточены только на своих относительно узких областях, у Baidu также есть версия с относительно низкими параметрами, так что, обеспечивая эффект модели, использовать или Стоимость обучающих моделей резко снизится.
На самом деле универсального стандарта стоимости построения крупной отраслевой модели не существует.
Во-первых, разные базовые большие модели имеют разные спецификации параметров, и инвестиции в программное и аппаратное обеспечение должны динамически изменяться в соответствии с основными параметрами и возможностями модели. Если параметр равен десяткам миллиардов, карта A100 также может выполнять и запускать последующие задачи.
В эту категорию попадают текущие относительно концентрированные требования к сценариям приложений, такие как интеллектуальные ответы на вопросы, интеллектуальное письмо и интеллектуальное создание в управлении знаниями, а также сценарии пан-интернет-маркетинга и требования к генерации кода.
Во-вторых, стоимость связана с объемом данных и направлением применения. Текущая глобальная цена крупномасштабной модели основана на 1000 токенов в качестве базовой единицы. Если последующие задачи предприятия очень просты и могут быть решены всего с десятками тысяч токенов, то их стоимость очень низкая и требуется очень мало карт GPU. Объем данных, необходимых для построения крупной отраслевой модели, обычно находится в G или даже T, поэтому стоимость обучения в автономном режиме будет очень высокой.
**Кто бежит в гонке? **
Игроки устремились на масштабную модельную трассу, и на этот раз к ней присоединились не только интернет-компании первого эшелона, но и другие лидеры отрасли и стартапы.
Какие отрасли могут возглавить прорыв? Возможно, это видно из отрасли, в которой находится случай сотрудничества.Как показано в таблице в начале статьи, часто используются финансы, медицина, образование, автономное вождение и другие области.
Например, когда Alibaba Cloud выпустила большую модель Tongyi в апреле, она объявила, что начала совместные исследования с рядом компаний.Первая группа совместных компаний включает OPPO Andes Smart Cloud, Geely Automobile, Zhiji Automobile, Chery New Energy, Momo Zhixing, Swire Coca-Cola, Bosideng, Palm Technology и др. Согласно отчетам, финансовая отрасль, розничная торговля и некоторые крупномасштабные сценарии и отрасли, ориентированные на потребителя, накопили много общедоступных данных и данных сценариев, что удобно для построения корпоративных или отраслевых моделей.
Согласно общедоступной информации, количество крупномасштабных отраслевых моделей Baidu Wenxin достигло 11, охватывающих энергетику и электричество, финансы, аэрокосмическую промышленность, средства массовой информации, кино и телевидение, автомобили, городское управление, газ, страхование, производство электроники и социальные науки.
Первая партия из десяти крупномасштабных примеров применения моделей в индустрии искусственного интеллекта в Пекине, выпущенная 27 июня, включает в себя области энергетики и электричества, медицинского здравоохранения, финансов, автономного вождения, строительства, научных исследований, жизни и вопросов и ответов. Сообщается, что в период с 27 июня по 30 июля Пекинская комиссия по науке и технологиям и комитет управления Zhongguancun также сосредоточат внимание на таких ключевых областях, как управление городским хозяйством, медицинское здравоохранение, научные исследования, умные финансы, умная жизнь и умная жизнь. города и целевые инновационные объекты в городе. , соберет более 80 отраслевых проектов крупномасштабных моделей приложений.
Но все больше клиентов сталкиваются с новой волной накопления знаний и процесса обучения.
«Когда мы общались с клиентами, мы обнаружили, что многие клиенты мало знают об отраслевых моделях, но они возьмут на себя инициативу, чтобы запросить отраслевые модели Baidu», — сказал Ли Цзинцю, заместитель генерального директора Baidu Smart Cloud AI Platform. в настоящее время это будет специально сочетаться с фактическим использованием предприятий.Проанализируйте потребности продуктов и клиентов, например, какие возможности вы хотите иметь в отраслевой модели, какие системы или приложения использовать, кто будет использовать эти приложения, и каких результатов вы надеетесь достичь... После того, как вы зададите эти вопросы, вы действительно найдете клиентов. Нужна большая модель, основанная на цепочке инструментов Wenxin Qianfan SFT, или предварительно обученная модель для отрасли. Последнему требуется как минимум несколько месяцев или даже последний год для создания и развертывания — от технических вопросов, таких как обработка данных, распределение ресурсов на уровне вычислительной мощности, до долгосрочного обучения общим данным в отрасли.
От шума и суеты базовой крупномасштабной модели до начала крупномасштабной модели отрасли, вступающей во вторую половину 2023 года, реальная трансформация бизнеса будет ускорена.
Также интересно сравнить пути отечественных производителей, таких как Baidu и OpenAI/Microsoft, в области крупномасштабных моделей.Когда ChatGPT показал глобальную популярность на уровне феномена, некоторые голоса задались вопросом, почему Китай не может производить ChatGPT.Конечно, есть это техническая среда В конце концов, многие люди все еще имеют поверхностный консенсус: «Искусственный интеллект Китая более склонен к бизнес-приложениям и возможностям коммерциализации».
Но, с другой стороны, рынок является самой большой движущей силой технологического развития, и хватка времени и ритма привела к другим результатам. Возьмем в качестве примера крупномасштабную отраслевую модель: Microsoft либо ждет дальнейшей зрелости технологии, либо чувствует, что время еще не пришло, и уже слишком поздно, отечественные производители быстро переходят от базовых крупных масштабная модель для крупномасштабной отраслевой модели Иметь прочную жизнеспособность.
Заблудились на востоке, собрали шелковицу, с точки зрения результатов, неплохо, что большие модели отечественной промышленности бегают быстро.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Отраслевая модель, откройте книгу!
Источник: Titanium Media, Автор: Чжан Шуай
"Похоже, Wenxinyiyan запускается в спешке. Я думаю, что эта штука вовсе не для зарабатывания денег, а для того, чтобы догнать бум ChatGPT. Крупная модель отрасли - это то, что действительно может создать коммерческую ценность". Вскоре после выпуска Baidu Wenxinyiyan, бывший сотрудник Baidu, сказал Titanium Media: «Когда OpenAI не был так популярен в прошлом году, г-н Ван (технический директор Baidu Ван Хайфэн) возглавил команду для создания 10 крупномасштабных моделей, включая крупномасштабные отраслевые модели. В то время , за пределами отрасли не было особого внимания, но если вы сейчас посмотрите на структуру Baidu, модель большой отрасли на самом деле является перспективной, более ранней, чем OpenAI и Microsoft».
Сегодня, после суеты широкомасштабных моделей общего назначения, постепенно набирают обороты отраслевые модели, что также подтверждает эту реальность: Базовые крупномасштабные модели, такие как ChatGPT, зарабатывают «плачем», что во многом играет роль в обучении рынок и формирование познания, искусственный интеллект действительно будет реализован и принесет текущие деньги, но также зависит от большой модели отрасли.
Даже на зарубежных рынках ChatGPT, как часть атрибутов продуктов C-end, постепенно ослабевает.Согласно данным SimilarWeb, скорость роста посещений ChatGPT на ранней стадии была поразительной.Месячный темп роста составил 131,6. % в январе и 62,5 % в феврале, в марте было 55,8 %, а в апреле существенно замедлилось, при этом темп роста в месячном исчислении составил 12,6 %, а к маю этот показатель изменился до 2,8 %. ожидается, что темп роста в месячном исчислении в июне может быть отрицательным.
«Я считаю, что многие из нас пробовали ChatGPT, и я считаю, что многие люди отложили его после того, как попробовали, потому что в настоящее время он в основном отделен от нашей работы, поэтому мы отказались от него после использования. Но я все еще надеюсь что все не будут «вставать рано и ловить поздний эпизод», потому что это революция парадигмы, которая приведет к подрывным изменениям», — заявил ранее главный технический директор Microsoft (Китай) Вэй Цин.
Решение на стороне B, основанное на ChatGPT или больших моделях, — хороший способ устранить разделение между большими моделями и сценами.
На международном уровне крупные компании, такие как Microsoft и Amazon, также начали искать пути коммерциализации услуг корпоративного уровня и начали осваивать несколько отраслей; внутри страны Baidu, Alibaba, Tencent и Huawei ускоряют инвестиции в крупномасштабную промышленность. модели. Кроме того, многие лидеры отрасли и начинающие компании по всему миру также изучают перспективы крупномасштабных отраслевых моделей.Недавно Пекинская муниципальная комиссия по науке и технологиям и Комитет управления Чжунгуаньцунь также выпустили первую партию из 10 примеров применения крупномасштабные модели индустрии искусственного интеллекта в Пекине. Кроме того, количество слияний и поглощений связанных технологических маршрутов также достигло новых высот...
Обновление: Война тысяч моделей
Если базовой моделью является «война сотен моделей», то крупномасштабной моделью отрасли является «война тысяч моделей».Так же, как из ствола растут ветви, каждый производитель базовой крупномасштабной модели может инкубировать несколько отраслевых крупномасштабных моделей. , единогласно.
«Хотя все возлагают большие надежды на крупномасштабную модель общего назначения, она не обязательно является оптимальным решением для удовлетворения потребностей отраслевых сценариев». Об этом заявил президент Tencent Group, Cloud и Тан Даошэн, генеральный директор Smart Industry Business Group.
В случае, если Hunyuan Assistant не выпустит его для широкой публики, Tencent возьмет на себя инициативу по выпуску крупномасштабных отраслевых моделей.Опираясь на платформу Tencent Cloud TI для создания выбранного хранилища крупномасштабных отраслевых моделей, она предоставляет клиентам один - остановить услуги MaaS и помочь корпоративным клиентам создавать эксклюзивные крупномасштабные модели и интеллектуальные приложения. От Tencent стало известно, что Tencent выпустит официальную информацию об общей модели C-end в будущем.
Этот ряд мер можно понимать так, что, независимо от эффекта и прогресса базовой крупномасштабной модели Hunyuan, приоритетный выпуск отраслевой крупномасштабной модели является необходимым шагом для Tencent, чтобы обеспечить свою репутацию и захватить рыночных клиентов, когда клиенты остро нуждаются.
Ранее Тянь Ци, главный научный сотрудник Huawei Cloud в области искусственного интеллекта, упомянул, что Huawei делит большую модель на три уровня: L0, L1, L2, и L0 — это то, что все называют базовой общей моделью, например GPT-3. , в базовой модели L0 На основе , плюс отраслевые данные, большая отраслевая модель, полученная путем смешанного обучения, имеет вид L1.
Затем L1 развертывается для конкретных сценариев подразделения тысяч отраслей, расположенных ниже по течению, и получается модель задач L2 сценариев подразделения.Чтобы как можно скорее снизить производственные затраты и повысить эффективность, как быстро создать модели L2 из больших отраслевая модель L1 и развертывание модели L2 на стороне устройства, на стороне периферии и в облаке — очень важный вопрос.
В повестке предстоящей конференции разработчиков Huawei в июле можно увидеть, что Huawei Cloud проведет серию интерпретаций и выпусков о том, как модель Pangu была усовершенствована от базовой модели до отраслевой модели.
На саммите Alibaba Cloud в этом году технический директор Alibaba Cloud Чжоу Цзинжэнь также сказал: «Сегодня не всем компаниям нужно начинать обучение с нуля, и вам не нужно, чтобы все начинали с нуля для создания различных корпусов, включая большое количество вычислительных мощностей. ресурсы, чтобы расти с нуля.Серия настройки модели, мы надеемся, что на основе сегодняшней модели Tongyi Qianwen, в сочетании со сценарием предприятия, системой знаний предприятия и особыми потребностями предприятия в отрасли, каждая модель для конкретного предприятия будет быть сгенерирован».
Microsoft также создает собственную отраслевую модель. В апреле в Китае международная версия Microsoft Azure OpenAI Service выпустила первые три набора сценариев глобальной инновационной индустрии Azure для розничной электронной коммерции, производства и цифровых технологий, интегрируя GPT-3 и GPT-4 для местных корпоративных пользователей, , Codex, DALL-E и ChatGPT корпоративного уровня, пять крупномасштабных модельных сервисов, призванных помочь китайским зарубежным корпоративным клиентам ускорить их экспансию на мировой рынок.
"Война тысяч моделей" вот-вот разразится, но по-настоящему вступать в стадию больших волн, омывающих песок, пока рано.В целом крупномасштабные модели все еще находятся в относительно ранней стадии разработки. масштабные модели в индустрии сконцентрированы, места для этого трека явно больше.
Если взять в качестве примера большую модель финансовой индустрии, то она разделена на различные области, такие как компании по ценным бумагам, страхование, банки и новые финансы.Нижестоящие задачи каждой области делятся на десятки или сотни подзадач.
«Более важный момент, когда на основе базовой модели SFT и другие механизмы и структуры могут быть эффективно адаптированы к последующим задачам, и когда последующие задачи финансовой индустрии или другие отраслевые модели имеют эффект масштаба». Чэнь Хайцин, глава Инновационного бизнес-центра Moyuan, это только начало крупных отраслевых моделей и сценариев непрерывного обучения с помощью некоторых универсальных неструктурированных данных.
Разумный и реалистичный выбор
Если предприятие хочет создать базовую крупномасштабную модель с сотнями миллиардов параметров, ему нужна вычислительная мощность более 10 000 карт в одномашинном кластере, не только карта GPU, но и использование ресурсов кластера GPU. , чего не может сделать большинство компаний.
Очевидно, что модель крупной отрасли легче реализовать, и она также имеет более широкую перспективу применения.
«Большие модели могут расширить возможности тысяч отраслей, но вы должны хорошо понимать сценарии тысяч отраслей, и вы не можете рассчитывать на обучение сотен миллиардов или триллионов больших моделей, которые могут легко использоваться корпоративными пользователями. ", сказал Чжоу Мин, основатель Lanzhou Technology. «От общей модели до отраслевой модели необходимо сделать последнюю милю по сценарию пользователя».
Оценив инвестиции, необходимые для базовой крупномасштабной модели, и взвесив все «за» и «против», выгоды и потери, корпоративные клиенты быстро обратились к крупномасштабной отраслевой модели, и производители уделили ей больше внимания.
Тан Даошэн откровенно сказал, что текущие крупномасштабные модели общего назначения обычно обучаются на основе обширной общедоступной литературы и сетевой информации.Информация в Интернете может содержать ошибки, слухи и предубеждения.Многие профессиональные знания и отраслевые данные недостаточно накоплены, в результате отраслевой модели Точность и аккуратность недостаточны, а данные «шум» слишком велики.
Однако во многих промышленных сценариях пользователи предъявляют высокие требования к профессиональным услугам, предоставляемым предприятиями, а их отказоустойчивость низка. Как только компания предоставляет неверную информацию, это может привести к огромной юридической ответственности или кризису связей с общественностью. Следовательно, крупномасштабные модели, используемые предприятиями, должны быть контролируемыми, прослеживаемыми и корректируемыми, а также многократно и полностью тестироваться, прежде чем их можно будет запустить.
«Мы считаем, что клиентам нужно больше отраслевых отраслевых моделей в сочетании с собственными данными компании для обучения или тонкой настройки, чтобы создавать высокопрактичные интеллектуальные услуги. Что нужно компаниям, так это действительно решить проблему в реальных сценариях. определенную проблему вместо того, чтобы решить 70%-80% проблемы в 100 сценах», — сказал Тан Даошэн.
Чжу Юн, вице-президент Baidu Smart Cloud, также сказал: «Из ситуации в стране и за рубежом мы видим, что моделей общего назначения не так много. Некоторые производители на рынке на самом деле производят относительно небольшие модели. Наоборот. , модели предметной области имеют особое значение, потому что общая модель обладает только способностью общих знаний, модель предметной области может быть согласована с ожиданиями задач конкретных отраслей и областей и решать актуальные проблемы бизнеса.Этот процесс очень важен, но стоимость и ресурсы, необходимые для этого процесса, намного меньше, чем если бы мы начинали с нуля. Применяйте базовую общую модель».
В то же время он также пришел к выводу, что в будущем может быть только несколько базовых моделей (лежащих в основе общих моделей), но в сочетании с данными в профессиональной области и отраслевыми ноу-хау на нем вырастет множество различных типов моделей предметной области. Эти модели предметной области будут очень процветающими в будущем и будут поддерживать верхний уровень — процветающие доменные приложения.
Взяв в качестве примера большую модель энергетической отрасли «State Grid-Baidu Wenxin», созданную Baidu Smart Cloud и State Grid, Baidu Smart Cloud совместно с экспертами State Grid представила образцы, накопленные State Grid в энергетическом бизнесе, в общая крупномасштабная модель Данные и уникальные знания, а также в обучении объединяют опыт обеих сторон в алгоритме предварительной подготовки и бизнесе и алгоритме в области власти, алгоритмы разработки, такие как различение объектов в области власти и различение документов в области энергетики в качестве задач перед обучением, чтобы большая модель Wenxin могла глубоко изучить мощность Профессиональные знания, чтобы по-настоящему решить практические бизнес-задачи в области энергетики и достичь цели снижения затрат и повышения эффективности.
Чжу Юн сказал, что разницу между общей моделью и моделью предметной области можно сравнить с человеком с широким спектром знаний, который поступил в университет, он может иметь некоторые медицинские знания, но не может диагностировать пациентов и не является профессиональным врачом. . Модель домена заключается в том, чтобы глубоко изучить медицинские знания на основе сильных общих способностей и стать профессиональным врачом, который может внести свой вклад в медицинскую область.
От общей модели с широким спектром знаний до профессиональной медицинской модели стоимость ресурсов, необходимых в этом процессе, намного меньше, чем стоимость построения общей большой модели с нуля, но она подчеркивает, что существуют профессиональные данные, должны быть Им движут задачи в профессиональной сфере, чтобы стимулировать его к продуцированию таких способностей.
Как сделать отраслевую модель
Сама большая модель — это новая вещь, которая изменила предыдущую парадигму разработки программного обеспечения.Производителям нужна новая цепочка инструментов и платформа, чтобы помочь клиентам быстрее и быстрее совершенствовать отраслевую крупную модель.
С наступлением эры больших моделей эффективность «последней мили» значительно повысится. Чжоу Мин упомянул, что формируется парадигма разработки программного обеспечения нового поколения, в основном основанная на том факте, что предприятия предоставляют множество функциональных механизмов, а пользователи теперь являются помощниками для повышения эффективности.На этой основе легко создать новое приложение.
Возьмем, к примеру, платформу крупномасштабных моделей Wenxin Qianfan. Это универсальная платформа для разработки крупномасштабных моделей и предоставления услуг корпоративным разработчикам. Он не только предоставляет базовую модель (ERNIE-Bot) и сторонние большие модели с открытым исходным кодом, но также предоставляет различные инструменты разработки ИИ и полную среду разработки, чтобы упростить клиентам использование и разработку приложений для больших моделей.
Для управления данными, автоматизированной модели SFT и облачного развертывания сервисов рассуждений производители надеются реализовать универсальные услуги по настройке крупномасштабных моделей. Возможности платформ построения крупномасштабных моделей разных производителей в основном схожи, а разница заключается в простоте использования, качестве эффекта и поддерживаемом программно-аппаратном обеспечении.
«Создание большой модели действительно недешево, но есть только две причины, по которым в конечном итоге можно продвигать услугу большой модели: первая заключается в том, что эффект от модели лучше, а эффект от модели плохой. Излишне говорить, что второе — это стоимость», — сказал Байду Синь Чжоу, генеральный менеджер Smart Cloud AI и Big Data Platform.
По сути, отраслевая модель должна опираться на общую модель. Например, в общем образовании, если нет лучшей общей модели, нельзя говорить об эффекте применения в конкретной отрасли. Например, Bloomberg GPT, запущенный совместно Bloomberg и Johns Hopkins, в распределении данных составляет половину данных общей базовой модели, половину — общедоступных данных финансовой отрасли, а собственных данных Bloomberg — 0,6%.
«Чтобы любая модель достигла более высокого уровня интеллекта или базовых возможностей, она должна обучить базовую модель относительно большому количеству параметров, а затем интегрировать в базовую модель некоторые отраслевые профессиональные данные для создания отраслевой модели». — сказал Чжоу.
Идея Baidu состоит в том, чтобы запустить «большого парня» (Wenxin Yiyan) и очень полную инструментальную платформу (Wenxin Qianfan), а затем предоставить дифференцированные модельные услуги в соответствии с фактическими потребностями клиентов, чтобы помочь клиентам сделать наиболее экономичный выбор. считают, что цена не станет узким местом для компаний при переходе на большие модели.
В дополнение к затратам на вызов модели и затратам на обучение Baidu также помогает компаниям еще больше сократить расходы.Если компании сосредоточены только на своих относительно узких областях, у Baidu также есть версия с относительно низкими параметрами, так что, обеспечивая эффект модели, использовать или Стоимость обучающих моделей резко снизится.
На самом деле универсального стандарта стоимости построения крупной отраслевой модели не существует.
Во-первых, разные базовые большие модели имеют разные спецификации параметров, и инвестиции в программное и аппаратное обеспечение должны динамически изменяться в соответствии с основными параметрами и возможностями модели. Если параметр равен десяткам миллиардов, карта A100 также может выполнять и запускать последующие задачи.
В эту категорию попадают текущие относительно концентрированные требования к сценариям приложений, такие как интеллектуальные ответы на вопросы, интеллектуальное письмо и интеллектуальное создание в управлении знаниями, а также сценарии пан-интернет-маркетинга и требования к генерации кода.
Во-вторых, стоимость связана с объемом данных и направлением применения. Текущая глобальная цена крупномасштабной модели основана на 1000 токенов в качестве базовой единицы. Если последующие задачи предприятия очень просты и могут быть решены всего с десятками тысяч токенов, то их стоимость очень низкая и требуется очень мало карт GPU. Объем данных, необходимых для построения крупной отраслевой модели, обычно находится в G или даже T, поэтому стоимость обучения в автономном режиме будет очень высокой.
**Кто бежит в гонке? **
Игроки устремились на масштабную модельную трассу, и на этот раз к ней присоединились не только интернет-компании первого эшелона, но и другие лидеры отрасли и стартапы.
Какие отрасли могут возглавить прорыв? Возможно, это видно из отрасли, в которой находится случай сотрудничества.Как показано в таблице в начале статьи, часто используются финансы, медицина, образование, автономное вождение и другие области.
Например, когда Alibaba Cloud выпустила большую модель Tongyi в апреле, она объявила, что начала совместные исследования с рядом компаний.Первая группа совместных компаний включает OPPO Andes Smart Cloud, Geely Automobile, Zhiji Automobile, Chery New Energy, Momo Zhixing, Swire Coca-Cola, Bosideng, Palm Technology и др. Согласно отчетам, финансовая отрасль, розничная торговля и некоторые крупномасштабные сценарии и отрасли, ориентированные на потребителя, накопили много общедоступных данных и данных сценариев, что удобно для построения корпоративных или отраслевых моделей.
Согласно общедоступной информации, количество крупномасштабных отраслевых моделей Baidu Wenxin достигло 11, охватывающих энергетику и электричество, финансы, аэрокосмическую промышленность, средства массовой информации, кино и телевидение, автомобили, городское управление, газ, страхование, производство электроники и социальные науки.
Первая партия из десяти крупномасштабных примеров применения моделей в индустрии искусственного интеллекта в Пекине, выпущенная 27 июня, включает в себя области энергетики и электричества, медицинского здравоохранения, финансов, автономного вождения, строительства, научных исследований, жизни и вопросов и ответов. Сообщается, что в период с 27 июня по 30 июля Пекинская комиссия по науке и технологиям и комитет управления Zhongguancun также сосредоточат внимание на таких ключевых областях, как управление городским хозяйством, медицинское здравоохранение, научные исследования, умные финансы, умная жизнь и умная жизнь. города и целевые инновационные объекты в городе. , соберет более 80 отраслевых проектов крупномасштабных моделей приложений.
«Когда мы общались с клиентами, мы обнаружили, что многие клиенты мало знают об отраслевых моделях, но они возьмут на себя инициативу, чтобы запросить отраслевые модели Baidu», — сказал Ли Цзинцю, заместитель генерального директора Baidu Smart Cloud AI Platform. в настоящее время это будет специально сочетаться с фактическим использованием предприятий.Проанализируйте потребности продуктов и клиентов, например, какие возможности вы хотите иметь в отраслевой модели, какие системы или приложения использовать, кто будет использовать эти приложения, и каких результатов вы надеетесь достичь... После того, как вы зададите эти вопросы, вы действительно найдете клиентов. Нужна большая модель, основанная на цепочке инструментов Wenxin Qianfan SFT, или предварительно обученная модель для отрасли. Последнему требуется как минимум несколько месяцев или даже последний год для создания и развертывания — от технических вопросов, таких как обработка данных, распределение ресурсов на уровне вычислительной мощности, до долгосрочного обучения общим данным в отрасли.
От шума и суеты базовой крупномасштабной модели до начала крупномасштабной модели отрасли, вступающей во вторую половину 2023 года, реальная трансформация бизнеса будет ускорена.
Также интересно сравнить пути отечественных производителей, таких как Baidu и OpenAI/Microsoft, в области крупномасштабных моделей.Когда ChatGPT показал глобальную популярность на уровне феномена, некоторые голоса задались вопросом, почему Китай не может производить ChatGPT.Конечно, есть это техническая среда В конце концов, многие люди все еще имеют поверхностный консенсус: «Искусственный интеллект Китая более склонен к бизнес-приложениям и возможностям коммерциализации».
Но, с другой стороны, рынок является самой большой движущей силой технологического развития, и хватка времени и ритма привела к другим результатам. Возьмем в качестве примера крупномасштабную отраслевую модель: Microsoft либо ждет дальнейшей зрелости технологии, либо чувствует, что время еще не пришло, и уже слишком поздно, отечественные производители быстро переходят от базовых крупных масштабная модель для крупномасштабной отраслевой модели Иметь прочную жизнеспособность.
Заблудились на востоке, собрали шелковицу, с точки зрения результатов, неплохо, что большие модели отечественной промышленности бегают быстро.