Хаос у сфері ШІ: від Трансформерів до битви моделей
Минулого місяця в AI-індустрії розгорнулася запекла "тваринна війна". Одна сторона - це модель альпаки, випущена одним із технологічних гігантів, яка завдяки своїй відкритій природі користується великою популярністю серед розробників. Інша сторона - це велика модель під назвою "Сокіл", яка після свого виходу в травні обійшла альпаку і зайняла перше місце в рейтингу відкритих LLM.
Цікаво, що розробником "Сокола" є не технологічна компанія, а дослідницький інститут, розташований в ОАЕ. Міністр штучного інтелекту ОАЕ потім був обраний до списку "100 найвпливовіших людей у сфері ШІ", складеного журналом Time.
Сьогодні сфера ШІ вступила в стадію «танцюючих демонів». Як тільки країни та компанії з достатніми фінансовими ресурсами починають створювати свої великі мовні моделі. Лише в країнах Перської затоки є не один гравець у цій гонці.
Інвестор поскаржився: "Коли я побачив інновації бізнес-моделей в інтернеті, думав, що це безбар'єрно. Не очікував, що у сфері жорстких технологій знову буде війна моделей..."
Як те, що колись вважалося складною високими технологіями, стало ситуацією, коли кожна країна має однакові моделі і це процвітає повсюдно?
Transformer змінив гру
Сьогодні всі країни та компанії, які можуть мріяти про великі моделі, повинні дякувати за це знаменитій статті "Увага — це все, що вам потрібно", опублікованій у 2017 році. Ця стаття представила алгоритм Transformer, який став каталізатором нинішнього буму штучного інтелекту. Сучасні великі моделі, незалежно від національності, базуються на основі Transformer.
До цього часу "навчити машину читати" залишалося визнаною академічною проблемою. Люди під час читання не лише зосереджуються на поточних словах і реченнях, але й поєднують їх з контекстом для розуміння. Ранні нейронні мережі не могли цього зробити, поки в 2014 році не з'явилися рекуррентні нейронні мережі (RNN), що дало прорив.
Однак RNN має проблему з низькою ефективністю і важко обробляє велику кількість параметрів. Поява трансформера вирішила цю проблему, він замінив циклічний дизайн RNN позиційним кодуванням, що дозволило реалізувати паралельні обчислення і значно підвищити ефективність навчання. Ця зміна дозволила штучному інтелекту увійти в еру великих моделей.
Transformer швидко став основним рішенням у сфері обробки природної мови. Він перетворив великі моделі з теоретичного дослідження на чисто інженерну задачу - якщо є достатньо обчислювальних потужностей та даних, будь-яка компанія з технічними можливостями може створити велику модель.
Як зазначив один комп'ютерний вчений, ШІ стає універсальною технологією, подібно до електрики та Інтернету. Хоча деякі великі моделі компаній все ще є лідерами, аналітики очікують, що інші технологічні гіганти незабаром зможуть створити продукти відповідного рівня.
Роздуми про битву багатьох моделей
Станом на липень цього року в Китаї нараховується 130 великих моделей, що перевищує кількість у США. Крім США та Китаю, деякі заможні країни також випустили свої великі моделі, такі як Японія, ОАЕ, Індія, Південна Корея тощо.
Ця ситуація нагадує епоху інтернет-бульбашки. Але легкий вхід не означає, що кожен може стати гігантом епохи ШІ. Наприклад, у випадку з відкритими великими моделями, активне співтовариство розробників є їхньою ключовою конкурентною перевагою. Один з гігантів соціальних медіа добре розуміє це, його серія відкритих великих моделей вже стала орієнтиром у цій галузі.
Однак більшість великих моделей все ще мають помітний розрив у продуктивності з найкращими продуктами. Останні результати тестування AgentBench показують, що бал другого місця навіть не досягає двох третин балу першого місця. Ця різниця виникає через наявність в провідних компаніях відмінних команд вчених і тривало накопиченого досвіду.
Основна здатність великих моделей полягає не лише в кількості параметрів, а в екосистемному розвитку ( для відкритих моделей ) або чисто в інференсних можливостях ( для закритих моделей ). З розвитком відкритої спільноти продуктивність різних великих моделей може стати схожою.
Більші виклики полягають у комерціалізації. За винятком кількох прикладів, більшість AI-компаній після великих витрат все ще не знайшли прибуткову модель. Навіть провідні компанії в галузі стикаються з труднощами в ціноутворенні на AI-продукти.
Високі витрати на обчислювальну потужність стали перешкодою для розвитку галузі. За оцінками, щорічні витрати світових технологічних компаній на інфраструктуру великих моделей можуть значно перевищувати їхні доходи, існуючи величезний розрив.
Хоча революцію ШІ спровокували проривні продукти деяких компаній, цінність, яку можна створити лише завдяки тренуванню великих моделей, все ще викликає сумніви. З посиленням конкуренції та зростанням кількості відкритих моделей постачальники виключно великих моделей можуть зіткнутися з більшим тиском.
Як успіх iPhone 4 полягає не лише в його процесорі, а в тому, що він може запускати різноманітні додатки, справжня цінність у сфері ШІ, можливо, також проявиться в конкретних застосуваннях.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
22 лайків
Нагородити
22
5
Поділіться
Прокоментувати
0/400
SignatureCollector
· 08-03 13:36
Танці демонов? Краще назвати це гонкою сотні моделей
Переглянути оригіналвідповісти на0
GateUser-2fce706c
· 08-01 18:24
Багатство вже перед вами. Те, що не вдається зловити, це невдахи.
Переглянути оригіналвідповісти на0
CoffeeOnChain
· 08-01 18:24
О, знову це стало грою капіталів.
Переглянути оригіналвідповісти на0
MEV_Whisperer
· 08-01 18:16
Займатися штучним інтелектом не так цікаво, як торгівля криптовалютою.
AI великі моделі процвітають, розробити легко, комерціалізувати важко
Хаос у сфері ШІ: від Трансформерів до битви моделей
Минулого місяця в AI-індустрії розгорнулася запекла "тваринна війна". Одна сторона - це модель альпаки, випущена одним із технологічних гігантів, яка завдяки своїй відкритій природі користується великою популярністю серед розробників. Інша сторона - це велика модель під назвою "Сокіл", яка після свого виходу в травні обійшла альпаку і зайняла перше місце в рейтингу відкритих LLM.
Цікаво, що розробником "Сокола" є не технологічна компанія, а дослідницький інститут, розташований в ОАЕ. Міністр штучного інтелекту ОАЕ потім був обраний до списку "100 найвпливовіших людей у сфері ШІ", складеного журналом Time.
Сьогодні сфера ШІ вступила в стадію «танцюючих демонів». Як тільки країни та компанії з достатніми фінансовими ресурсами починають створювати свої великі мовні моделі. Лише в країнах Перської затоки є не один гравець у цій гонці.
Інвестор поскаржився: "Коли я побачив інновації бізнес-моделей в інтернеті, думав, що це безбар'єрно. Не очікував, що у сфері жорстких технологій знову буде війна моделей..."
Як те, що колись вважалося складною високими технологіями, стало ситуацією, коли кожна країна має однакові моделі і це процвітає повсюдно?
Transformer змінив гру
Сьогодні всі країни та компанії, які можуть мріяти про великі моделі, повинні дякувати за це знаменитій статті "Увага — це все, що вам потрібно", опублікованій у 2017 році. Ця стаття представила алгоритм Transformer, який став каталізатором нинішнього буму штучного інтелекту. Сучасні великі моделі, незалежно від національності, базуються на основі Transformer.
До цього часу "навчити машину читати" залишалося визнаною академічною проблемою. Люди під час читання не лише зосереджуються на поточних словах і реченнях, але й поєднують їх з контекстом для розуміння. Ранні нейронні мережі не могли цього зробити, поки в 2014 році не з'явилися рекуррентні нейронні мережі (RNN), що дало прорив.
Однак RNN має проблему з низькою ефективністю і важко обробляє велику кількість параметрів. Поява трансформера вирішила цю проблему, він замінив циклічний дизайн RNN позиційним кодуванням, що дозволило реалізувати паралельні обчислення і значно підвищити ефективність навчання. Ця зміна дозволила штучному інтелекту увійти в еру великих моделей.
Transformer швидко став основним рішенням у сфері обробки природної мови. Він перетворив великі моделі з теоретичного дослідження на чисто інженерну задачу - якщо є достатньо обчислювальних потужностей та даних, будь-яка компанія з технічними можливостями може створити велику модель.
Як зазначив один комп'ютерний вчений, ШІ стає універсальною технологією, подібно до електрики та Інтернету. Хоча деякі великі моделі компаній все ще є лідерами, аналітики очікують, що інші технологічні гіганти незабаром зможуть створити продукти відповідного рівня.
Роздуми про битву багатьох моделей
Станом на липень цього року в Китаї нараховується 130 великих моделей, що перевищує кількість у США. Крім США та Китаю, деякі заможні країни також випустили свої великі моделі, такі як Японія, ОАЕ, Індія, Південна Корея тощо.
Ця ситуація нагадує епоху інтернет-бульбашки. Але легкий вхід не означає, що кожен може стати гігантом епохи ШІ. Наприклад, у випадку з відкритими великими моделями, активне співтовариство розробників є їхньою ключовою конкурентною перевагою. Один з гігантів соціальних медіа добре розуміє це, його серія відкритих великих моделей вже стала орієнтиром у цій галузі.
Однак більшість великих моделей все ще мають помітний розрив у продуктивності з найкращими продуктами. Останні результати тестування AgentBench показують, що бал другого місця навіть не досягає двох третин балу першого місця. Ця різниця виникає через наявність в провідних компаніях відмінних команд вчених і тривало накопиченого досвіду.
Основна здатність великих моделей полягає не лише в кількості параметрів, а в екосистемному розвитку ( для відкритих моделей ) або чисто в інференсних можливостях ( для закритих моделей ). З розвитком відкритої спільноти продуктивність різних великих моделей може стати схожою.
Більші виклики полягають у комерціалізації. За винятком кількох прикладів, більшість AI-компаній після великих витрат все ще не знайшли прибуткову модель. Навіть провідні компанії в галузі стикаються з труднощами в ціноутворенні на AI-продукти.
Високі витрати на обчислювальну потужність стали перешкодою для розвитку галузі. За оцінками, щорічні витрати світових технологічних компаній на інфраструктуру великих моделей можуть значно перевищувати їхні доходи, існуючи величезний розрив.
Хоча революцію ШІ спровокували проривні продукти деяких компаній, цінність, яку можна створити лише завдяки тренуванню великих моделей, все ще викликає сумніви. З посиленням конкуренції та зростанням кількості відкритих моделей постачальники виключно великих моделей можуть зіткнутися з більшим тиском.
Як успіх iPhone 4 полягає не лише в його процесорі, а в тому, що він може запускати різноманітні додатки, справжня цінність у сфері ШІ, можливо, також проявиться в конкретних застосуваннях.