Развитие искусственного интеллекта зашло в тупик?

В последние дни техническое сообщество стало свидетелем широкой дискуссии о разработке генеративных моделей искусственного интеллекта, при этом видные лидеры в этой области сделали заявления о возможном будущем этой технологии. Некоторые указали, что улучшения ИИ достигли своего предела, в то время как другие подчеркнули, что существуют многообещающие перспективы для будущего развития.

Среди тех, кто прокомментировал этот вопрос, был Сэм Альтман, генеральный директор OpenAI, который в посте на платформе X подчеркнул, что «нет стены», ограничивающей развитие искусственного интеллекта, указав, что нет пределов его прогрессу. Со своей стороны, Эрик Шмидт, бывший генеральный директор Google, согласился с этим мнением, отметив, что крупные лингвистические модели станут свидетелями огромного развития в течение следующих пяти лет, поскольку их мощность может увеличиться в 50 или 100 раз.

Кроме того, Дарио Амодей, генеральный директор Anthropic, и Дженсен Хуанг, генеральный директор NVIDIA, выразили неприятие сообщений, свидетельствующих о замедлении прогресса искусственного интеллекта. В этом контексте Илья Суцкевер, соучредитель OpenAI, подтвердил, что усилия по масштабированию обучения моделей достигли стадии насыщения, отметив, что его команда в SSI работает над альтернативным подходом для решения этих проблем.

С другой стороны, Марк Андриссен, соучредитель a16z, отметил, что большинство моделей ИИ, доступных в настоящее время на рынке, достигли одинакового уровня производительности, что ограничивает конкуренцию между ними. Это представляет собой проблему для технологической отрасли, которая вложила значительные средства в строительство центров обработки данных и атомных электростанций для поддержки этого развития. Если окажется, что нынешние методы обучения больше не дают ожидаемых результатов, как компании оправдают эти огромные инвестиции?

Эти дискуссии имеют большое значение, учитывая влияние искусственного интеллекта в ряде областей, таких как экономика, здравоохранение и образование, а также его значительное влияние на инвестиции, осуществляемые в этом секторе. Однако остается ключевой вопрос: как компании смогут преодолеть текущие проблемы на пути к созданию супер-ИИ?

Проблемы достижения превосходного искусственного интеллекта
Многие эксперты в этой области согласны с тем, что ключ к прогрессу лежит в исследовании новых типов данных, разработке систем, способных к логическому рассуждению, а также совершенствовании моделей, чтобы они были меньше и более специализированными. Одной из основных проблем, с которыми компании сталкиваются при разработке больших языковых моделей, является нехватка данных и сложность получения графических процессоров (GPU), необходимых для обучения этих моделей. Из-за высокого спроса на эти агрегаты компании сталкиваются с длительными задержками в их получении, что тормозит прогресс.

Еще одной проблемой является нехватка высококачественных данных, которые имеют ключевое значение для разработки моделей. Некоторые отмечают, что у нас заканчиваются текстовые данные, доступные в Интернете, и эта проблема может очень затруднить продолжение обучения языковых моделей.

Переход к синтетическим данным
Перед лицом этих проблем исследователи начали переходить от внимания к количеству данных к их качеству. Этот сдвиг привел к интересу к синтетическим данным, которые генерируются самими моделями ИИ, и обеспечивает инновационное решение проблемы нехватки высококачественных данных. Однако использование синтетических данных сопряжено с риском, и исследователи сталкиваются с трудностями при поиске соответствующего баланса, чтобы избежать проблем с производительностью модели.

Сосредоточьтесь на рассуждениях и рассуждениях
Наряду с развитием данных, фокус сместился в сторону улучшения способности моделей рассуждать и рассуждать, известной как логическое рассуждение. Эта трансформация позволит моделям решать более сложные задачи и даст им возможность понимать значения слов. Некоторые компании, такие как Microsoft, представили новые методы, такие как «вычисления во время тестирования», целью которых является повышение точности моделей, давая им больше времени для обработки сложных запросов.

Реальность развития искусственного интеллекта
Многие эксперты объясняют, что прогресс искусственного интеллекта следует логарифмической закономерности, а это означает, что каждый шаг на пути к развитию требует больше ресурсов, чем предыдущий. Эта тенденция может замедлить темпы разработки в будущем, что существенно увеличит затраты. По прогнозам, затраты на обучение основных моделей могут варьироваться от 1 до 10 миллиардов долларов в ближайшие годы, что поднимает вопросы о готовности инвесторов работать с такими высокими затратами.

Однако ответ на эти вопросы остается неясным, поскольку компании ожидают развития супер-ИИ, а некоторые клиенты сталкиваются с разочарованием в связи с медленным прогрессом, что может заставить их искать другие варианты. Это поднимает важный психологический и экономический вопрос: захотят ли клиенты ждать этого прогресса или они разочаруются и начнут искать альтернативы?