OpenAI объявляет о грантах на суперадаптацию в размере 10 миллионов долларов

Технический гигант OpenAI запустил новую программу грантов, ориентированную на поддержку организаций, занимающихся обеспечением безопасной работы сверхразумных систем. Такое развитие событий происходит в то время, когда фирма ожидает появления сверхинтеллекта уже при нашей жизни, что вызывает острую необходимость в усиленных протоколах безопасности, способствующих таким будущим достижениям.

В преддверии надвигающейся преобразующей эры искусственного интеллекта OpenAI представляет себе эти новаторские системы будущего, наделенные способностью выполнять сложные, творческие операции, которые могут ускользать от человеческого понимания.

В настоящее время меры безопасности, используемые в системах искусственного интеллекта, в основном вращаются вокруг согласования — процесса, в котором особое внимание уделяется обучению с подкреплением с обратной связью от человека (RLHF). Этот метод зависит от значительной контролирующей роли человека и потенциально может дать сбой в сценарии, когда сверхразумный ИИ будет стимулировать разработку и выполнение весьма сложных задач. Рассмотрим прототип ИИ, генерирующий миллионы строк кода; для людей было бы непосильной задачей систематически оценивать ее целостность.

Компания выявила четкую загадку, которая требует немедленного внимания: как люди могут управлять системами искусственного интеллекта, которые гораздо более интеллектуальны, чем они сами, и завоевывать доверие к ним? Называя это одной из самых актуальных нерешенных технических загадок в мире, OpenAI сохраняет позитивный прогноз, подчеркивая, что путь к поиску решений усеян многочисленными многообещающими подходами, готовыми к выбору.

Критика технологической компании не только расширяет возможности, открывающиеся перед сообществом исследователей машинного обучения и отдельными исследователями, но также привлекает внимание к немедленным исследованиям и возможным прорывам в этом секторе.

Продолжая поддерживать эти исследовательские начинания, OpenAI предприняла активные шаги по созданию дальновидной программы грантов Superalignment, вложив в свою казну 10 миллионов долларов. Ожидается, что академическим лабораториям, некоммерческим организациям и отдельным исследователям будет выделено от 100 000 до 2 миллионов долларов. В дополнение к этому фирма также выделила годовую стипендию в размере 150 000 долларов США для аспирантов, разделив средства на два сегмента для финансирования исследований и стипендий.

Обнадеживающим открытием является то, что OpenAI демонстрирует непредвзятую политику, приветствуя заявки от исследователей без предыдущего опыта согласования, что является свидетельством принципа инклюзивности компании и поощрения свежих перспектив.

Прокладывая путь вперед для нетерпеливых кандидатов, OpenAI будет держать заявки открытыми до 18 февраля, стремясь вернуться к заявителям в течение месяца после крайнего срока закрытия заявок.

Новая грантовая инициатива появилась в рамках более широкого проекта OpenAI Superalignment, представленного в июле. В рамках этого амбициозного проекта фирма собрала новую команду, посвятив 20% своих перерабатывающих мощностей в течение следующих четырех лет на решение этой проблемы. Основная цель: разработать сверхразумную систему, которая реалистично воспроизводит возможности человека по исследованию выравнивания.