Microsoft Semantic Kernel SDK устраняет разрыв между LLM и кодом

Microsoft представляет Semantic Kernel SDK , значительно упрощая интеграцию больших языковых моделей (LLM), таких как GPT-4, в код. Этот пакет SDK упрощает управление подсказками, входными данными и целевыми выходными данными, устраняя разрыв между языковыми моделями и разработчиками.

Процесс интеграции модели ИИ в ваш код может быть довольно сложным, поскольку он включает в себя пересечение границы между двумя разными способами вычислений. Традиционных методов программирования недостаточно для взаимодействия с LLM. Что необходимо, так это абстракция более высокого уровня, которая транслируется между различными областями, предоставляя способ управления контекстом и сохранения выводов, основанных на исходных данных.

Несколько недель назад Microsoft выпустила свою первую оболочку LLM под названием Prompt Engine . Опираясь на это, софтверный гигант представил свой более мощный инструмент C# Semantic Kernel для работы с Azure OpenAI и API OpenAI. Этот инструмент с открытым исходным кодом доступен на GitHub вместе с несколькими примерами приложений.

Выбор имени означает понимание основной цели LLM. Семантическое ядро фокусируется на входных и выходных данных на естественном языке, направляя модель, используя первоначальный пользовательский запрос (аск), чтобы организовать проходы через связанные ресурсы, выполнение запроса и возврат ответа (получение).

Семантическое ядро функционирует как операционная система для LLM API, принимает входные данные, обрабатывает их, работая с языковой моделью, и возвращает выходные данные. Оркестровочная роль ядра важна для управления не только подсказками и связанными с ними маркерами, но и памятью, соединителями с другими информационными службами и предопределенными навыками, которые сочетают подсказки и обычный код.

Семантическое ядро управляет контекстом с помощью концепции памяти, работы с файлами и хранения значений ключа. Третий вариант, семантическая память , обрабатывает контент как векторы или вложения, которые представляют собой массивы чисел, которые LLM использует для представления значений текстов. Эти встроенные векторы помогают базовой модели поддерживать актуальность, согласованность и снижать вероятность генерации случайных результатов.

Используя встраивания, разработчики могут разбивать большие подсказки на блоки текста, чтобы создавать более целенаправленные подсказки, не исчерпывая доступные токены для запроса (например, GPT-4 имеет ограничение в 8 192 токена на вход).

Коннекторы играют важную роль в семантическом ядре, позволяя интегрировать существующие API с LLM. Например, соединитель Microsoft Graph может отправлять выходные данные запроса по электронной почте или создавать описание отношений в организационной диаграмме. Соединители также обеспечивают форму управления доступом на основе ролей, чтобы гарантировать, что выходные данные адаптированы для пользователя на основе его данных.

Третьим основным компонентом семантического ядра являются навыки , представляющие собой контейнеры функций, которые сочетают в себе подсказки LLM и обычный код, аналогичный функциям Azure. Их можно использовать для объединения специализированных подсказок и создания приложений на базе LLM.

Выходы одной функции могут быть связаны с другой, что позволяет построить конвейер функций, сочетающих собственную обработку и операции LLM. Таким образом, разработчики могут создавать гибкие навыки, которые можно выбирать и использовать по мере необходимости.

Хотя семантическое ядро является мощным инструментом, для создания эффективных приложений требуется тщательное обдумывание и планирование. Стратегически используя SDK вместе с собственным кодом, разработчики могут использовать потенциал LLM, делая процесс разработки более эффективным и продуктивным. Чтобы помочь вам приступить к работе, Microsoft предоставляет список передовых практических рекомендаций, полученных при создании приложений LLM в рамках собственного бизнеса.

В контексте современной разработки программного обеспечения пакет Microsoft Semantic Kernel SDK позиционирует себя как ключевой инструмент для интеграции больших языковых моделей в различные приложения. Его реализация может принести большую пользу таким инструментам, как платформа AppMasterno-code и конструкторы веб-сайтов , предлагая более гибкие и эффективные решения для широкого круга пользователей.