Всем привет, друзья! Скажу сразу, этой статьей мне бы хотелось завершить серию публикаций, затрагивающих тему использования различных моделей искусственного интеллекта Microsoft AI Builder в тесной интеграции с приложениями Microsoft Power Platform. Мне хотелось как-то обобщить всю имеющуюся у меня информацию по сервису AI Builder и свести ее все в одну статью, где можно было бы подробно рассказать практически о каждой модели, а также затронуть тему Low-Code разработки в целом.
Надеюсь, что у меня все получится и будет интересно.
Идти.
И начнем с Low-Code разработки и так называемого Citizen Development. 
Кто такой гражданский разработчик?
Давайте посмотрим на официальное определение Gartner. Гражданин-разработчик — это непрофессиональный разработчик, не имеющий прямого отношения к сфере ИТ, создающий приложения без кода для себя и других людей в организации.Для создания таких приложений обычно используются платформы low-code или no-code. Основное преимущество в том, что вам не нужно писать ни одной строчки кода, либо это простой код в виде различных готовых функций, которые можно вызывать, передавая необходимые параметры.
Для этого используются специальные среды разработки, так называемые платформы No Code или Low Code, которые позволяют специалистам проектировать и создавать мощные приложения, способные быстро адаптироваться к потребностям бизнеса.
Вкратце, ГРАЖДАНИН РАЗРАБОТЧИК — это человек, создающий программные приложения без использования классических инструментов разработки.
Низкий код/без кода
Однако что такое Low-Code или No-Code? Low-Code и No-Code — это способы разработки приложений с минимальным программированием.Это направление еще называют Zero Coding. Low-Code/No-Code решает одну из главных задач ИТ — ускорение цикла от появления идеи до работающего бизнес-процесса, сокращение времени выхода на рынок.
Low-Code/No-Code не заменяет профессиональных разработчиков, но позволяет сократить время создания продукта или добавить в него новые возможности.
Говоря о преимуществах платформ Low-Code и No-Code, можно отметить несколько положительных моментов:
- Прежде всего, это быстрое прототипирование.
Чтобы создать прототип, просто откройте редактор, нарисуйте несколько экранов с объектами и свяжите их между собой.
- Второе преимущество — быстрое привлечение новых специалистов, ведь найти человека, который возьмет на себя разработку приложения на платформе Low-Code, гораздо проще, поскольку это могут быть даже внутренние сотрудники компании.
- Третье – очевидность сделанных настроек и низкий барьер входа.
В графическом редакторе можно быстро разобраться в настроенной логике и быстро понять суть приложения.
- Четвертое — общее увеличение скорости разработки и скорости внесения изменений.
Это, пожалуй, главное преимущество.
Платформы No Code позволяют создавать приложения гораздо быстрее, чем если бы они разрабатывались с нуля.
Преимущество в том, что все готовые блоки для сборки приложения уже есть.
Остается только разместить их на форме, указать поведение, свойства и связи с различными источниками данных.
В результате время, затрачиваемое на тестирование и разработку приложений, значительно сокращается.
Это также сокращает время, необходимое для внесения изменений в уже разработанные приложения.
- Ну и стоимость технической поддержки такой системы тоже снижается.
Что такое платформы Low-Code и No-Code?
Пришло время поговорить о различных примерах платформ Low-Code и No-Code, которые существуют в настоящее время и представляют определенный интерес.
Нинтекс
Первая платформа, о которой хотелось бы сказать несколько слов — это набор услуг от австралийской компании Nintex. Среди сервисов Nintex есть сервис Nintex Forms для настройки форм для мобильных приложений.Вся настройка сводится к расположению необходимых объектов на экране и описанию логики поведения через встроенный язык формул.
Второй сервис от этой же компании — сервис Nintex Workflows для создания процессов.
Процесс создается на основе готовых коннекторов к различным сервисам, с помощью которых можно выстроить логику поведения бизнес-процесса.
Например, получить данные из CRM-системы, проверить значение поля и в зависимости от значения отправить уведомление либо той, либо другой группе пользователей.
Настройка также происходит через графический интерфейс.
СистемаZ
Российская Low-Code платформа, состоящая из нескольких основных сервисов.Первый из них — ZForms — редактор для создания экранных форм.
Настройка осуществляется в браузере с использованием подготовленных компонентов куба.
Второй продукт — ZFlow — редактор для создания процессов взаимодействия с данными.
Все настраивается в редакторе блок-схем из заранее настроенных блоков.
Вебкон БПС
Другим примером редактора Low-Code является редактор Webcon BPS. В нем настройка приложения происходит в пошаговом мастере, где вы шаг за шагом настраиваете, что будет отображаться и что будет происходить.Все настраивается мышкой и минимумом касаний клавиатуры.
K2 Автоматизация процессов
Платформа K2 Process Automation примерно аналогична предыдущему примеру, смысл практически тот же.Пошаговый редактор, набор объектов, которые можно соединять между собой и область настройки каждого выбранного объекта с помощью готовых блоков настроек или с помощью встроенного языка.
Таблица приложений Google
А у Google есть своя Low-Code платформа, если кто не знал) Эта платформа называется Google AppSheet и предоставляет целый набор готовых блоков для настройки интерфейса, поведения, автоматизации процессов, безопасности и возможности подключения.к различным источникам данных, например таким же, как Google Sheets. Все это позволяет создавать мобильные и веб-приложения различного назначения, например, как показано на картинке — пример приложения адресной книги и журнала вызовов.
Силовая платформа Microsoft
У Microsoft также есть своя линейка Low-Code платформ, на которых мы остановимся чуть подробнее.Платформа Microsoft с низким кодом называется Microsoft Power Platform и состоит из нескольких сервисов.
Прежде всего, это сервис Microsoft Power Apps, который используется для создания мобильных и веб-приложений.
Все настройки, как и в предыдущих примерах, производятся в графическом редакторе с помощью встроенных блоков компонентов.
Также можно писать код на встроенном языке, очень похожем на формулы в Excel. Созданным приложением можно поделиться с другими участниками и установить на свой телефон или планшет. 
Второй сервис в линейке Power Platform называется Power Automate и с его помощью можно создавать процессы, которые запускаются на основе определенных событий.
Например, событием может быть изменение файла, получение электронного письма, расписание или нажатие кнопки.
А будучи запущенным событием, процесс может обрабатывать данные из разных источников, подключаясь к ним через коннекторы данных — коннекторы к различным сервисам.
Для анализа данных используется сервис Power BI, с помощью которого можно визуализировать данные в виде различных отчетов и информационных панелей.
Данная услуга состоит из трех интегрированных компонентов: Power Query (редактор запросов) — загружает и очищает данные; PowerPivot (наборы данных и модели данных) — интерфейс для работы с табличными данными в оперативной памяти, где выполняются запросы данных, агрегирование, вычисления и т. д.; Power View — это подсистема визуализации и отчетности.
Логика работы с этим сервисом примерно такая же, как и в других сервисах – подключаемся к данным, выбираем нужный объект визуализации и настраиваем его отображение.
И последний сервис линейки Power Platform — сервис Power Virtual Agents, с помощью которого можно создавать чат-ботов.
Все настройки производятся в графическом интерфейсе, где доступны блоки для построения диалога с пользователем.
Любой диалог начинается с триггерной фразы, а затем можно задать вопрос, в зависимости от ответа перейти в ту или иную ветку, отобразить сообщение или выполнить действие.
При настройке можно сразу запустить диалоги и проверить правильность настроенной логики.
Что ж, похоже, пришло время перейти к теме искусственного интеллекта, давайте сменим фокус и обсудим, как можно использовать искусственный интеллект и приложения без кода.
Возможно ли это вообще сделать? Давайте разберемся.
Искусственный интеллект
Термин искусственный интеллект (ИИ) относится к способности машины имитировать разумное поведение человека.Он охватывает многие области, такие как обработка естественного языка, машинное обучение, управление знаниями, компьютерное зрение, решение проблем и так далее.
Сегодня мы не будем говорить в целом об искусственном интеллекте и его влиянии на развитие всех сфер жизни, а сосредоточимся на частных случаях ИИ – моделях искусственного интеллекта, которые позволят решать проблемы в отношении приложений без кода, выполненных на на основе конструкторов Low-Code. Каковы примеры моделей ИИ, применимых к приложениям без кода?
- Прежде всего, это анализ текста, извлечение из текста ключевых фраз и смыслов по определенному шаблону.
- Прогнозирование возникновения определенного события на основе набора входных данных
- Анализируйте изображения и видео, чтобы найти конкретную информацию.
Альтернативно модель можно использовать для поиска запрещенной информации, которая не может быть опубликована по ряду причин.
Допустим, контент для взрослых.
- Автоматический перевод текста с одного языка на другой
- Преобразование текста в синтетическую речь с помощью вспомогательных сервисов.
Также доступен обратный вариант – перевод речи в текст.
- Анализ тональности — это модель, которая автоматически распознает тон текста (положительный, отрицательный или нейтральный).
- Распознавание языка – автоматическое определение языка, на котором в данный момент написано сообщение или произнесена фраза.
В качестве примера использования моделей ИИ в реальной жизни приведем одну кофейню, полностью построенную с учетом использования искусственного интеллекта.
Кофейня использует алгоритмы нейронной сети для распознавания ряда эмоций (радость, грусть, усталость, удивление и другие) и в зависимости от этого дает бариста на выбор несколько подходящих вариантов, чтобы он мог предложить их посетителю.
Машинное обучение (предиктивная аналитика) используется для прогнозирования спроса.
Система анализирует несколько факторов: погодные условия, день недели и время года, проведение каких-либо мероприятий возле кофейни и другие.
Микросот ИИ Строитель
Давайте рассмотрим службу Microsoft AI Builder, которую можно использовать вместе с приложениями, созданными на платформе Power. Microsoft AI Builder — это набор инструментов, которые позволяют приложениям Microsoft Power Platform обрабатывать информацию с использованием моделей искусственного интеллекта, таких как прогнозирование, обработка форм, обнаружение объектов, классификация категорий и извлечение объектов, через довольно простой и интуитивно понятный интерфейс.Кроме того, вы можете использовать готовые экземпляры модели и сразу приступить к обработке данных с помощью подготовленных сценариев ИИ, включая извлечение ключевых фраз, определение языка, анализ настроений, распознавание текста (OCR), чтение визитных карточек, обработку квитанций и другие сценарии.
Более того, некоторые модели AI Builder требуют предварительного обучения на основе файлов примеров, а некоторые готовы к использованию сразу.
Распознавание текста
Первый сценарий — распознавание текста.Эта модель искусственного интеллекта AI Builder не требует предварительного обучения и предназначена для чтения текста с фотографий и документов.
Вы можете использовать любые изображения, главное, чтобы они имели читаемый текст на существующем в мире языке) 
Пример использования этой модели довольно простой — делаем мобильное приложение на базе редактора Microsoft Power Apps и внедряем в него компонент «распознавание текста».
Далее через интерфейс самого приложения скачиваем файл, в моем случае это был скриншот из Википедии, а прочитанный текст отображается в текстовом блоке ниже.
Извлечение текста из изображения осуществляется с помощью единственной формулы, в которой мы обращаемся к компоненту TextRecouncer. 
В качестве второго варианта использования модели распознавания текста в приложениях Low-Code можно рассмотреть создание потока Microsoft Power Automate, который запускается при событии поступления письма в почтовый ящик, а затем запускает вложения из письма через обученный AI BUider. модель.
Результаты обработки используются для создания шаблона документа Microsoft Word. 
Анализ настроений
Следующая модель — анализ настроений.Как и в случае с распознаванием текста, эта модель не требует обучения.
Обычно эта модель используется для автоматического определения положительного, отрицательного или нейтрального тона текста.
Пример использования — анализ писем от клиентов и автоматическая эскалация в случае негативного настроения.
Примером может служить диалог с пользователем, настроенный в сервисе Microsoft Power Virtual Agents, где в конце разговора можно задать вопрос типа «оставить свой отзыв о качестве сервиса».
Диалог ожидает ответа, полученный ответ сохраняется в переменной varFeedback и эта переменная передается в поток Power Automate для дальнейшей обработки текста.
Мы запускаем поток через Power Automate, который анализирует текст на предмет тональности.
И в зависимости от результата анализа мы направляем наш диалог в одну из трех ветвей, где в случае негативного тона происходит эскалация до руководителя.
Возвращаем результат обратно в диалог чат-бота, где после получения результатов анализа происходит направление на нужную ветку диалога.
Мы проанализировали отзыв, получили тип тона и сказали либо «спасибо, было приятно с вами пообщаться», либо «извините, пожалуйста, менеджер с вами скоро свяжется и разрешит ситуацию».
Обработка форм
А дальше у нас идет обработка форм — модель, позволяющая извлекать размеченные данные из различных документов.Например, в организацию поступает множество файлов, имеющих одинаковую структуру, но разный набор данных, например, счета-фактуры или акты, и было бы неплохо автоматизировать извлечение данных из этого типа документов.
Попробуем применить такой шаблон к некоторому набору документов.
Предположим, нам на электронную почту присылают PDF-файлы, в которых в формализованной таблице описана проблема, возникшая при использовании системы.
Пример таблицы на экране.
Заголовки слева, значения справа.
Соответственно, таких писем мы можем получать очень много в день и хотелось бы, чтобы информация из таких таблиц извлекалась самостоятельно.
В отличие от предыдущих моделей, данная модель уже требует предварительного обучения и для обучения необходимо скачать 5 файлов примеров.
Файлы должны иметь одинаковую структуру, но разное содержимое.
Процесс обучения модели занимает несколько минут, в течение которых обычно требуется помощь живого человека в обучении.
Начинается обучение модели.
Во время обучения модели может быть предложено пометить необходимые данные, которые предполагается извлечь из документов.
Выделяем мышкой фрагменты текста, присваиваем теги и переходим к следующему документу, к которому у модели возникли вопросы в процессе обучения.
В таком ключе мы обрабатываем все документы, на основе которых планируем обучать модель.
После того, как все теги установлены, мы должны начать обучение модели, нажав кнопку «Обучить».
Судя по всему, это артефакт машинного перевода на русский язык, поскольку в оригинале написано «Поезд».
Обучение модели и анализ данных занимают некоторое время.
После завершения анализа можно применить данную модель и для применения также можно использовать поток Power Automate, который будет запускаться в случае поступления письма на конкретный почтовый ящик, в цикле мы будем обрабатывать каждое вложение из письма и пропустите файл через недавно обученную модель AI Builder для обработки форм.
На выходе обработки у нас будут теги с данными, которые мы сможем использовать в дальнейшем как подстановку для создания записи в таблице базы данных, CRM-системе и так далее.
Обработка визитных карточек
Еще одним примером модели искусственного интеллекта AI Builder, не требующей обучения, является модель автоматической обработки визитных карточек.Достаточно простой пример, но о нем тоже стоит рассказать.
Данная модель позволяет автоматически извлекать данные из загруженной визитки в виде файла или фотографии.
Фактически в данной модели уже настроен функционал по определению ФИО, номера телефона, должности и электронной почты по визитке.
Применить эту модель довольно просто.
Создаем приложение и добавляем в него готовый компонент для чтения визиток.
Также чуть ниже у нас есть несколько текстовых элементов управления, в которые мы будем автоматически записывать данные со сканированной визитки.
Создаем визитку в онлайн-редакторе.
Русский кот Шлёпа рядом с моим номером телефона выглядит очень аутентично.
Загружаем фотографию в блок чтения визиток и данные сразу извлекаются из файла.
Мы упорядочиваем данные в соответствии с соответствующими элементами управления нашего приложения.
При этом можно прикрепить кнопку сохранения контакта опять же в какую-нибудь CRM-систему.
Однако у вас может возникнуть вопрос, как нам записать извлеченные данные в элементы управления? Приложение само не понимает, куда и что ему нужно записывать.
Все очень просто, в редакторе создания нашего приложения выбираем нужный элемент управления, например EmailTextBox, и в свойстве Default пишем ссылку на объект чтения визитки.
Ставим точку и получаем доступ к одному из нескольких предустановленных свойств – Отдел, Электронная почта, Факс, Телефон, Имя и так далее.
Приложение готово.
Обнаружение объектов
Ну и последний пример модели искусственного интеллекта, который вы можете попробовать реализовать в приложении, — это модель обнаружения и распознавания объектов.Эта модель используется для чтения и идентификации различных объектов на фотографии или документе.
Среди сценариев применения могу выделить, например, проведение инвентаризации на складе или в торговом зале с помощью камеры смартфона, считывание штрих-кодов, идентификация деталей машин и станков на производстве.
Чтобы проверить работу модели, мне пришлось посетить ближайший магазин и скопировать данные с первых попавшихся ценников, чтобы внести их в собственную базу данных.
Под покровом темноты я собрал данные по трем ценникам товаров, вызывающих у меня максимальный интерес, и создал в своей базе три строки — Вареная свекла, Советский сахар и хлопья «Чистое солнце».
Я планировал создать приложение, которое могло бы извлекать данные штрих-кода из фотографии ценника, делать запрос к базе данных и возвращать из нее текущую цену товара, аналогично тому, как это делают сканеры проверки цен в магазинах.
Итак, создаем приложение и добавляем в него компонент искусственного интеллекта для чтения объектов.
Также размещаем несколько вспомогательных элементов управления — элемент управления отображением кода товара, текущей цены из базы данных и возможность ввода кода товара вручную, если штрих-код не читается.
На кнопку «Проверить цены» прикрепляем функцию, которая обращается к моей таблице «Базовая цена товара» и возвращает данные о цене товара по штрих-коду.
Сама формула выглядит так, как показано на экране.
Что ж, пришло время проверить.
Фотографируем ценник, модель AI Builder определяет, где на ценнике находится штрих-код товара, преобразует его в текст и помещает в элемент управления «Код товара», на котором основан наш запрос.
А в элементе «Текущая цена из базы» отображается наша цена, полученная в результате запроса.
Остается только подключить приложение к реальной базе товаров и вы сможете проверять цены на товары, просто фотографируя ценники из приложения.
Разве это не круто?) 
Каков конечный результат?
Все, что мы видели, конечно, не является развитием в чистом виде.Это скорее установка и настройка.
Однако.
Со всеми вышеперечисленными сервисами и редакторами работают совершенно разные специалисты.
Это могут быть специалисты по внедрению, аналитики, тестировщики.
Люди, которые не пишут код и, возможно, никогда даже не открывали Visual Studio или какой-либо другой инструмент разработки.
И, возможно, они никогда не откроются.
Но эти люди могут создавать работающие системы, составляя их из блоков, настраивая условия, правила и сценарии поведения, используя возможности, которые предоставляют различные платформы Low-Code и No Code, а также применяя различные модели искусственного интеллекта.
Сегодня создавать и модифицировать приложения может практически каждый, и я считаю, что это интересная тенденция.
На этом я завершаю серию статей на тему Microsoft AI Builder, а дальше мы познакомимся с новыми сервисами и новыми функциями.
Спасибо, что дочитали до конца, всем хорошего дня! Теги: #Разработка для Office 365 #Microsoft Azure #облачные службы #sharepoint #office365 #power Platform #powerapps #microsoft365 #microsoft365 #power автоматизировать #power автоматизировать #sharepoint online #sharepoint online
-
Прорывы Ibm
19 Oct, 24 -
Ошибки Рендеринга В Google Chrome (Dev)
19 Oct, 24
