6

Ответ на пост «Упрощенная обработка естественного языка»

Вот задумался - вместо того чтобы учиться говорить формализовано четко и грамотно, чтобы даже компьютер понимал команды, человеки учат компьютер понимать любую белиберду. Конечно, проще же не самим совершенствоваться а понаделать костылей, вбросив ресурсов.
---
Вспомнилось в этой связи как работал офисным сисадмином. Было это давно и тогда мало кто из пожилых бухгалтеров и клерков умел работать за компьютером. Однако все делились на 2 группы - тех кто хочет понять и разобраться и тех кто просто начинал верещать при любой проблеме, даже не пытаясь понять в чем причина. Чаще всего причина визга второй группы была в том что они сами не хотели понимать как и что делать.
Я не любил никогда строить из себя крутого админа и как-то тешить своё эго. Всем абсолютно старался разжевать и объяснить по максимуму как что и почему произошло/происходит, как всё устроено, но толко в рамках разумного. Незачем бухгалтеру знать особенности сетевых протоколов, но вот структуру каталогов где что лежит и как сохранить правильно в новый файл - стоит.
Со временем удавалось многих так или иначе обучить. Проблем становилось меньше, все всё успевали, у меня появлялось время на развитие. Те же, кто упорно не хотел понимать даже азы, зачастую куда-то отваливались.

---

Что-же происходит сейчас? Вместо того чтобы изучать технологии и принципы информационного общества, да и просто изучать что-либо для самосовершенствования, большинство с радостью просто перекладывают задачи на ИИ. Вроде и дело движется и все счастливые, но развитие замедляется. При этом все знания ИИ построены на существующих данных, результатах работы людей. Чем больше результатов получены с помощью ИИ тем больше сами ИИ обучаются на "своих" трудах. Количество трудов произведенных без использования ИИ постепенно уменьшается. Накапливаются какие-то ошибки, которые люди не отлавливают в момент использования и по сути дела выплескивают в свободный доступ чтобы ИИ принял это как проверенную информацию.

Так Уроборос пожирает себя. Люди же, в своём стремлении к комфорту, способствуют этому изо всех сил. Это очень похоже на ситуацию с офисом бухгалтеров и клерков. Зачем понимать даже минимум если можно "пнуть" сисадмина? Так же и с ИИ. Если что-то не понятно - спрашиваешь в чатике искуственного помощника и получаешь ответ. Только этот помощник не стремится объяснит все аспекты. В него не заложена функция обучения, даже с целью чтобы его меньше беспокоили. И обучается он на чем-то не всегда проверенном, не оцененном критически. Не ясно к чему это может привести.
---
Что-же можно предложить для улучшения ситуации? Может ИИ стоит ограничить не только морально-этически, как это сделано сейчас (и то от части). Возможно стоит ограничить обучение чтобы ИИ как-либо понимали что на вход подается материал который уже был "переварен". Также не стоит так фанатично делать доступным их функционал для всех, не упрощать а наоборот предъявлять какие-то требования к базовым знаниям человека прежде чем он сможет использовать ИИ в своей работе. В ответы стоит добавлять больше обучения, а возможно добавить ИИ "лень" чтобы он старался ответить так чтобы больше к нему не подходили с подобными вопросами.

К сожалению даже эти предложения не возможно донести, а тем более обсудить с создателями. Их основная задача - зарабатывать на новой технологии, пока она приносит максимальные прибыли. Какие-либо ограничения не будут вводиться, если не требуются для получения выгоды. Поэтому я и решил написать этот пост-ответ, чтобы по возможности обратить внимание простых пользователей ИИ на возможные проблемы.

Не стоит использовать ИИ без критической оценки результатов. ИИ как инструмент помогает быстрее проанализировать много источников и сделать выводы, но они всегда должны быть Вам понятны. Если, после того как задали вопрос ИИ, Вы получили ответ без пояснений логики, задайте уточняющие вопросы, проверьте правильность и логичность, обратитесь к известным Вам фактам. Только после этого стоит применять полученные результаты в работе или публиковать их.

Спасибо тем, кто дочитал. Надеюсь Вы сделаете выводы.

Показать полностью
4

Упрощенная обработка естественного языка

Обработка естественного языка (Natural Language Processing, NLP) — это основа, благодаря которой GPT и другие ИИ-модели понимают и генерируют текст. Она позволяет машинам анализировать и интерпретировать человеческий язык, помогая устранить разрыв между живым общением и машинной обработкой данных.

Основные компоненты NLP

Для эффективного взаимодействия с текстом NLP использует разные методы и технологии. Рассмотрим ключевые из них.

Токенизация — разбиение текста на части, а точнее разделение текста на отдельные слова, фразы или предложения (токены).

Пример: «Я люблю NLP!» → [«Я», «люблю», «NLP», «!»]

Почему это важно? Токенизация помогает системе анализировать структуру предложения и находить взаимосвязи между словами.

Анализ синтаксиса и семантики включает в себя:

синтаксический анализ проверяет грамматическую структуру предложений;

семантический анализ помогает понимать смысл слов и фраз в контексте.

Пример: «Кот сидит на подоконнике.»

Синтаксический разбор: [«Кот» (существительное), «сидит» (глагол), «на» (предлог), «подоконнике» (существительное)].

Семантический анализ: ИИ понимает, что «кот» — это животное, а «подоконник» — предмет мебели, и связывает их с общим смыслом фразы.

Анализ настроений — это определение эмоционального тона текста: позитивный, негативный или нейтральный.

Пример:

  • «Этот фильм был потрясающим!» → Позитив

  • «Мне не понравилось, это было скучно.» → Негатив

Где используется?

  • В маркетинге (анализ отзывов о товарах).

  • В соцсетях (определение тональности комментариев).

  • В службе поддержки (автоматическое определение жалоб).

Управление диалогами позволяет GPT поддерживать связные диалоги, запоминая контекст беседы.

Примеры:

  • «Какой сегодня курс доллара?»

  • «На 27 января курс доллара – 90 рублей.»

  • «А евро?»

  • «Курс евро – 98 рублей.» (ИИ понимает, что речь о курсе валют).

Почему это важно? Если бы GPT не учитывал контекст, он мог бы ответить: «Что такое евро?», что сделало бы диалог бессвязным.

Применение NLP в GPT

NLP помогает GPT решать сложные задачи, улучшая коммуникацию и автоматизируя рутинные процессы.

  • Чат-боты и виртуальные ассистенты автоматически отвечают на вопросы, анализируют запросы клиентов, помогают с оформлением заказов.

  • Автоматический перевод переводит тексты с сохранением контекста и смысла.

  • Генерация текстов помогает писать статьи, письма, резюме, рекламные тексты.

  • Распознавание голосовых команд используется в голосовых помощниках для управления устройствами.

Проблемы NLP и их решения

Хотя NLP развивается, некоторые сложности остаются.

Контекстуальная амфиболия (многозначность слов), слово «ключ» может означать как инструмент для отпирания замков, так и источник воды (родник): «Он нашёл старый ключ в лесу.» Неясно, идёт ли речь о металлическом предмете или природном источнике. ИИ, не имея дополнительного контекста, может интерпретировать слово неправильно.

Решение: учитывать контекст предыдущих слов в предложении.

Сложности с пониманием сарказма: «Отлично, опять дождь... (сарказм)»

Решение: использование тональных маркеров и анализа текста в контексте.

Непонимание культурных различий: Ирония, сленг, мемы могут быть сложны для ИИ.

Решение: постоянное обучение модели на актуальных данных.

Вывод: как NLP меняет общение с ИИ?

NLP делает GPT умнее, помогая ему генерировать осмысленные тексты, понимать контекст диалогов и анализировать человеческую речь.

По мере развития технологий обработка естественного языка станет ещё точнее, интуитивнее и полезнее, что откроет новые горизонты для взаимодействия человека и ИИ.

Отрывок из книги: Искусственный интеллект для всех: Автоматизируй, твори, вдохновляйся. Практическое руководство

Показать полностью
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества