Рерайт текстів і машинна маячня: що насправді може chatGPT

Можливості chatGTP вражають пересічного користувача. Це схоже на мрії наукових фантастів, які зображали машини розумними. В уяві автоматично спрацьовує логічний ланцюжок: якщо зараз машина може мені дати відповідь на запитання, то скоро вони зможуть робити всю роботу за нас.

Працюючи в індустрії штучного інтелекту, я отримав доступ до chatGTP задовго до того, як його запустили в Україні, і мав змогу протестувати його можливості. Ми досліджували, як можна використати цю модель у практичних цілях. Адже окрім безкоштовного, усім знайомого сайту, ще є і професійний платний продукт, з яким можна інтегрувати додаток і використовувати його функціонал.

Заглянемо ж під «капот» chatGTP, щоб краще зрозуміти, як він працює.

Як це працює

Штучний інтелект – гучна назва для групи алгоритмів для розв’язання завдань, невідомих наперед. В бізнесі та науці ці алгоритми використовують для передбачення. Існує два широко відомі типи задач машинного навчання – регресія та класифікація. Регресія використовується для прогнозування числових значень, наприклад, ціна нерухомості на основі характеристик квартир. Кожній характеристиці призначається вага, де окремі характеристики, такі як відстань від метро та розмір квартири, мають високий рівень впливу на ціну (100%), тоді як інші, такі як номер будинку або прізвище власника, вже впливу не мають (0%).

Класифікація використовується для визначення ймовірності належності до певного класу, заснованого на характеристиках. Наприклад, це може бути «чоловік» або «жінка», «жовтий» або «зелений». Зазвичай характеристики можуть вказувати на кілька класів, і тоді штучний інтелект вибирає той клас, який набирає більше балів – наприклад, якщо на «зелений» вказує 54%, а на «жовтий» 46% інформації, то обирається «зелений».

Для розв’язання цих задач потрібна історична інформація, на якій машина навчається та формує модель. Коли модель вже сформована, то їй можна надавати характеристики, а на їх основі вона видаватиме передбачення.

ChatGPT – це величезна мовна модель, яка прогнозує вірогідність появи слова в залежності від контексту, подібно до того, як змінюється ціна квартири в залежності від її характеристик.

Основна модель була навчена протягом тривалого періоду, а її перенавчання коштує дуже дорого. Ця модель не змінюється, але знає мовні закони й може оцінювати вплив контексту на передбачення кожного наступного слова. Наприклад, якщо в контексті є слова «літо» та «листя», то поруч має бути слово «зелений», а якщо «осінь» та «листя», то «жовтий». 

В основну незмінну модель можна додати власний контекст, якому буде приділятися більше уваги, ніж у базовій моделі. Це дозволить локально перенавчити модель, щоб вона змогла правильно використовувати слова у новому контексті. Наприклад, можна налаштувати модель на використання «жовтого» для листя влітку, а «зеленого» восени. Але це не впливає на основну модель, і якщо діалог закінчиться, вона забуде про ці зміни.

Як можна використати

Коли зʼявилася можливість досліджувати ChatGPT, я почав розмірковувати, як я можу його використати як дописувач Української Вікіпедії. Мої експерименти дозволили мені доволі успішно використати цю систему у кількох випадках.

Переказ

Існує багато систематизованих каталогів статей, такі як «Червона книга України», що потенційно можуть стати джерелом для Вікіпедії. Однак згідно з її правилами, в неї не можна вставити оригінальний текст джерела. Статті можна переписати, але це дуже затратний процес. А ось ChatGPT може перефразовувати текст іншими словами швидко і безкоштовно.

Наприклад, беремо оригінальний текст статті про карпатський лишайник, що вимирає, заганяємо в ChatGPT і в результаті отримуємо оновлений матеріал, до якого не присіпаються адміністратори Вікіпедії.

Правка «пошкодженого» тексту

Іншим джерелом Вікіпедії завжди слугувала перша багатотомна Українська радянська енциклопедія, яку видавали 1960-х роках під керівництвом Миколи Бажана. Частина статей у підчищеному від радянської пропаганди варіанті перекочувала у Вікіпедію давно, проте багато чого так і не перенесли. Одна з проблем цього процесу – велика кількість скорочень та абревіатур та наявність «пошкодженого» розпізнаного тексту зі сканованих версій. ChatGPT може розгорнути скорочення, прибрати перенесення та загалом покращити текст, таким чином роблячи його доступним для публікації у Вікіпедії. 

Стискання інформації

Для Вікіпедії, як і будь-якої енциклопедії, потрібно готувати стислі статті, без занадто детальних фактів. ChatGPT уміє скорочувати великі тексти. Наприклад, абзац, де розповідається про історію населеного пункту, може стиснутися до «історія села налічує вже понад 400 років». Оскільки чат не може розрізняти важливість інформації, то його скорочення можуть вирізати найцікавіше.

Добір слів

У процесі написання будь-якої статті, автор зіштовхується з потребою підібрати влучне слово чи знайти влучний відповідник канцеляризму. Зазвичай для таких задач використовують словники. Але набагато простіше запитати синонім слова у ChatGPT.

Переклад

У Вікіпедії є власний інструмент перекладу статей з інших мов, що відразу переформатовує тексти з розміткою вікі. Але якщо потрібно перекласти невеликий шматок зовнішнього джерела, ChatGPT показує хороший результат. Згідно з самою структурою роботи мовної моделі, вона розуміє контекст, і тому їй можна давати комплексні задачі – наприклад, переклади й скоротити.

Форматування тексту

Вікіпедія має власну мову розмітки сторінок Wikitext. За допомогою команд чату можна робити просте форматування. Наприклад, зробити з кожного елементу списку посилання. При цьому задачі можна ставити довільно своїми словами: «візьми спочатку постав отакий символ, в кінці такий» тощо.

Багато проблем

Попри ці корисні інструменти, у роботі з текстом я дійшов до висновку, що ChatGPT не готовий до серйозних задач і залишається, поки, забавкою. Впровадження в реальних складних проєктах заважають такі характеристики:

Амнезія

Як уже згадувалося, перенавчити мовну модель дуже довго і коштує це дуже дорого. У такої моделі завжди буде суттєвий пробіл у знаннях. Наразі він складає 2 роки. Тобто його не можна попросити відповісти на питання: «Як часто до тебе звертаються українською мовою?», бо чат, по-перше, немає доступу до такої інформації, а по-друге, він не вміє виконувати логічні задачі, які не існували кілька років тому.

Обмеження токенів

Модель, очевидно, тренувалася на шматках текстів, розміром у 2049-4096 характеристик. Їх в ChatGPT назвали токенами (здебільшого слова, розділові знаки, символи). Кілька тисяч – це доволі невеликий шматок тексту. Модель не може приймати й віддавати тексти, що перевищують цю кількість. Таким чином цей інструмент навіть шкільний реферат написати не зможе, оскільки для нього потрібно 10-15 сторінок, а таке ChatGPT не потягне. 

Машинна маячня

Мовна модель не здатна відрізняти реальність від вигадки. Проблема криється у самій суті роботи мовних моделей. Вони не формують ідеї, а потім оцінюють їх правильність та перетворюють на слова. Цим займаються люди. Кожне нове слово у відповіді генерується автоматично після попереднього слова. Іншими словами, модель – це генератор слів та ідей, багато з яких вигадані нальоту, і ви не зможете їх відрізнити від правди, не провівши ще більш затратного фактчекінгу.

Через абсолютно довільну і не дуже помітну зміну фактів у статтях, що я готував для Вікіпедії, мені довелося відмовитися від своїх ідей використання ChatGPT. Наприклад, він міг непомітно в статті про художника змінити назву картини «Сніг у Лувесьєні» на «Сніг у Луврі», бо моделі так видалося більш правильно.

До прикладу наведу статистику ChatGPT, який спробували використовувати для збору інформації. У квітні 2023 року Українська Вікіпедія проводить Тиждень вимерлих організмів. Щоб сформувати для учасників список статей для перекладу, ми попросили зробити це ChatGPT і розкласти за категоріями. 20% назв він надав правильно, для 25% сплутав категорії, а ще 5% не були вимерлими. Решту 50% назв чат просто вигадав. Перевірка правдивості наданих результатів зайняла більше часу, ніж якби ми збирали їх вручну через пошуковик гуглу.

Через такі обмеження, використання ChatGPT наразі дуже ускладнене, якщо ви плануєте його застосовувати для бізнесових цілей. Тому його активно використовують переважно для створення смішних відповідей, що потім постять у соціальних мережах. Інфлюенсери, які часто не розуміють суті роботи моделей штучного інтелекту, роздувають бульбашку. Але інструменталізовано ця технологія безсумнівно увійде в наше життя, особливо там, де дозволяється помилятися і писати маячню – наприклад, у художній літературі.

При написанні тексту цієї статті використовувався ChatGPT у частині «Як це працює?», де він переказував іншими словами мій пост з фейсбуку, присвячений мовним моделям. Та у процесі добору синонімів до таких слів, як «перефраз», «частозатратний» тощо.

Читайте також: Кілька фактів про те, чому Китай і США стали наддержавами штучного інтелекту