Prompt Engineering for Node.js developers [ukr]

Дякую. Ми з вами вже знайомі. І все ж я розповім трошки про себе, а далі поговоримо про Prompt Engineering та штучний інтелект у вигляді GPT, в тому вигляді, в якому ми його маємо зараз. На даний момент я квант в невеликому інвестиційному фонді. Квант – це спеціалізація, яка відповідає за розробку кількісних моделей. Фактично ми перевіряємо деякі гіпотези, збираємо аналітику з ринку і приймаємо рішення на основі цього. Також я є співзасновником невеликої консалтингової компанії, яка називається Redelgate AI. Ми розповідаємо компаніям про те, як штучний інтелект може змінити їхнє життя. Якщо застосувати саме підходи з використанням штучного інтелекту в процесах компанії, ви також можете з цього скористатися. Далі будуть посилання.

Що ми взагалі сьогодні будемо робити? У нас, здається, 40 хвилин на загальне обговорення. Я сподіваюся, що ми встигнемо все покрити, оскільки буде трошки живих прикладів, буде трошки аналітики від OpenAI. Загалом ми розпочнемо з того, що я дам вам макропогляд на штучний інтелект сьогодні, що це таке, звідки це прийшло, чому це важливо і як це змінить ваші робочі процеси найближчим часом. Далі ми на практиці побачимо, як саме ви можете використовувати Prompt Engineering у своїй роботі. І в кінці я розповім вам дуже базові, але фундаментально важливі концепції GPT, без яких будувати щось серйозне буде не неможливо, але нерозумно. Я сподіваюся, що сьогодні ви дізнаєтеся, що у вас з'явиться ментальна модель про те, що таке штучний інтелект. Далі ви зрозумієте поточні обмеження та можливості GPT. І також ви отримаєте, як мінімум, декілька технік Prompt Engineering для своїх робочих та щоденних проєктів.

Тож, перше це макропогляд. Можете, будь ласка, підняти руки, хто взагалі не користувався чатом GPT, не знайшов. Чи є в нас в цьому залі такі люди? Окей, добре. А хто з вас платить OpenAI 20 доларів на місяць за підписку GPT Plus? Супер, десь третина залу. Це чудово. Для вас це буде найактуальніша історія. Загалом, я раджу всім оплатити підписку на GPT-4, адже модель GPT-4 вона значно краща, ніж GPT-3 і 5, і безкоштовна модель. Ще раз. Зараз є можливість долучитися до мобільності. Вони додають в waitlist і потрохи розгрібають. Тобто, там є певна затримка, оскільки у них стався так званий product-market overfit. Тобто, бажаючих купити продукт набагато більше, ніж реально вільних GPU у світі. Тож, макропогляд наш починається з того, що GPT, компанія OpenAI випустила продукт ChatGPT. Вони зробили це минулого року. Позавчора був перший день народження ChatGPT. І вони не сподівалися, що цей продукт викличе хоч якусь відчутну реакцію, але насправді це продукт, який просто вибухнув. Буквально в перші години після релізу в них за буквально перші дні з'явилося більше, ніж мільйон користувачів. Тобто, для розуміння всіх продуктів в розрізі штучного інтелекту, які там випускала OpenAI, вони звертали увагу лише на тих когортах, які працюють з штучним інтелектом, працюють з обробкою природної мови. Тобто, загалом це були дослідники, тобто це тисячі, можливо десятки тисяч дослідників, але не мільйони. І тут вперше з'явилася ось така реакція публіки, що ChatGPT це щось абсолютно нове, це модель, яка дозволяє робити купу нового. І на сьогоднішній день це найшвидше зростаючий продукт.

В історії людства ми не маємо справи з ситуацією, коли за перші хвилини набрали мільйон користувачів, оскільки це просто переливання інстаграму у вигляді умовного твіттера від Мети. Це абсолютно незрозумілий продукт, його можливо навіть не варто було б створювати в принципі. Тож, ChatGPT. Скажімо, після випуску ChatGPT компанія OpenAI продовжила розвивати ідею GPT-шок. І насправді на момент релізу GPT вони вже мали нову версію моделі. І вони вирішили випустити простішу модель спочатку, щоб показати, на що вона здатна і отримати зворотний зв'язок від реальності. І на той момент у них вже була GPT-4, якою користувалися декілька приватних компаній. І через три місяці після релізу, три з половиною майже місяці після релізу ChatGPT компанія OpenAI заявляє, що вони випускають GPT-4. Це модель, яка значно краща, ніж ChatGPT. Але вона була довгий час у беті, і її розкатали для плюс-підписників, для тих, хто платить 20 доларів, буквально через місяць після того, як вона вийшла, наскільки я пам'ятаю. Вони також не розкрили деталей, як саме ця модель працює, оскільки до поточного моменту вони в OpenAI виходили з щорічними звітами про свою роботу, оскільки це була нон-профітна організація, яка не заробляла гроші і працювала. І ось вони випускають ChatGPT, яка просто вибухає, і вони вирішують трошки на цьому заробити, оскільки тренувати моделі – це дуже дороге задоволення, неймовірно дороге насправді. Їм потрібні були гроші, тому вони створили таку собі дивну структуру. На сьогоднішній день у нас є модель GPT-4 Turbo, яку згадував Сергій. Ця модель не тільки швидша, вона і розумніша, а також має доступ до даних не лише до сьогоднішнього дня, а й до квітня 2023 року.

Для прикладу, можна зазначити, що GPT-4 може пройти співбесіду в Google на позицію синьйор-інженера. Те, що, можливо, хтось з вас не зможе зробити, я точно не можу. Також GPT-4 може здати іспит на адвоката в штаті Нью-Йорк, а саме New York Bar. Це складний іспит, що складається з декількох сотень запитань у форматі "виберіть правильну відповідь" або "декілька правильних відповідей". На сьогоднішній день GPT-4 правильно відповідає на 90% питань цього іспиту, іншими словами, консистентно. Також варто відзначити, що GPT-4 не зупиняється в рості. Наразі 92% компаній Fortune 500 визнали його можливості і використовують його. Це, звісно, не є обов'язковим, проте багато публічних компаній купили GPT-4, щоб задовольнити очікування своїх інвесторів і продемонструвати наявність штучного інтелекту.

На сьогоднішній день 100 мільйонів активних користувачів щотижня використовують GPT. Це вражаюча кількість, що збільшує навантаження на інфраструктурну команду у OpenAI. Перед тим, як продовжувати, потрібно розуміти, що таке GPT і як працюють великі мовні моделі. Фактично, GPT є великою мовною моделлю штучного інтелекту, що складається з двох основних компонентів: параметрів (або ваг) і файлу запуску. Таким чином, велика мовна модель - це фундаментальний інструмент, на основі якого існує GPT-4. Успіх GPT також спонукав інших розробників, як от компанія Anthropic, до створення конкурентних моделей. На сьогоднішній день OpenAI залишається провідною і найпотужнішою моделлю на ринку. Тому рекомендується використовувати його в різноманітних проектах, як особистих, так і комерційних. Проте, важливо враховувати, як це впливає на нас сьогодні, особливо на конференціях з програмування. GPT може генерувати код і виділяти суть завдань, що може відчутно полегшити наші завдання. Тому там, немає ніякої магії, і вам, скажімо, якщо ви не знаєте, що питати в моделі, то модель вам навряд чи допоможе. Але якщо ви вмієте делегувати, якщо у вас є навичка такого базового менеджменту людей, то ці ж підходи можна перенести на роботу з моделлю. І далі я покажу вам, як це саме працює.

До прикладу, ви можете зрозуміти, яка анотація в коді. Давайте, всім видно екран? Добре. У нас буде трішки live-кодингу. Так, зараз це зробимо. У нас є моделька GPT-4. У нас є досить простий Prompt. Він складається з двох частин. Це контекст і задача. Тим, хто вивчав NLP, це natural language processing, розуміє, що наша мова людська складається з деяких компонентів. І от розділення контексту і задачі для чату на даний момент працює дуже добре. Адже, коли чат аналізує ваші Prompt, то йому доводиться робити це самостійно. І якщо ви пишете багатозначно, тобто у вас є можливість трактувати ваш Prompt по-різному, то будуть ставатися так звані галюцинації або місць інтерпретації. І він не зможе вам принести ту користь, яку він спроможний робити. На сьогоднішній день є в нас певний код, який існує як контекст. І далі ми йому кажемо, що скажи, яка анотація, це яка складність коду, і запропонуй solution, як ми можемо зробити його швидшим і більш читабельним. І далі нам OpenAI говорить, що цей код, він O від N, тобто він лінійний. І далі в нас пропонується декілька відповідей. Що цікаво, що ви далі можете з ним комунікувати і запитувати, уточнювати якісь ще моменти, або, наприклад, сказати йому, тобто можна його попросити переписати навіть цей код з JavaScript на Python. Він дуже корисний от саме в перекладі однієї мови на іншу. Тобто такий собі Google перекладач для коду. Ну і далі він перекладає код, який ви йому надали. Це перший приклад. Візьмемо з цього прикладу важливий висновок, що вам потрібно розділяти контекст і задачу.

Далі у нас ще один приклад. GPT вміє писати SQL і він вміє робити досить цікаві речі. Цей приклад вимагає трішки більшого Prompt. Тобто я підготував заздалегідь декілька Prompt. Ми відкриємо новий чат. Prompt полягає в тому, що, знову ж таки, у нас є структура контексту і задачі. І я йому кажу, що він буде в мене PostgreSQL адміністратором, який допомагатиме мені генерувати якісь тестові дані. І перевіряти перформанс бази і допомагати мені пришвидшувати цей перформанс. Я йому дав декілька задач, які йому потрібно робити. Для того, щоб виконати мою задачу, він запускає внутрішній Python-інтерпретатор, який саме допомагає йому писати коректний код. Він мені видасть ці скрипти, які я зможу потім вставити безпосередньо в мою базу і створити структуру. Зараз дочекаємося, що він нам відповість. Інколи він, до речі, тупить. Тобто ми про це поговоримо, про пропускну спроможність чатіку. Це є одна з найважливіших штук, про яку майже ніде не написано, але вона важлива.

Ось дивіться, він зараз тут трішки галюцинує, тому що він почав мені писати Python-код, а мені потрібен саме код SQL. Давайте дочекаємося, щоб він мені це дописав. Я йому зроблю ці правки. Ось, він в принципі дописує. Інколи він підвисає. Але це не проблема. Давайте ми просто скопіюємо код. В нас є 2 таблиці. Скажімо, ми робимо якийсь сервіс по збору донатів. В нас є донатери, тобто донори. І в нас є транзакції. Далі нам потрібно для цих таблиць згенерувати тестові дані, тобто якісь seed дані. І після цього запустити його в базі. Написати запит в базу, щоб зрозуміти, який перформанс у складної select query. І попросимо чат GPT нам допомогти її оптимізувати. І зрозуміти, які в нас є способи. Ось, він тут зараз здається. Дуже класична історія на цьому. Дуже класична історія на лайфкодингу. Так. Він нам запропонував створити ось 2 таблиці. Можна навіть копіювати одразу код. Я це зроблю через... В мене вже відкритий постик, а я створив невелику базу для цього. Тобто код виконаний. Код виконується. Давайте ще далі створимо ще одну таблицю. В нас є 2 таблиці тепер. Вони пусті. І тепер нам потрібно... Я йому кажу, що потрібно в SQL. І він мені зараз перегенерує з Python коду в SQL. Ну, і от, власне, він мені тепер пише скрипт. Скажімо, нам потрібно засетапити, скільки? 50 тисяч донорів і 250 тисяч транзакцій. Я не буду брати більше, тому що потрібно... Це займе більше часу, ніж у нас зараз є. Так, ну, в нас, власне, є 50 тисяч. Ми його запускаємо. Він виконується, я думаю, що буде виконуватись декілька секунд. 4,2 секунди. В нас є донори.Добре.

Далі ми зробимо те ж саме з транзакціями. Тут скрипт буде виконуватися трішки довше. Нам потрібно змінити з 1000 транзакцій на 100 000. 100 000, все вірно. Давайте ми запустимо. Ми бачимо, що в нас є проблема. Він, типу, у нас є якась помилка. І ми можемо піти на Stack Overflow і її порішити. Або ми можемо відправити чатіку цю помилку. І він нам, по-перше, розповість, чому ця помилка сталася, що дозволить вам відповісти. Щоб вам навчитися і не повторювати цього в своєму коді. Також він її виправить. І, власне, передруковує нам повністю весь код. Добре. Давайте ми її перевіримо. І тепер в нас виконується код. Я думаю, що це займе секунд 30, щоб забити на... А, тут всього 1000. 1000 транзакцій. Зараз, секунду. Добре. Окей. Щось не сталося. Що сталося? Щось підвисла база. Секунду. Давайте ми перезапустимо цей код. Ми його змінимо на 250 000. Спробуємо запустити ще раз. Окей. Нехай він виконується. І тепер нам потрібно для цього ж коду написати запит, який дозволить нам протестувати цю помилку. Протестувати продуктивність саме бази. Тому ми йдемо і кажемо йому, що згенерує мені складний select на базі цих даних, які у нас є. Він нам генерує цей select, який включає в себе там різні каунти, average, min, max, купу joinів, group by. Тобто досить складну історію. Так, у нас база все ще виконує скрипт. Зараз щось йому не добре. Я думаю, що нам треба повернутися. І перегенерувати. Згенеруйте мені знову seed. Давайте. Так, він зараз все нам передрукує. Так, все зрозуміло, в чому проблема. Ми використовували там, не в тому місці поправили кількість транзакцій в Batch. Так, тут у нас 50 тисяч. Тут у нас буде зараз 250 тисяч транзакцій. Вони виконуються. Зараз, зараз, я думаю, що тут є нюанс. Так, так, так. Ну, майже. Anyway. Anyway, ми можемо повернутися назад.

Він нам згенерував запит. І ми можемо задати питання по тому, щоб він нам оптимізував подібний, щоб він нам оптимізував наш код. І запит, і виконання. Зараз, секунду. Тут. Ресурси та тестування. Так, так, так. Ми повернемось. Зараз сюди. Ось. Власне, він нам пропонує зразу ж створити індекси. Індекси – це найпростіший розв'язок для того, щоб підвищити продуктивність вашого коду. Але також є ряд інших рішень, які також прискорюють роботу вашого коду. У тому числі, там, матеріалізовані представлення. У тому числі, розділення таблиць. І так далі. Там,, аналіз роботи. І ви можете, як Node.js Developer, виконувати з чатом ось ці ці операції. І вам не потрібно шукати сіньйора, який вам буде повністю розкладати всі кроки на шляху. І ви зможете приходити до ваших сіньйорів або до ваших тімлідів вже з певним спектром рішень від чату GPT. І валідувати з ними. Як саме. Це має працювати і це має сенс. Адже, нагадаю, що чат GPT, він видає нам інформацію, яка схожа статистично, але не завжди по фактам.Тому важливо валідувати з вашим нетворком саме аутпут цієї моделі. І тим не менш, навіть з цим обмеженням чат GPT вже може приносити вам досить багато користі.

Ось. Також, поза подібним підходом. Чат GPT може вам. Генерувати тестові дані, може дебажити ваш код, може допомагати вам додавати логи. Може писати документацію, додавати коментарі. Може допомагати в вашому вивченні якихось нових технологій або навіть вивченні мови. Тобто ви можете використовувати мобільну версію чат GPT для того, щоб поговорити голосом. Тому що там є всередині модель Vispr від OpenAI. І ця модель, вона дозволяє вам спілкуватися. І вона вас розуміє. Далі ви можете використовувати модель для того, щоб вирішувати якісь ваші базові щоденні проблеми. І модель, вона виконує роль такого асистента, який вас розуміє. І це також прискорює роботу. Тобто дозволяє вам уникати якихось затиків, з точки зору прокрастинації. І загалом вона, в принципі, добре справляється з написанням якихось скриптів, там bash скриптів, які дозволяють автоматизувати ваші робочі процеси.

Третя частина, вже остання, це три концепти GPT, які вам необхідно знати, щоб ефективно працювати з GPT. Це токенізація, це те, власне, як модель перетворює ваш текст на вектори, на структуру і набір цифр. І потім витягує з цього сенс. І готує для вас відповідь. Друге, це контекстне вікно. Це те, наскільки чат пам'ятає вашу розмову і наскільки довго ви можете з ним спілкуватися. І останнє, це не очевидно, це його пропускна здатність. Як саме нарізати завдання, щоб він виконував вашу роботу з точністю, а не просто надаючи вам якісь поверхневі рішення.

Перша, це токенізація. Варто розуміти, що токени на різних мовах будуть мати різну, скажімо, кількість токенів під кожну мову. Мова англійська, вона найбільш ефективна на сьогоднішній день, тому що модель тренували саме на англійській, на англійському Dataset. А якщо ми використовуємо, до прикладу, українську, то на цьому екрані ви можете побачити, що українською мовою токенізація буде займати 600 токенів. У контекстному вікні. Токени — це частинки слів, зазвичай це вважається як, скажімо так, три чверті слова. Від мови до мови це залежить, тому що в українській мові ми можемо бачити, що слова розбиваються зовсім іншими складами, ніж англійська. І в англійській інколи навіть цілі слова, вони відіграють роль токенів. Нам потрібно за цим стежити, адже в нас є обмеження контекстного вікна. І це наступний момент.

Контекстне вікно — це короткострокове вікно. Довгострокова пам'ять моделі. В нас на сьогоднішній день немає довгострокової пам'яті моделі. І тому все, що ми говоримо моделі, воно зберігається лише в рамках одного чату. І коли ви відкриваєте новий чат, то модель про вас нічого не знає. Вам потрібно знову-знову наповнювати це контекстне вікно. Не дивлячись на те, що на сьогоднішній день GPT Turbo, вона має 128 тисяч токенів контекстного вікна. Це приблизно 300 сторінок тексту. Або, перекладаючи на людську мову, це, не знаю, рік розмов з вами. Важливо розуміти, що такі обмеження є. В інших моделях ці обмеження значно менші. Наприклад, Cloud 2, вони до останнього часу мали обмеження в 100 тисяч токенів. Зараз вони використовували 200 тисяч токенів. Проблема з контекстним вікном, вона досить фундаментальна. І там воно виросло за наступний рік до, можливо, мільйона токенів. Але це все ще не жорсткий диск на вашому лептопі. Тобто там не буде гігабайтів даних. І, очевидно, це те обмеження, з яким доведеться працювати. Опенсорсні моделі, до речі, мають обмеження, типу, 8 тисяч токенів, що робить їх значно менш привабливими для розробки. Контекстне вікно, воно працює по принципу слайду. Тобто модель не зупиняється, коли ви виходите за рамки контекстного вікна, а вона зміщується, тобто вона поступово забуває. Це якби ви, скажімо, мали розмову з людиною десь 4-5 годин, і вже під кінець розмови забували, з чого ви розпочали. І таким самим чином модель, вона працює, і тому розмова буде нескінченною, але в якийсь момент модель буде забувати якісь факти про вас, і про це теж треба знати і розуміти. І ви, скажімо, можете навіть не звертати на це увагу, тобто це, скажімо, системний дизайн моделі, який дозволяє вам мати неперервний досвід під час роботи з моделлю. Але якщо ви робите якусь велику задачу або навіть цілий проект в GPT, то дуже ймовірно, що ви вийдете за контекстне вікно, і можете отримувати досить нестабільні результати, що буде впливати на ваш користувацький досвід, і ви можете зробити висновок, що ця модель нічого не вміє, я з нею не буду працювати, вона не потрібна. Це помилка.

Третя — це пропускна здатність. Модель, саме інтелектуальні спроможності моделі, вони відрізняються від моделі до моделі. Можна умовно сказати, що модель 3.5 — це восьмирічна дитина, а модель GPT-4 — це дванадцятирічна дитина. І, відповідно, завдання, які ви їй будете задавати, якщо це складні комплексні завдання, які вимагають багато кроків, то модель, вона буде оптимізувати свої обчислювальні потужності, і вона буде уникати виконання завдання в повній мірі. У той же час, якщо ви наріжете завдання на відповідні таски, це те, що роблять менеджери зазвичай, то модель буде виконувати їх саме. Наприклад, у нас є таке завдання, що нам потрібно нагенерувати 10 тисяч неймінгів продуктів, і в першому випадку модель вам нагенерує 10 прикладів і скаже, ну, далі давайте генерувати поступово. А в другому випадку ви скажете, нагенеруй мені, будь ласка, 25 прикладів продуктів, і модель зразу ж без пояснень нагенерує вам ці 25 неймінгів продуктів. Це те, що називається пропускною здатністю. Вам важливо контролювати те, наскільки забита пропускна здатність в чаті, бажано на один чат мати одну задачу, щоб не змішувати контексти, і це дозволить вам максимально ефективно використовувати чат GPT, для того, щоб досягати результатів в своїй роботі. Наприклад, у вас може бути один чат, який додає логи до вашого коду, ви йому показуєте приклад, який код вам саме потрібно, і модель буде виконувати вам завдання від файлу до файлу. Звісно, можна сказати, що у нас є GitHub Copilot, але поки у вас немає GitHub Copilot X, який працює на GPT-4, то стандартний Copilot працює гірше, ніж GPT-4. Також ще раз і ще раз нагадаю, що модель інколи галюцинує, тобто, за рахунок того, що наша мова, в тому числі та, яку я використовую, вона не ідеальна і багатоконтекстуальна, багатоперспективна, то модель інколи не розуміє, що ви від неї хочете, і якщо ваш Prompt написаний таким рваним текстом, типу, зроби одне, а потім інше, а потім третє, модель втрачає пріоритетність і не розуміє, що їй реально робити, і просто намагається видати вам хоч щось. Не буде такого, що модель вам скаже, сорі, я не можу. Хіба якщо ви будете питати її якусь цензуровану історію видати. І тому важливо пам'ятати про те, що інколи модель галюцинує і не використовує... Скажімо, перепровіряти її, тобто, якщо ви її перепровіряєте і вказуєте їй на її помилки, то другий, третій аутпут, скоріш за все, буде набагато кращий, ніж перший. І модель, вона, фактично, вона повторює за людьми статистично правильні відповіді.

І інколи це критично, тобто, ви там інколи не можете, скажімо, якщо ви працюєте з фінансовими транзакціями, то цього недостатньо, щоб дати моделі хендлити всі ваші транзакції, але достатньо, наприклад, щоб зробити саппорт, включаючи там assistance API і прокидання контексту. Ось, поза Prompt Engineering нас в минулому місяці підвезли GPTs, тобто, це кастомні моделі, які ви можете навіть без навичок програмування створювати для своєї організації. Воно потребує поки що платної підписки на GPT, але це дозволяє вам створити умовні Q&A моделі, які ви будете використовувати в рамках своєї організації, вони будуть заточені під окремі задачі. Це дозволяє вам один раз зробити роботу над Prompt Engineering, скажімо, створити Prompt, запихнути їх в модель і перевикористовувати цю модель від задачі до задачі. Також сам Prompt Engineering, це саме референс до кейсу Сергія, він розбивається на дві частини. Це саме Retrieval Augmented Generation, тобто прокидання більшого контексту, або Fine Tuning. Fine Tuning – це, як би, адаптація моделі, адаптація параметрів моделі до своїх задач. Тобто, це є дві таких моделі. Це розгалуження по тому, куди можна йти, щоб покращити результати свого Prompt Engineering, адже Prompt Engineering не є рішенням для всього-всього-всього.

Далі, глобально, до чого ми йдемо, то це до операційної системи, як LLM. Тобто, наші поточні рішення, вони нікуди не дінуться, але над ними, скоріш за все, з'явиться і буде можливість створити надбудову, умовно, через декілька інстансів, великих мовних моделей, які будуть надсилати запити від однієї айпішки до іншої і прибирати таким чином людей з процесу, пришвидшуючи роботу великих компаній. Ось, це те, куди ми йдемо. Це, скоріш за все, перспектива декількох років, ніж року, але побачимо, тому що темпи розвитку неймовірні. Ось, і також, в завершення, варто намагатися виправляти свої помилки, як GPT. У нього є така історія, як self-attention. Тобто, сам GPT, він працює досить погано з цифрами. І отже, якщо запитати його навіть зараз, Prompt, задати йому Prompt, що чи є 450-90% від 500, він спочатку відповідає, що ні, а потім в процесі видачі він аналізує свою видачу, каже, ні, я роблю якусь діч, і відповідає під кінець, що так, дійсно, це 90% від 500, вибач за конфузію. Раджу робити так само. Мої контактні дані ви можете мені написати в Telegram, в Instagram, в LinkedIn з приводу ваших запитань по Prompt Engineering більш детально. І я готовий відповісти на ваші питання. У нас ще є декілька хвилин, я сподіваюсь, ми зможемо покрити якусь кількість запитань.