Uploads

Watch and track your favorite playlist.

Curated by: Ганна Пилєва: про дані, технології і карʼєру в ІТ (225 videos)


Currently Playing: Навчаємо машину відстежувати згадки брендів: порівняння ML-підходів

Безкоштовний міні-курс *«Як увійти в ML з потенціалом ЗП до $12к/міс»* 👉 https://www.dataloves.academy/mini-courses/yak-uviyti-v-ml Забрати *код і матеріали* для роботи з моделлю можна в нашому *Telegram-каналі* 👉 https://t.me/hanna_pylieva_data_channel/1391 Як навчити машину *знаходити згадки компаній, людей і міст в українських текстах?* У цьому відео порівнюю два підходи до Machine Learning: *власну ML-модель* на базі XLM-RoBERTa та велику *мовну модель Claude Haiku.* Перевіряємо точність, швидкість обробки та вартість кожного рішення на практичній задачі. *Що дізнаєтесь у відео:* — як працює *Named Entity Recognition (NER)* і як за допомогою ML знаходити назви компаній, людей і міст в українських текстах — як підготувати дані, розмітити текст *за схемою BIO та донавчити XLM-RoBERTa* для розпізнавання іменованих сутностей — *як оцінити якість моделі* за допомогою метрики F1 і перевірити її роботу на реальних прикладах — чим *власна ML-модель відрізняється від Claude Haiku* за точністю, швидкістю та вартістю обробки великої кількості текстів — *коли варто використовувати* Machine Learning, LLM або поєднувати обидва підходи для розв'язання бізнес-задач *ТАЙМІНГ:* 00:00 Як порівняти власну ML-модель із великою мовною моделлю 00:37 Бізнес-задача: пошук компаній, людей і локацій у текстах 01:16 Чому регулярки та звичайний пошук не розв'язують задачу повністю 01:59 Де використовують розпізнавання іменованих сутностей 03:01 Як NLP допомагає анонімізувати персональні дані 03:30 Що таке Sequence Labeling і Named Entity Recognition 04:00 Два підходи: Machine Learning та LLM 04:34 Починаємо практику: модель із Hugging Face 05:07 Як працює розмітка BIO 06:23 Встановлення бібліотек і налаштування Google Colab 07:05 Підключення GPU для швидшого навчання 07:36 Завантаження датасету для української мови 08:08 Як поділяють дані на train, validation і test 09:28 Перегляд прикладу тексту з розміченими сутностями 10:02 Аналіз кількості сутностей різних типів 10:18 Навіщо токенізувати текст перед навчанням моделі 11:00 Як працює токенізація у Transformers 11:30 Модель XLM-RoBERTa Base і її токенізатор 12:10 Як вирівняти мітки BIO з токенами 12:34 Чому якісний препроцесинг впливає на результат 13:35 Чому звичайної accuracy недостатньо 14:09 Чому для оцінювання використовують F1-score 14:45 Precision і Recall: як оцінити якість розпізнавання 15:09 Як розраховується F1-score на прикладі 16:31 Навчання XLM-RoBERTa для розпізнавання сутностей 17:09 Що таке fine-tuning і скільки параметрів має модель 17:28 Як запустити навчання моделі самостійно 18:00 Завантаження готової моделі з Google Drive 18:22 Де отримати токени Hugging Face та Anthropic 19:28 Тестування моделі на нових українських текстах 20:13 Як визначити точні межі знайденої сутності в тексті 20:41 Тестуємо модель на власних прикладах 21:19 Як модель розпізнає локації в різних контекстах 21:57 Переходимо до порівняння з великою мовною моделлю 22:22 Швидкість обробки текстів за допомогою XLM-RoBERTa 22:53 Налаштування Claude Haiku для розпізнавання сутностей 23:35 Як побудувати промпт для Named Entity Recognition 24:04 Підготовка текстів для перевірки Claude Haiku 24:31 Як порівнюємо дві моделі в експерименті 25:08 Результати порівняння: F1-score і швидкість 26:06 Які помилки допускає LLM під час розпізнавання сутностей 27:00 Наскільки стабільно Claude Haiku повторює результати 27:15 Чому власна ML-модель дає відтворюваний результат 27:30 Скільки коштує обробка мільйона текстів 28:29 Порівняння вартості та часу обробки з LLM API 28:51 Чому Machine Learning досі актуальний 29:12 Коли краще використовувати LLM, а коли власну модель 30:01 Як працює гібридний підхід ML + LLM 30:25 Як зберегти та опублікувати власну модель 30:49 Як не втратити модель після завершення сесії Google Colab 31:29 Чого навчають на курсі Machine Learning & AI Engineering 32:02 Як навчитися будувати AI-системи від прототипу до продакшену *КУРСИ ТА НАВЧАННЯ* Курс «Аналітик даних + AI» 👉 https://www.dataloves.academy/courses/analitik-danih?utm_source=youtube Курс «Machine Learning & AI Engineering» 👉 https://www.dataloves.academy/courses/machine-learning?utm_source=youtube Курс «Start to Freelance» 👉 https://www.dataloves.academy/freelance?utm_source=youtube Майстер-клас «АІ для аналізу даних» 👉 https://www.dataloves.academy/mini-courses/ai-dlya-analizu-danih?utm_source=youtube 📌 *Підписуйтесь на канал* — тут я розповідаю про Data Science, Machine Learning, AI, практичне застосування технологій та кар'єру в IT. 💬 Напишіть у коментарях: *чи пробували ви навчати власні ML-моделі? Який підхід вам цікавіший: власна модель, LLM чи їх поєднання?*


Tracks in this Playlist