Processamento de Linguagem Natural com BERT e Python

Jones Granatyr, Martin Jocqueviel, SuperDataScience Team, and IA Expert Academy

A área de Processamento de Linguagem Natural - PLN (Natural Language Processing - NLP) é uma subárea da Inteligência Artificial que tem como objetivo tornar os computadores capazes de entender a linguagem humana, tanto escrita quanto falada. Alguns exemplo de aplicações práticas são: tradutores entre idiomas, tradução de texto para fala ou fala para texto, chatbots, sistemas automáticos de perguntas e respostas, sumarização de textos, geração automática de descrições para imagens, adição de legendas em vídeos, classificação de sentimentos em frases, dentre várias outras.

A área de Processamento de Linguagem Natural - PLN (Natural Language Processing - NLP) é uma subárea da Inteligência Artificial que tem como objetivo tornar os computadores capazes de entender a linguagem humana, tanto escrita quanto falada. Alguns exemplo de aplicações práticas são: tradutores entre idiomas, tradução de texto para fala ou fala para texto, chatbots, sistemas automáticos de perguntas e respostas, sumarização de textos, geração automática de descrições para imagens, adição de legendas em vídeos, classificação de sentimentos em frases, dentre várias outras.

Dentro do contexto de Processamento de Linguagem Natural, a arquitetura BERT (Bidirectional Encoder Representations from Transformers) tem ganhado muita atenção dos desenvolvedores e atualmente é considerada como o modelo de Machine Learning mais eficiente nessa área. Muitos pesquisadores a consideram como um marco na área de PLN, mudando um pouco o paradigma de como as aplicações são implementadas.

Atualmente, o setor de Inteligência Artificial está cada vez mais necessitando de soluções de Processamento de Linguagem Natural, ou seja, aprender essa área juntamente com a arquitetura BERT pode ser a chave para trazer soluções reais para necessidades presentes e futuras. Baseado nisso, este curso foi projetado para quem deseja crescer ou iniciar uma nova carreira na área de Processamento de Linguagem Natural, obtendo uma sólida experiência nessa área utilizando modernas técnicas de Deep Learning e Redes Neurais Artificiais.

Aproveitaremos a enorme quantidade de dados de texto disponíveis on-line (duas bases de dados reais) e exploraremos duas das principais técnicas de PLN, o que lhe dará o poder necessário para enfrentar com êxito qualquer desafio do mundo real. Além de aprender a teoria, você também desenvolverá três estudos de caso:

Criação de um classificador de sentimentos utilizando dados do Twitter e a integração de um tokenizador BERT com Redes Neurais Convolucionais
O segundo estudo de caso é semelhante ao primeiro, porém, utilizaremos a camada de embedding do BERT para integração com uma Rede Neural Convolucional para classificar sentimentos
Criação de um sistema de perguntas e respostas (Q&A - Questions and Answers) utilizando o BERT. A ideia é fazer uma pergunta sobre um determinado texto e o algoritmo vai indicar onde está a resposta para a nossa pergunta, muito similar com o que ocorre nos fóruns de pesquisa

Utilizaremos tecnologias modernas, como a linguagem Python, o TensorFlow 2.0 e o Google Colab, garantindo que você não tenha problemas com instalações ou configurações de softwares na sua máquina local.

Enroll now

Or start a personal plan

And upskill your team with Udemy

What's inside

Learning objectives

Crie um sistema de perguntas e respostas (q&a) que pode ser utilizado em fóruns de pesquisas
Ligue o bert à uma rede neural convolucional especializada em processamento de linguagem natural para classificação de sentimentos
Entenda a história do bert e por que ele mudou a área de processamento de linguagem natural (pln)
Use as ferramentas de tokenização fornecidas com o bert para pré-processar textos com eficiência

Use a camada bert como incorporação para conectá-la ao seu próprio modelo de processamento de linguagem natural (pln)
Use o bert como um modelo pré-treinado e depois ajuste-o para obter melhores resultados
Obtenha modelos disponíveis no tensorflow hub, a plataforma onde você pode obter modelos já treinados
Use o google colab e o tensorflow 2.0 para suas implementações de ia

Crie um sistema de perguntas e respostas (q&a) que pode ser utilizado em fóruns de pesquisas
Ligue o bert à uma rede neural convolucional especializada em processamento de linguagem natural para classificação de sentimentos
Entenda a história do bert e por que ele mudou a área de processamento de linguagem natural (pln)
Use as ferramentas de tokenização fornecidas com o bert para pré-processar textos com eficiência
Use a camada bert como incorporação para conectá-la ao seu próprio modelo de processamento de linguagem natural (pln)
Use o bert como um modelo pré-treinado e depois ajuste-o para obter melhores resultados
Obtenha modelos disponíveis no tensorflow hub, a plataforma onde você pode obter modelos já treinados
Use o google colab e o tensorflow 2.0 para suas implementações de ia

Syllabus

Introdução

Boas-vindas e conteúdo do curso

Mais sobre Inteligência Artificial

Recursos para download

Save this course

Save Processamento de Linguagem Natural com BERT e Python to your list so you can find it easily later:

Save

Activities

Be better prepared before your course. Deepen your understanding during and after it. Supplement your coursework and achieve mastery of the topics covered in Processamento de Linguagem Natural com BERT e Python with these activities:

Organize and Review Course Materials

Show steps

Enhance your learning experience by organizing and reviewing course notes, assignments, and other materials.

Show steps

Create a system for organizing your course materials.
Regularly review and summarize key concepts from lectures and readings.

Review Python programming basics

Show steps

Revisiting Python programming basics will strengthen your foundational understanding of the language, making it easier to grasp the advanced concepts covered in this course.

Browse courses on Python Programming

Show steps

Go through online tutorials or documentation to refresh your understanding of Python syntax, data types, and control flow.
Solve coding challenges on platforms like LeetCode or HackerRank to practice applying Python concepts.
Review your notes or previous projects to reinforce your knowledge of Python programming.

Review Language Processing Concepts

Show steps

Reinforce your foundational understanding of language processing concepts that will be central to this course.

Browse courses on Language Processing

Show steps

Review core NLP concepts such as tokenization, stemming, and lemmatization.
Explore different NLP techniques for feature extraction and text representation.

Six other activities

Expand to see all activities and additional details

Show all nine activities

Practice Tokenization Exercises

Show steps

Develop proficiency in tokenization, a fundamental NLP technique used throughout this course.

Browse courses on Tokenization

Show steps

Complete tokenization exercises using various techniques.
Analyze the impact of different tokenization approaches on downstream tasks.

Complete coding exercises on NLP tasks

Show steps

Engaging in coding exercises specifically designed for NLP tasks will provide you with targeted practice, solidifying your comprehension of the concepts covered in this course.

Show steps

Find online platforms or textbooks that offer NLP-focused coding exercises.
Choose exercises that align with the topics covered in the course.
Allocate regular time for practicing these exercises to reinforce your understanding.

Engage in Discussion Forums with Peers

Show steps

Foster collaboration and knowledge exchange by actively participating in discussion forums with fellow learners.

Show steps

Contribute to discussions by sharing insights and asking questions.
Engage with peers' perspectives and provide constructive feedback.

Explore BERT embeddings for text classification

Show steps

By following guided tutorials on BERT embeddings, you can gain hands-on experience in applying this technique for text classification, enhancing your understanding of its practical applications.

Browse courses on Text Classification

Show steps

Identify reputable online courses or tutorials that provide step-by-step guidance on BERT embeddings.
Set aside dedicated time to work through the tutorials, following the instructions and completing the exercises.
Experiment with different parameters and data sets to observe the impact on classification accuracy.

Develop a Mini NLP Project

Show steps

Solidify your understanding by applying NLP concepts to a project, such as sentiment analysis or text classification.

Show steps

Define the scope of your project and gather the necessary data.
Implement NLP techniques to process and analyze the data.
Evaluate the performance of your project and identify areas for improvement.

Present Your NLP Project Findings

Show steps

Showcase your skills and understanding by presenting your NLP project findings to others.

Show steps

Prepare a presentation that clearly communicates your project's objectives, methodology, and results.
Deliver your presentation with confidence and clarity.
Incorporate feedback from your audience to refine your project.