Flashcards
Untitled
Cards in this deck (15)
- 1Processamento de Linguagem NaturalObjetivo de compreender uma linguagem humana, de maneira que possa ser manipulada por computadores.
- 2Processamento de uma Linguagem NaturalEntrada: Frase
Processamento: Fonologia, Análise morfológica, Sintática, Semântica e Pragmática
Saída - 3FonologiaEstudo dos sons;
Utilizada somente se o computador necessita identificar palavras a partir de sons. - 4Análise MorfológicaA morfologia reconhece as palavras em termos das
unidades primitivas que a compõem
Ex: Caç+ou - 5Análise SintáticaDefine a estrutura da frase, baseado na gramatica da língua escolhida;
pode ser TOP-DOWN E BOTTOM-UP;
Exemplo: Prolog - 6Análise SemânticaAssocia significado a uma estrutura sintática, a partir dos significados das palavras que a compõem.
- 7Análise PragmaticaVerifica se o significador atribuído a frase é o melhor baseado no contexto, ou seja, interpreta o todo.
- 8TécnicasTokenização, Stopwords, Estatística, Stemização e Lematização
- 9FrameworkNLTK (Linguagem Python).
- 10TokenizaçãoRemove caracteres especiais;
Remove Tags;
Segmentação de palavras; - 11Exemplofrom nltk_lite import tokenize
text = 'Hello world. This is a test string.'
list(tokenize.whitespace(text))
['Hello', 'world.', 'This', 'is', 'a', 'test', 'string.'] - 12EstatísticaProcura padrões e associações a modelos diante um gigante quantidade de textos
- 13StopWordsRemoção de palavras muitos frequentes, tipo "a","de","o" e entre outros, pois em grande parte não são informações relevantes na construção do modelo.
- 14StemizaçãoRedução das palavras para seus radicais;
Exemplo: Caçou - Caç - 15LematizaçãoReduz as palavras para sua forma original;
Exemplo: gata, gato, gatos,gatas = gato
tiver, tenho, tinha, tem = ter
Information
- Description
- Flashcards on Untitled, created by Marcelo Azevedo on 07/05/2019.
- Created by
- Marcelo Azevedo
- Views
- 7
- Rating