Text Mining - Histórico de revisões

Franzbischoff em 14h57min de 23 de março de 2016

2016-03-23T14:57:34Z

Franzbischoff: Saúde e Desafios (by SublimeText.Mediawiker)

2016-03-23T14:49:24Z

Saúde e Desafios (by SublimeText.Mediawiker)

← Revisão anterior		Revisão das 15h49min de 23 de março de 2016
Linha 65:		Linha 65:

	== Text Mining na Saúde ==		== Text Mining na Saúde ==

			O termo ''Clinical Data Mining'' consiste na aplicação de técnicas de [[Data Mining\|data mining]] utilizando dados clínicos<ref name="Iavindrasana2009">Iavindrasana J, Cohen G, Depeursinge A, Müller H, Meyer R, Geissbuhler A: Clinical data mining: a review. Yearb Med Inform 2009(December 2015):121–33.</ref>. No campo biomédico, a importância do text mining se reflete no aumento de mais de seis vezes no número de publicações sobre text mining nas ultimas décadas. As companhias farmacêuticas consideram o text mining como uma "necessidade básica"<ref name="Kumar2007">Kumar VD, Tipney HJ: Biomedical Literature Mining. Volume 1159. New York, NY: Springer New York; 2007. [Methods in Molecular Biology]</ref>.

			Novas tecnologias tem sido desenvolvidas no âmbido do ''Clinical Data Mining'', como por exemplo um novo método de anotar dados clínicos não estruturados e transformá-los em uma matrix codificada e anonimizada de paciente-características utilizando terminologias médicas com uma das finalidades de detectar efeitos colaterais de drogas e efeitos colaterais de efeitos de associação de drogas<ref name="LePendu2013">LePendu P, Iyer S V, Bauer-Mehren A, Harpaz R, Mortensen JM, Podchiyska T, Ferris TA, Shah NH: Pharmacovigilance Using Clinical Notes. Clin Pharmacol Ther 2013, 93:547–55.</ref>.

			Eis algumas das aplicações do text mining na literatura biomédica:

			* Interações medicamentosas
			* Análise de co-ocorrencias e extração de informações biológicas
			* Procura de novidades biológicas ao desvendar informações "ocultas"
			* Predição da função de proteínas
			* Unidades moleculares funcionais para guiar o desenho de painéis de biomarcadores
			* Investigar redes biológicas a partir de textos completos de artigos
			* Prever futuras descobertas através da literatura científica atual
			* Compreender associações de doenças na descoberta de novas drogas
			* Eleger genes candidados a certas doenças
			* Identificação precoce de potenciais problemas de segurança farmacológica
			* Conhecimento sobre doenças

			== Desafios ==

			As questões relacionadas ao text mining que foram expostas acima são problemas de alto nível. Há entretanto alguns desafios que devem ser solucionados em nível de aplicação e métodos individuais. Assim como problemas de semântica, as variações biológicas podem ser um fator complicante. Por exemplo, o que acontece com uma espécie não necessariamente acontece com outra, e mais ainda, pode não acontecer na mesma espécie quando em diferentes circunstâncias (género, genética, história natural, ou diferenças de terapêutica)<ref name="Kumar2007"/>.

	== Referências ==		== Referências ==

Franzbischoff: /* Refinação do Texto */

2016-03-23T14:19:40Z

Refinação do Texto

← Revisão anterior		Revisão das 15h19min de 23 de março de 2016
Linha 21:		Linha 21:
	=== Refinação do Texto ===		=== Refinação do Texto ===

	Consiste em transformar texto livre em um formato intermediário, que pode ser baseado em documento ou baseado em conceitos. Na Figura 1 temos uma visão global do processo:		Consiste em transformar texto livre em um formato intermediário, que pode ser baseado em documento ou baseado em conceitos. Na Figura 1 temos uma visão global do processo.

	~~FIGURA~~ 1: Framework do text mining (Adaptado de Tan ''et al.''<ref name="Tan1999"/>).		[[Ficheiro:Bischoff text mining framework.png\|thumb\|right\|Figura 1: Framework do text mining (Adaptado de Tan ''et al.''<ref name="Tan1999"/>).]]

	As decisões sobre a forma de representar os documentos podem ter um impacto significativo na qualidade dos padrões posteriormente identificados. Existem alguns métodos que são mais comumente utilizados para representar o texto:		As decisões sobre a forma de representar os documentos podem ter um impacto significativo na qualidade dos padrões posteriormente identificados. Existem alguns métodos que são mais comumente utilizados para representar o texto:

Franzbischoff: Destilação do Conhecimento (by SublimeText.Mediawiker)

2016-03-23T12:31:29Z

Destilação do Conhecimento (by SublimeText.Mediawiker)

← Revisão anterior		Revisão das 13h31min de 23 de março de 2016
Linha 48:		Linha 48:

	=== Destilação do Conhecimento ===		=== Destilação do Conhecimento ===

			Após efetuada a representação de texto e a redução de dimensionalidade, o pesquisador analisa a coleção de textos. Abaixo verifica-se alguns métodos de análise independente de domínio que têm sido desenvolvidos para conjuntos de dados não-textuais:

			* '''Classificação (ou categorização):''' um algoritmo de classificação visa criar um modelo (o classificador) que mapeia com precisão, a partir de um conjunto de elementos usados para representar cada documento, para uma classe existente.
			* '''Agrupamento (''clustering''):''' o objetivo de um algoritmo de ''clustering'' é agrupar documentos de tal forma que cada grupo tenha um alto grau de similaridade intra-classe e baixo grau de similaridade inter-classe. Em contraste com a classificação, as classes são desconhecidas.
			* Regras de associação: as regras de associação capturam co-ocorrências entre termos de uma coleção de documentos. Tais regras são muitas vezes geradas usando o algoritmo Apriori<ref name="Agrawal1996">Agrawal R, Mannila H, Srikant R, Toivonen H, Verkamo a I: Fast discovery of association rules. Advances in knowledge discovery and data mining 1996:307–328.</ref>, que apresenta padrões para o usuário na forma: A?B, onde A e B são conjuntos de termos.

			Todos os métodos anteriores de transformação de dados e análise deve ter um propósito. A seguir exemplifica-se alguns dos problemas mais comuns:

			* '''Extração de relação:''' o objetivo é identificar as relações entre os dados recolhidos. Por exemplo, as relações gene-proteína, detecção de hipônimos, relações de conceito como "consiste em", "feito de", etc.
			* '''Detectar subjetividade:'''em linguagem natural define-se subjetividade como "aspectos da linguagem utilizados para expressar opiniões, avaliações e especulações". Detectar subjetividade pode ser útil para classificações automáticas em diversos contextos como política, avaliação de produtos, opinião pública, etc.
			* '''Coesão textual (''Textual Entailment''):''' em NLP, a coesão textual é uma relação direcional entre dois fragmentos de texto. Um dos objetivos é identificar se uma dada hipótese (H) está relacionada com uma dada expressão (T). A hipótese geralmente tem a forma de uma sentença única, e o texto pode ser de uma ou mais sentenças.
			* '''Sumarização:''' desde o final dos anos sessenta, procuram-se construir sistemas que geram automaticamente um resumo de um único documento através da seleção de texto já existente ou abstraindo o texto dos documentos originais, transformando e gerando novo texto.
			* '''Síntese de informação:''' embora a sumarização de multiplos documentos seja inerentemente uma atividade de síntese, as pesquisas sobre esta questão tem sido em torno do processo de revisão sistemática. O principal objetivo de uma meta-análise é equilibrar evidências contraditórias e redundantes na literatura científica.
			* '''Descoberta de conhecimento baseada em literatura:''' semelhantemente à síntese de informação, a sobrecarga de informação na literatura biomédica levou ao desenvolvimento da descoberta de conhecimento baseada em literatura, que é um processo de pesquisa sistematica da literatura existente para identificar novos conhecimentos.

	== Text Mining na Saúde ==		== Text Mining na Saúde ==

Franzbischoff em 10h51min de 23 de março de 2016

2016-03-23T10:51:07Z

← Revisão anterior		Revisão das 11h51min de 23 de março de 2016
Linha 45:		Linha 45:
	* '''Palavras frequentes (''stop words''):''' termos que ocorrem com freqüência no texto, mas têm pouco poder discriminatório como determinantes, preposições, etc.		* '''Palavras frequentes (''stop words''):''' termos que ocorrem com freqüência no texto, mas têm pouco poder discriminatório como determinantes, preposições, etc.
	* '''Poda de frequência:''' a remoção de palavras que aparecem em menos de n documentos (onde N é geralmente em torno de 5) ou mais do que m vezes (onde m é geralmente uma percentagem do número de documentos).		* '''Poda de frequência:''' a remoção de palavras que aparecem em menos de n documentos (onde N é geralmente em torno de 5) ou mais do que m vezes (onde m é geralmente uma percentagem do número de documentos).
	* Indexação semântica latente: é uma técnica estatística que, dada uma matriz de documentos e termos, gera uma série de vetores que capturam a variância dentro da matriz original<ref name="Deerwester1990">Deerwester S, Dumais ST, Furnas GW, Landauer TK, Harshman R: Indexing by latent semantic analysis. J Am Soc Inf Sci 1990, 41:391–407.</ref>.		* '''Indexação semântica latente:''' é uma técnica estatística que, dada uma matriz de documentos e termos, gera uma série de vetores que capturam a variância dentro da matriz original<ref name="Deerwester1990">Deerwester S, Dumais ST, Furnas GW, Landauer TK, Harshman R: Indexing by latent semantic analysis. J Am Soc Inf Sci 1990, 41:391–407.</ref>.

	=== Destilação do Conhecimento ===		=== Destilação do Conhecimento ===

Franzbischoff: Refinação do Texto (by SublimeText.Mediawiker)

2016-03-23T10:50:32Z

Refinação do Texto (by SublimeText.Mediawiker)

← Revisão anterior		Revisão das 11h50min de 23 de março de 2016
Linha 27:		Linha 27:
	As decisões sobre a forma de representar os documentos podem ter um impacto significativo na qualidade dos padrões posteriormente identificados. Existem alguns métodos que são mais comumente utilizados para representar o texto:		As decisões sobre a forma de representar os documentos podem ter um impacto significativo na qualidade dos padrões posteriormente identificados. Existem alguns métodos que são mais comumente utilizados para representar o texto:

	* Elementos ao nível de superfície: captura informações sobre uma palavra. Por exemplo, nomes próprios normalmente começam com uma letra maiúscula;		* '''Elementos ao nível de superfície:''' captura informações sobre uma palavra. Por exemplo, nomes próprios normalmente começam com uma letra maiúscula;
	* Representação baseada em vetor: a representação de texto mais comumente utilizada em texto mining é a abordagem de saco de palavras (''bag of words'' - BOW). A representação BOW também se encaixa bem em métodos de análise que requerem uma medida de similaridade entre documentos (como clustering);		* '''Representação baseada em vetor:''' a representação de texto mais comumente utilizada em texto mining é a abordagem de saco de palavras (''bag of words'' - BOW). A representação BOW também se encaixa bem em métodos de análise que requerem uma medida de similaridade entre documentos (como clustering);
	* Representação de conceito: Uma boa representação de texto deve resolver sinonímias (quando diferentes palavras têm o mesmo significado) e polissemia (quando a mesma palavra tem significados diferentes). A Biblioteca Nacional de Medicina dos Estados Unidos da América (NLM) desenvolveu o Sistema de Linguagem Médica Única (UMLS). Similarmente, um conceito pode ser rastreado até o vocabulário de origem e os termos são mapeados para um ou mais conceitos a níveis mais elevados chamados de tipos semânticos<ref name="Aronson2001">Aronson a R: Effective mapping of biomedical text to the UMLS Metathesaurus: the MetaMap program. Proc AMIA Symp 2001:17–21.</ref>, que podem ser utilizados para resolver a polissemia.		* '''Representação de conceito:''' Uma boa representação de texto deve resolver sinonímias (quando diferentes palavras têm o mesmo significado) e polissemia (quando a mesma palavra tem significados diferentes). A Biblioteca Nacional de Medicina dos Estados Unidos da América (NLM) desenvolveu o Sistema de Linguagem Médica Única (UMLS). Similarmente, um conceito pode ser rastreado até o vocabulário de origem e os termos são mapeados para um ou mais conceitos a níveis mais elevados chamados de tipos semânticos<ref name="Aronson2001">Aronson a R: Effective mapping of biomedical text to the UMLS Metathesaurus: the MetaMap program. Proc AMIA Symp 2001:17–21.</ref>, que podem ser utilizados para resolver a polissemia.

			De modo a representar um documento, a informação deve ser corretamente extraída a partir do documento. Várias estratégias têm sido utilizadas para realizar essa tarefa, e geralmente utiliza abordagens de aprendizagem de maquina (''machine learning''), baseado em conhecimento (''knowledge-based approach'') ou ambos (TEG<ref name="Feldman2006">Feldman R, Rosenfeld B, Fresko M: TEG—a hybrid approach to information extraction. Knowl Inf Syst 2006, 9:1–18.</ref>).

			Extração de Informação (IE), é talvez atualmente a técnica mais utilizada em operações de pré-processamento em text mining. Sem as técnicas de IE, os sistemas de text mining teriam capacidades de descoberta de conhecimento muito mais limitadas. Mesmo os sistemas que não têm uma boa performance (''precision'' e ''recall'') podem ser de grande valor<ref name="Maletic2010"/>. A seguir lista-se os métodos mais utilizados:

			* '''Resolução de co-referência:''' o objetivo da resolução de co-referência é unificar todas as referências de texto para a mesma entidade (também chamada de referência), em que uma entidade é tipicamente um nome próprio, mas também podem ser relações verbais (ver Day ''et al.''<ref name="Hirschman1997">Day D, Aberdeen J, Hirschman L, Kozierok R, Robinson P, Vilain M: Mixed-initiative development of language processing systems. In Proceedings of the fifth conference on Applied natural language processing -. Morristown, NJ, USA: Association for Computational Linguistics; 1997:348–355.</ref> para uma definição de anotações de co-referência utilizadas na tarefa de co-referência MUC-7).
			* '''Abreviaturas:''' as abreviaturas são um caso especial de resolução de co-referência e são particularmente importantes quando se trabalha com literatura científica. Um estudo descobriu que 80% das abreviaturas no UMLS eram ambíguas<ref name="Liu2002">Liu H, Aronson AR, Friedman C: A study of abbreviations in MEDLINE abstracts. Proc AMIA Symp 2002:464–8.</ref>.
			* '''Negação:''' a negação recebeu uma atenção especial nos registos médicos onde a pseudo negação, como "nenhuma mudança" e "não causam", pode ter um enorme impacto sobre a qualidade dos padrões produzidos.
			* '''Sintaxe:''' em contraste com as representações que incidem sobre a semântica, uma representação sintática captura as informações ao nível da sentença. Uma área onde a sintaxe pode ser útil é no resumo de documentos e síntese de informações.

			Para se reduzir o ruído no texto original e, assim, proporcionar melhores padrões, pode-se utilizar técnicas de redução de dimensionalidade:

			* '''Radicalização (ou lematização):''' a radicalização tenta identificar a raiz de um termo. Por exemplo, os termos "diferem", "diferentes" e "diferença" seriam todos representados como "difer" após ser aplicada a radicalização.
			* '''Palavras frequentes (''stop words''):''' termos que ocorrem com freqüência no texto, mas têm pouco poder discriminatório como determinantes, preposições, etc.
			* '''Poda de frequência:''' a remoção de palavras que aparecem em menos de n documentos (onde N é geralmente em torno de 5) ou mais do que m vezes (onde m é geralmente uma percentagem do número de documentos).
			* Indexação semântica latente: é uma técnica estatística que, dada uma matriz de documentos e termos, gera uma série de vetores que capturam a variância dentro da matriz original<ref name="Deerwester1990">Deerwester S, Dumais ST, Furnas GW, Landauer TK, Harshman R: Indexing by latent semantic analysis. J Am Soc Inf Sci 1990, 41:391–407.</ref>.

	=== Destilação do Conhecimento ===		=== Destilação do Conhecimento ===

Franzbischoff: WIP (by SublimeText.Mediawiker)

2016-03-23T10:15:04Z

WIP (by SublimeText.Mediawiker)

← Revisão anterior		Revisão das 11h15min de 23 de março de 2016
Linha 20:		Linha 20:

	=== Refinação do Texto ===		=== Refinação do Texto ===

			Consiste em transformar texto livre em um formato intermediário, que pode ser baseado em documento ou baseado em conceitos. Na Figura 1 temos uma visão global do processo:

			FIGURA 1: Framework do text mining (Adaptado de Tan ''et al.''<ref name="Tan1999"/>).

			As decisões sobre a forma de representar os documentos podem ter um impacto significativo na qualidade dos padrões posteriormente identificados. Existem alguns métodos que são mais comumente utilizados para representar o texto:

			* Elementos ao nível de superfície: captura informações sobre uma palavra. Por exemplo, nomes próprios normalmente começam com uma letra maiúscula;
			* Representação baseada em vetor: a representação de texto mais comumente utilizada em texto mining é a abordagem de saco de palavras (''bag of words'' - BOW). A representação BOW também se encaixa bem em métodos de análise que requerem uma medida de similaridade entre documentos (como clustering);
			* Representação de conceito: Uma boa representação de texto deve resolver sinonímias (quando diferentes palavras têm o mesmo significado) e polissemia (quando a mesma palavra tem significados diferentes). A Biblioteca Nacional de Medicina dos Estados Unidos da América (NLM) desenvolveu o Sistema de Linguagem Médica Única (UMLS). Similarmente, um conceito pode ser rastreado até o vocabulário de origem e os termos são mapeados para um ou mais conceitos a níveis mais elevados chamados de tipos semânticos<ref name="Aronson2001">Aronson a R: Effective mapping of biomedical text to the UMLS Metathesaurus: the MetaMap program. Proc AMIA Symp 2001:17–21.</ref>, que podem ser utilizados para resolver a polissemia.


	=== Destilação do Conhecimento ===		=== Destilação do Conhecimento ===

Franzbischoff em 16h55min de 22 de março de 2016

2016-03-22T16:55:08Z

← Revisão anterior		Revisão das 17h55min de 22 de março de 2016
Linha 7:		Linha 7:
	Embora possa ser tentador comparar o termo "text mining" com [[Data Mining\|data mining]], data mining é apenas um dos passos dentro do processo de descoberta de conhecimento. O text mining assemelha-se mais ao processo de descoberta de conhecimento como um todo, englobando os passos de seleção, pré-processamento, transformação, data mining, interpretação e avaliação<ref name="Blake2011">Blake C: Text mining. Annu Rev Inf Sci Technol 2011, 45:121–155.</ref>. É portanto uma tarefa muito mais complexa que o [[Data Mining\|data mining]], pois envolve lidar com dados que são inerentemente não estruturados e difusos<ref name="Tan1999">Tan A-H: Text Mining: The state of the art and the challenges. Proc PAKDD 1999 Work Knowl Disocovery from Adv Databases 1999, 8:65–70.</ref>.		Embora possa ser tentador comparar o termo "text mining" com [[Data Mining\|data mining]], data mining é apenas um dos passos dentro do processo de descoberta de conhecimento. O text mining assemelha-se mais ao processo de descoberta de conhecimento como um todo, englobando os passos de seleção, pré-processamento, transformação, data mining, interpretação e avaliação<ref name="Blake2011">Blake C: Text mining. Annu Rev Inf Sci Technol 2011, 45:121–155.</ref>. É portanto uma tarefa muito mais complexa que o [[Data Mining\|data mining]], pois envolve lidar com dados que são inerentemente não estruturados e difusos<ref name="Tan1999">Tan A-H: Text Mining: The state of the art and the challenges. Proc PAKDD 1999 Work Knowl Disocovery from Adv Databases 1999, 8:65–70.</ref>.

	Blake<ref name="Blake2011"/> define o text mining como a obtenção de padrões novos, interessantes e compreensíveis de uma coleção de texto, enquanto que Feldman<ref name="Feldman1999">Feldman R: Mining unstructured data. In Tutorial notes of the fifth ACM SIGKDD international conference on Knowledge discovery and data mining - KDD ’99. New York, New York, USA: ACM Press; 1999:182–236.</ref> define de uma forma mais semelhante a Recuperação de Informação, onde o objetivo é diferenciar documentos relevantes de documentos irrelevantes. Alguns autores sugerem que o text mining consiste em dois passos: estruturar a informação textual e permitir a descoberta de conhecimento<ref name="Liddy2000">Liddy E D: Bulletin Aug/Sept 2000: Interview with Gayle Curtis, Modem Media [http://www.asis.org/Bulletin/Oct-00/liddy.html]</ref><ref name="Nahm2000">Nahm UY, Mooney RJ: Using Information Extraction to Aid the Discovery of Prediction Rules from Text. In Proceedings of the KDD-2000 Workshop on Text Mining; 2000:51–58.</ref>		Blake<ref name="Blake2011"/> define o text mining como a obtenção de padrões novos, interessantes e compreensíveis de uma coleção de texto, enquanto que Feldman<ref name="Feldman1999">Feldman R: Mining unstructured data. In Tutorial notes of the fifth ACM SIGKDD international conference on Knowledge discovery and data mining - KDD ’99. New York, New York, USA: ACM Press; 1999:182–236.</ref> define de uma forma mais semelhante a Recuperação de Informação, onde o objetivo é diferenciar documentos relevantes de documentos irrelevantes. Alguns autores sugerem que o text mining consiste em dois passos: estruturar a informação textual e permitir a descoberta de conhecimento<ref name="Liddy2000">Liddy E D: Bulletin Aug/Sept 2000: Interview with Gayle Curtis, Modem Media [http://www.asis.org/Bulletin/Oct-00/liddy.html]</ref><ref name="Nahm2000">Nahm UY, Mooney RJ: Using Information Extraction to Aid the Discovery of Prediction Rules from Text. In Proceedings of the KDD-2000 Workshop on Text Mining; 2000:51–58.</ref>.

	Acredita-se que cerca de 80% da informação relevante na área dos negócios origina-se de forma não estruturada, principalmente texto<ref name="Grimes2008">Grimes S: Unstructured data and the 80 percent rule. Carabridge Bridg 2008:1–2.</ref>. Na área da saúde, estima-se que 50% da informação que descreve um paciente durante uma terapia é guardada de forma não estruturada como texto livre<ref name="Sitting2008">Sittig DF, Wright A, Osheroff J a, Middleton B, Teich JM, Ash JS, Campbell E, Bates DW: Grand challenges in clinical decision support. J Biomed Inform 2008, 41:387–92.</ref>.		Acredita-se que cerca de 80% da informação relevante na área dos negócios origina-se de forma não estruturada, principalmente texto<ref name="Grimes2008">Grimes S: Unstructured data and the 80 percent rule. Carabridge Bridg 2008:1–2.</ref>. Na área da saúde, estima-se que 50% da informação que descreve um paciente durante uma terapia é guardada de forma não estruturada como texto livre<ref name="Sitting2008">Sittig DF, Wright A, Osheroff J a, Middleton B, Teich JM, Ash JS, Campbell E, Bates DW: Grand challenges in clinical decision support. J Biomed Inform 2008, 41:387–92.</ref>.

	O surgimento de análise de texto na sua forma atual deriva de uma reorientação da investigação nos finais de 1990 do desenvolvimento de algoritmos para aplicações, como descrito pelo Prof Marti A. Hearst o seu artigo ''"Untangling o Text Data Mining"''<ref name="Hearst1999">Hearst M a.: Untangling text data mining. In Proceedings of the 37th annual meeting of the Association for Computational Linguistics on Computational Linguistics -. Morristown, NJ, USA: Association for Computational Linguistics; 1999:3–10.</ref>.		O surgimento de análise de texto na sua forma atual deriva de uma reorientação da investigação nos finais de 1990 do desenvolvimento de algoritmos para aplicações, como descrito pelo Prof Marti A. Hearst o seu artigo ''"Untangling Text Data Mining"''<ref name="Hearst1999">Hearst M a.: Untangling text data mining. In Proceedings of the 37th annual meeting of the Association for Computational Linguistics on Computational Linguistics -. Morristown, NJ, USA: Association for Computational Linguistics; 1999:3–10.</ref>.

	== Processo de Text Mining ==		== Processo de Text Mining ==

Franzbischoff em 16h51min de 22 de março de 2016

2016-03-22T16:51:12Z

← Revisão anterior		Revisão das 17h51min de 22 de março de 2016
Linha 5:		Linha 5:
	== Introdução ==		== Introdução ==

	Embora possa ser tentador comparar o termo "text mining" com [[Data Mining\|data mining]], data mining é apenas um dos passos dentro do processo de descoberta de conhecimento. O text mining assemelha-se mais ao processo de descoberta de conhecimento como um todo, englobando os passos de seleção, pré-~~processaento~~, transformação, data mining, interpretação e avaliação<ref name="Blake2011">Blake C: Text mining. Annu Rev Inf Sci Technol 2011, 45:121–155.</ref>. É portanto uma tarefa muito mais complexa que o [[Data Mining\|data mining]], pois envolve lidar com dados que são inerentemente não estruturados e ~~difuso~~<ref name="Tan1999">Tan A-H: Text Mining: The state of the art and the challenges. Proc PAKDD 1999 Work Knowl Disocovery from Adv Databases 1999, 8:65–70.</ref>.		Embora possa ser tentador comparar o termo "text mining" com [[Data Mining\|data mining]], data mining é apenas um dos passos dentro do processo de descoberta de conhecimento. O text mining assemelha-se mais ao processo de descoberta de conhecimento como um todo, englobando os passos de seleção, pré-processamento, transformação, data mining, interpretação e avaliação<ref name="Blake2011">Blake C: Text mining. Annu Rev Inf Sci Technol 2011, 45:121–155.</ref>. É portanto uma tarefa muito mais complexa que o [[Data Mining\|data mining]], pois envolve lidar com dados que são inerentemente não estruturados e difusos<ref name="Tan1999">Tan A-H: Text Mining: The state of the art and the challenges. Proc PAKDD 1999 Work Knowl Disocovery from Adv Databases 1999, 8:65–70.</ref>.

	Blake<ref name="Blake2011"/> define o text mining como a obtenção de padrões novos, interessantes e compreensíveis de uma coleção de texto, enquanto que Feldman<ref name="Feldman1999">Feldman R: Mining unstructured data. In Tutorial notes of the fifth ACM SIGKDD international conference on Knowledge discovery and data mining - KDD ’99. New York, New York, USA: ACM Press; 1999:182–236.</ref> define de uma forma mais semelhante a Recuperação de Informação, onde o objetivo é ~~deferenciar~~ documentos relevantes de documentos irrelevantes. Alguns autores sugerem que o text mining consiste em dois passos: estruturar a informação textual e permitir a descoberta de conhecimento<ref name="Liddy2000">Liddy E D: Bulletin Aug/Sept 2000: Interview with Gayle Curtis, Modem Media [http://www.asis.org/Bulletin/Oct-00/liddy.html]</ref><ref name="Nahm2000">Nahm UY, Mooney RJ: Using Information Extraction to Aid the Discovery of Prediction Rules from Text. In Proceedings of the KDD-2000 Workshop on Text Mining; 2000:51–58.</ref>		Blake<ref name="Blake2011"/> define o text mining como a obtenção de padrões novos, interessantes e compreensíveis de uma coleção de texto, enquanto que Feldman<ref name="Feldman1999">Feldman R: Mining unstructured data. In Tutorial notes of the fifth ACM SIGKDD international conference on Knowledge discovery and data mining - KDD ’99. New York, New York, USA: ACM Press; 1999:182–236.</ref> define de uma forma mais semelhante a Recuperação de Informação, onde o objetivo é diferenciar documentos relevantes de documentos irrelevantes. Alguns autores sugerem que o text mining consiste em dois passos: estruturar a informação textual e permitir a descoberta de conhecimento<ref name="Liddy2000">Liddy E D: Bulletin Aug/Sept 2000: Interview with Gayle Curtis, Modem Media [http://www.asis.org/Bulletin/Oct-00/liddy.html]</ref><ref name="Nahm2000">Nahm UY, Mooney RJ: Using Information Extraction to Aid the Discovery of Prediction Rules from Text. In Proceedings of the KDD-2000 Workshop on Text Mining; 2000:51–58.</ref>

	Acredita-se que cerca de 80% da informação relevante na área dos negócios origina-se de forma não estruturada, principalmente texto<ref name="Grimes2008">Grimes S: Unstructured data and the 80 percent rule. Carabridge Bridg 2008:1–2.</ref>. Na área da saúde, estima-se que 50% da informação que descreve um paciente durante uma terapia é guardada de forma não estruturada como texto livre<ref name="Sitting2008">Sittig DF, Wright A, Osheroff J a, Middleton B, Teich JM, Ash JS, Campbell E, Bates DW: Grand challenges in clinical decision support. J Biomed Inform 2008, 41:387–92.</ref>.		Acredita-se que cerca de 80% da informação relevante na área dos negócios origina-se de forma não estruturada, principalmente texto<ref name="Grimes2008">Grimes S: Unstructured data and the 80 percent rule. Carabridge Bridg 2008:1–2.</ref>. Na área da saúde, estima-se que 50% da informação que descreve um paciente durante uma terapia é guardada de forma não estruturada como texto livre<ref name="Sitting2008">Sittig DF, Wright A, Osheroff J a, Middleton B, Teich JM, Ash JS, Campbell E, Bates DW: Grand challenges in clinical decision support. J Biomed Inform 2008, 41:387–92.</ref>.

Franzbischoff em 16h48min de 22 de março de 2016

2016-03-22T16:48:27Z

← Revisão anterior		Revisão das 17h48min de 22 de março de 2016
Linha 5:		Linha 5:
	== Introdução ==		== Introdução ==

	~~Enquanto~~ o [[Data Mining\|data mining]] é ~~aplicado tradicionalmente em coleções~~ de ~~dados "estruturados", o~~ text mining ~~ou text data ining é a aplicação~~ de ~~técnicas~~ de data mining ~~em coleções de texto~~ "~~não estruturados" ou "semi-estruturados~~". ~~O processo de text~~ mining ~~tipicamente~~ envolve ~~o uso de técnicas de processamento de linguagem natural (NLP) para se extrair~~ dados estruturados ~~de uma narrativa estruturada~~<ref name="~~Zweigenbaum2007~~">~~Zweigenbaum P, Demner~~-~~Fushman D, Yu~~ H~~, Cohen KB~~: ~~Frontiers~~ of ~~biomedical text mining: current progress~~. ~~Brief Bioinform 2007~~, 8:~~358–75~~.</ref>.		Embora possa ser tentador comparar o termo "text mining" com [[Data Mining\|data mining]], data mining é apenas um dos passos dentro do processo de descoberta de conhecimento. O text mining assemelha-se mais ao processo de descoberta de conhecimento como um todo, englobando os passos de seleção, pré-processaento, transformação, data mining, interpretação e avaliação<ref name="Blake2011">Blake C: Text mining. Annu Rev Inf Sci Technol 2011, 45:121–155.</ref>. É portanto uma tarefa muito mais complexa que o [[Data Mining\|data mining]], pois envolve lidar com dados que são inerentemente não estruturados e difuso<ref name="Tan1999">Tan A-H: Text Mining: The state of the art and the challenges. Proc PAKDD 1999 Work Knowl Disocovery from Adv Databases 1999, 8:65–70.</ref>.

	O text mining ~~inicia por extrair factos~~ e ~~eventos~~ de ~~fontes~~ de texto, ~~permitindo a formação de hipóteses~~ que ~~são depois exploradas por métodos tradicionais de análise de dados~~<ref name="~~Maletic2010~~">~~Maletic JI, Marcus A~~: ~~Data~~ Mining and ~~Knowledge Discovery Handbook~~. ~~2nd edition. Boston~~, MA: ~~Springer US~~; ~~2010~~.</ref>. ~~Ele pode ser dividido~~ em ~~duas etapas principais~~: ~~Refinação~~ de ~~Texto que transforma o texto livre em um formato intermediário~~, ~~tal como um gráfico conceptual (semi~~-~~estruturado) ou dados relacionados (estruturado), e a Destilação do Conhecimento~~, que ~~deduz padrões ou conhecimento a partir desta~~ forma ~~intermediária~~. ~~O formato intermediário pode ser baseado em documentos~~, em que ~~cada entidade representa um documento, ou baseado em conceitos, em~~ que ~~cada entidade representa~~ um ~~objeto ou conceito~~ de ~~interesse~~<ref name="~~Tan1999~~">~~Tan~~ A-H: Text Mining: ~~The state~~ of the ~~art and~~ the ~~challenges~~. ~~Proc PAKDD 1999 Work Knowl Disocovery from Adv Databases~~ 1999~~, 8~~:~~65–70~~.</ref>.		Blake<ref name="Blake2011"/> define o text mining como a obtenção de padrões novos, interessantes e compreensíveis de uma coleção de texto, enquanto que Feldman<ref name="Feldman1999">Feldman R: Mining unstructured data. In Tutorial notes of the fifth ACM SIGKDD international conference on Knowledge discovery and data mining - KDD ’99. New York, New York, USA: ACM Press; 1999:182–236.</ref> define de uma forma mais semelhante a Recuperação de Informação, onde o objetivo é deferenciar documentos relevantes de documentos irrelevantes. Alguns autores sugerem que o text mining consiste em dois passos: estruturar a informação textual e permitir a descoberta de conhecimento<ref name="Liddy2000">Liddy E D: Bulletin Aug/Sept 2000: Interview with Gayle Curtis, Modem Media [http://www.asis.org/Bulletin/Oct-00/liddy.html]</ref><ref name="Nahm2000">Nahm UY, Mooney RJ: Using Information Extraction to Aid the Discovery of Prediction Rules from Text. In Proceedings of the KDD-2000 Workshop on Text Mining; 2000:51–58.</ref>

			Acredita-se que cerca de 80% da informação relevante na área dos negócios origina-se de forma não estruturada, principalmente texto<ref name="Grimes2008">Grimes S: Unstructured data and the 80 percent rule. Carabridge Bridg 2008:1–2.</ref>. Na área da saúde, estima-se que 50% da informação que descreve um paciente durante uma terapia é guardada de forma não estruturada como texto livre<ref name="Sitting2008">Sittig DF, Wright A, Osheroff J a, Middleton B, Teich JM, Ash JS, Campbell E, Bates DW: Grand challenges in clinical decision support. J Biomed Inform 2008, 41:387–92.</ref>.

			O surgimento de análise de texto na sua forma atual deriva de uma reorientação da investigação nos finais de 1990 do desenvolvimento de algoritmos para aplicações, como descrito pelo Prof Marti A. Hearst o seu artigo ''"Untangling o Text Data Mining"''<ref name="Hearst1999">Hearst M a.: Untangling text data mining. In Proceedings of the 37th annual meeting of the Association for Computational Linguistics on Computational Linguistics -. Morristown, NJ, USA: Association for Computational Linguistics; 1999:3–10.</ref>.

	== Processo de Text Mining ==		== Processo de Text Mining ==

			Enquanto o [[Data Mining\|data mining]] é aplicado tradicionalmente em coleções de dados "estruturados", o text mining ou text data mining é a aplicação de técnicas de [[Data Mining\|data mining]] em coleções de texto "não estruturados" ou "semi-estruturados". O processo de text mining tipicamente envolve o uso de técnicas de processamento de linguagem natural (NLP) para se extrair dados estruturados de uma narrativa estruturada<ref name="Zweigenbaum2007">Zweigenbaum P, Demner-Fushman D, Yu H, Cohen KB: Frontiers of biomedical text mining: current progress. Brief Bioinform 2007, 8:358–75.</ref>.

			O text mining inicia por extrair factos e eventos de fontes de texto, permitindo a formação de hipóteses que são depois exploradas por métodos tradicionais de análise de dados<ref name="Maletic2010">Maletic JI, Marcus A: Data Mining and Knowledge Discovery Handbook. 2nd edition. Boston, MA: Springer US; 2010.</ref>. Ele pode ser dividido em duas etapas principais: Refinação de Texto que transforma o texto livre em um formato intermediário, tal como um gráfico conceptual (semi-estruturado) ou dados relacionados (estruturado), e a Destilação do Conhecimento, que deduz padrões ou conhecimento a partir desta forma intermediária. O formato intermediário pode ser baseado em documentos, em que cada entidade representa um documento, ou baseado em conceitos, em que cada entidade representa um objeto ou conceito de interesse<ref name="Tan1999"/>.

	=== Refinação do Texto ===		=== Refinação do Texto ===

← Revisão anterior		Revisão das 15h57min de 23 de março de 2016
Linha 25:		Linha 25:
	[[Ficheiro:Bischoff text mining framework.png\|thumb\|right\|Figura 1: Framework do text mining (Adaptado de Tan ''et al.''<ref name="Tan1999"/>).]]		[[Ficheiro:Bischoff text mining framework.png\|thumb\|right\|Figura 1: Framework do text mining (Adaptado de Tan ''et al.''<ref name="Tan1999"/>).]]

	As decisões sobre a forma de representar os documentos podem ter um impacto significativo na qualidade dos padrões posteriormente identificados. Existem alguns métodos que são mais ~~comumente~~ utilizados para representar o texto:		As decisões sobre a forma de representar os documentos podem ter um impacto significativo na qualidade dos padrões posteriormente identificados. Existem alguns métodos que são mais comummente utilizados para representar o texto:

	* '''Elementos ao nível de superfície:''' captura informações sobre uma palavra. Por exemplo, nomes próprios normalmente começam com uma letra maiúscula;		* '''Elementos ao nível de superfície:''' captura informações sobre uma palavra. Por exemplo, nomes próprios normalmente começam com uma letra maiúscula;
	* '''Representação baseada em vetor:''' a representação de texto mais ~~comumente~~ utilizada em texto mining é a abordagem de saco de palavras (''bag of words'' - BOW). A representação BOW também se encaixa bem em métodos de análise que requerem uma medida de similaridade entre documentos (como clustering);		* '''Representação baseada em vetor:''' a representação de texto mais comummente utilizada em texto mining é a abordagem de saco de palavras (''bag of words'' - BOW). A representação BOW também se encaixa bem em métodos de análise que requerem uma medida de similaridade entre documentos (como clustering);
	* '''Representação de conceito:''' Uma boa representação de texto deve resolver sinonímias (quando diferentes palavras têm o mesmo significado) e polissemia (quando a mesma palavra tem significados diferentes). A Biblioteca Nacional de Medicina dos Estados Unidos da América (NLM) desenvolveu o Sistema de Linguagem Médica Única (UMLS). Similarmente, um conceito pode ser rastreado até o vocabulário de origem e os termos são mapeados para um ou mais conceitos a níveis mais elevados chamados de tipos semânticos<ref name="Aronson2001">Aronson a R: Effective mapping of biomedical text to the UMLS Metathesaurus: the MetaMap program. Proc AMIA Symp 2001:17–21.</ref>, que podem ser utilizados para resolver a polissemia.		* '''Representação de conceito:''' Uma boa representação de texto deve resolver sinonímias (quando diferentes palavras têm o mesmo significado) e polissemia (quando a mesma palavra tem significados diferentes). A Biblioteca Nacional de Medicina dos Estados Unidos da América (NLM) desenvolveu o Sistema de Linguagem Médica Única (UMLS). Similarmente, um conceito pode ser rastreado até o vocabulário de origem e os termos são mapeados para um ou mais conceitos a níveis mais elevados chamados de tipos semânticos<ref name="Aronson2001">Aronson a R: Effective mapping of biomedical text to the UMLS Metathesaurus: the MetaMap program. Proc AMIA Symp 2001:17–21.</ref>, que podem ser utilizados para resolver a polissemia.

Linha 43:		Linha 43:

	* '''Radicalização (ou lematização):''' a radicalização tenta identificar a raiz de um termo. Por exemplo, os termos "diferem", "diferentes" e "diferença" seriam todos representados como "difer" após ser aplicada a radicalização.		* '''Radicalização (ou lematização):''' a radicalização tenta identificar a raiz de um termo. Por exemplo, os termos "diferem", "diferentes" e "diferença" seriam todos representados como "difer" após ser aplicada a radicalização.
	* '''Palavras frequentes (''stop words''):''' termos que ocorrem com ~~freqüência~~ no texto, mas têm pouco poder discriminatório como determinantes, preposições, etc.		* '''Palavras frequentes (''stop words''):''' termos que ocorrem com frequência no texto, mas têm pouco poder discriminatório como determinantes, preposições, etc.
	* '''Poda de frequência:''' a remoção de palavras que aparecem em menos de n documentos (onde N é geralmente em torno de 5) ou mais do que m vezes (onde m é geralmente uma percentagem do número de documentos).		* '''Poda de frequência:''' a remoção de palavras que aparecem em menos de n documentos (onde N é geralmente em torno de 5) ou mais do que m vezes (onde m é geralmente uma percentagem do número de documentos).
	* '''Indexação semântica latente:''' é uma técnica estatística que, dada uma matriz de documentos e termos, gera uma série de vetores que capturam a variância dentro da matriz original<ref name="Deerwester1990">Deerwester S, Dumais ST, Furnas GW, Landauer TK, Harshman R: Indexing by latent semantic analysis. J Am Soc Inf Sci 1990, 41:391–407.</ref>.		* '''Indexação semântica latente:''' é uma técnica estatística que, dada uma matriz de documentos e termos, gera uma série de vetores que capturam a variância dentro da matriz original<ref name="Deerwester1990">Deerwester S, Dumais ST, Furnas GW, Landauer TK, Harshman R: Indexing by latent semantic analysis. J Am Soc Inf Sci 1990, 41:391–407.</ref>.
Linha 61:		Linha 61:
	* '''Coesão textual (''Textual Entailment''):''' em NLP, a coesão textual é uma relação direcional entre dois fragmentos de texto. Um dos objetivos é identificar se uma dada hipótese (H) está relacionada com uma dada expressão (T). A hipótese geralmente tem a forma de uma sentença única, e o texto pode ser de uma ou mais sentenças.		* '''Coesão textual (''Textual Entailment''):''' em NLP, a coesão textual é uma relação direcional entre dois fragmentos de texto. Um dos objetivos é identificar se uma dada hipótese (H) está relacionada com uma dada expressão (T). A hipótese geralmente tem a forma de uma sentença única, e o texto pode ser de uma ou mais sentenças.
	* '''Sumarização:''' desde o final dos anos sessenta, procuram-se construir sistemas que geram automaticamente um resumo de um único documento através da seleção de texto já existente ou abstraindo o texto dos documentos originais, transformando e gerando novo texto.		* '''Sumarização:''' desde o final dos anos sessenta, procuram-se construir sistemas que geram automaticamente um resumo de um único documento através da seleção de texto já existente ou abstraindo o texto dos documentos originais, transformando e gerando novo texto.
	* '''Síntese de informação:''' embora a sumarização de ~~multiplos~~ documentos seja inerentemente uma atividade de síntese, as pesquisas sobre esta questão tem sido em torno do processo de revisão sistemática. O principal objetivo de uma meta-análise é equilibrar evidências contraditórias e redundantes na literatura científica.		* '''Síntese de informação:''' embora a sumarização de múltiplos documentos seja inerentemente uma atividade de síntese, as pesquisas sobre esta questão tem sido em torno do processo de revisão sistemática. O principal objetivo de uma meta-análise é equilibrar evidências contraditórias e redundantes na literatura científica.
	* '''Descoberta de conhecimento baseada em literatura:''' semelhantemente à síntese de informação, a sobrecarga de informação na literatura biomédica levou ao desenvolvimento da descoberta de conhecimento baseada em literatura, que é um processo de pesquisa ~~sistematica~~ da literatura existente para identificar novos conhecimentos.		* '''Descoberta de conhecimento baseada em literatura:''' semelhantemente à síntese de informação, a sobrecarga de informação na literatura biomédica levou ao desenvolvimento da descoberta de conhecimento baseada em literatura, que é um processo de pesquisa sistemática da literatura existente para identificar novos conhecimentos.

	== Text Mining na Saúde ==		== Text Mining na Saúde ==
Linha 68:		Linha 68:
	O termo ''Clinical Data Mining'' consiste na aplicação de técnicas de [[Data Mining\|data mining]] utilizando dados clínicos<ref name="Iavindrasana2009">Iavindrasana J, Cohen G, Depeursinge A, Müller H, Meyer R, Geissbuhler A: Clinical data mining: a review. Yearb Med Inform 2009(December 2015):121–33.</ref>. No campo biomédico, a importância do text mining se reflete no aumento de mais de seis vezes no número de publicações sobre text mining nas ultimas décadas. As companhias farmacêuticas consideram o text mining como uma "necessidade básica"<ref name="Kumar2007">Kumar VD, Tipney HJ: Biomedical Literature Mining. Volume 1159. New York, NY: Springer New York; 2007. [Methods in Molecular Biology]</ref>.		O termo ''Clinical Data Mining'' consiste na aplicação de técnicas de [[Data Mining\|data mining]] utilizando dados clínicos<ref name="Iavindrasana2009">Iavindrasana J, Cohen G, Depeursinge A, Müller H, Meyer R, Geissbuhler A: Clinical data mining: a review. Yearb Med Inform 2009(December 2015):121–33.</ref>. No campo biomédico, a importância do text mining se reflete no aumento de mais de seis vezes no número de publicações sobre text mining nas ultimas décadas. As companhias farmacêuticas consideram o text mining como uma "necessidade básica"<ref name="Kumar2007">Kumar VD, Tipney HJ: Biomedical Literature Mining. Volume 1159. New York, NY: Springer New York; 2007. [Methods in Molecular Biology]</ref>.

	Novas tecnologias tem sido desenvolvidas no ~~âmbido~~ do ''Clinical Data Mining'', como por exemplo um novo método de anotar dados clínicos não estruturados e transformá-los em uma matrix codificada e anonimizada de paciente-características utilizando terminologias médicas com uma das finalidades de detectar efeitos colaterais de drogas e efeitos colaterais de efeitos de associação de drogas<ref name="LePendu2013">LePendu P, Iyer S V, Bauer-Mehren A, Harpaz R, Mortensen JM, Podchiyska T, Ferris TA, Shah NH: Pharmacovigilance Using Clinical Notes. Clin Pharmacol Ther 2013, 93:547–55.</ref>.		Novas tecnologias tem sido desenvolvidas no âmbito do ''Clinical Data Mining'', como por exemplo um novo método de anotar dados clínicos não estruturados e transformá-los em uma matrix codificada e anonimizada de paciente-características utilizando terminologias médicas com uma das finalidades de detectar efeitos colaterais de drogas e efeitos colaterais de efeitos de associação de drogas<ref name="LePendu2013">LePendu P, Iyer S V, Bauer-Mehren A, Harpaz R, Mortensen JM, Podchiyska T, Ferris TA, Shah NH: Pharmacovigilance Using Clinical Notes. Clin Pharmacol Ther 2013, 93:547–55.</ref>.

	Eis algumas das aplicações do text mining na literatura biomédica:		Eis algumas das aplicações do text mining na literatura biomédica:

	* Interações medicamentosas		* Interações medicamentosas
	* Análise de co-~~ocorrencias~~ e extração de informações biológicas		* Análise de co-ocorrências e extração de informações biológicas
	* Procura de novidades biológicas ao desvendar informações "ocultas"		* Procura de novidades biológicas ao desvendar informações "ocultas"
	* Predição da função de proteínas		* Predição da função de proteínas