Mostrar código-fonte de Extração de Diagnósticos e Informações de Doenças a partir de Registos Clínicos Eletrónicos: Uma Revisão Sistemática das Abordagens de Mineração de Texto

__TOC__
{{col-begin}}
{{col-break}}
Francisco Bischoff<br />
Mestrado de Informática Médica<br />
Universidade do Porto<br />
[mailto:fbischoff@med.up.pt fbischoff@med.up.pt]
{{col-break}}
Marta Martins<br />
Mestrado de Informática Médica<br />
Universidade do Porto<br />
[mailto:up201500424@med.up.pt up201500424@med.up.pt]
{{col-break}}
Miguel Duarte<br />
Mestrado de Informática Médica<br />
Universidade do Porto<br />
[mailto:up201501636@med.up.pt up201501636@med.up.pt]
{{col-end}}

= Resumo =
'''Introdução:''' Com a disponibilidade dos registos clínicos eletrónicos, verificou-se a necessidade da mineração de texto e de dados usando diversos métodos. Este trabalho tem como objetivo uma revisão na literatura métodos mais utilizados neste domínio, e se possível uma comparação entre eles.

'''Métodos:''' Foi realizada uma pesquisa na literatura da PubMed utilizando as palavras chave “registo clínico eletrónico” e “mineração de texto”, sendo incluídos os artigos que utilizam a técnica de mineração de texto em registo clínicos eletrónicos, e excluídos aqueles que utilizaram apenas dados estruturados, não utilizavam aprendizagem de máquina ou não buscavam informações de doenças e diagnósticos.

'''Resultados:''' Os registos clínicos eletrónicos abrangem uma vasta gama de informação, verificando nos artigos extraídos que poucos deles satisfaziam os critérios de inclusão. Foi verificado que dos artigos incluídos, grande parte tinha como objetivo a identificação de Fenótipos Computacionais através de algoritmos como o de Campo Aleatório Condicional e Máquina de Vetores de Suporte.

'''Conclusões:''' Desde o início da utilização dos registos clínicos eletrónicos a mineração de texto tem demonstrado grande potencial. Revisões anteriores tiveram um enfoque alargado sendo que esta revisão se focou na mineração de texto. A quantidade de estudos nesta área está por crescer, sendo necessária a realização de meta-análise para comparar as suas performances de forma mais ampla e significativa.

'''Palavras-chave''': mineração de texto, mineração de dados, algoritmos, diagnósticos, informações de doenças, registos clínicos eletrónicos

= Introdução =

As últimas décadas foram marcadas por uma crescente disponibilidade de registos clínicos eletrónicos (RCE). Além disso, técnicas de mineração de texto e mineração de dados têm sido intensamente estudadas como uma ferramenta para a descoberta de conhecimento. Várias dessas técnicas têm sido aplicadas para extrair ou interligar as informações de RCE, a fim de melhorar os sistemas de apoio à decisão, encontrar novos padrões ou conhecimento até então desconhecidos. Cada sistema de mineração de texto tem diferentes implementações e metas, por exemplo associações doença-doença, doença-droga, doença-genes, e alguns podem ser melhores para um objetivo, mas não para outros. Compreender as diferentes abordagens para diferentes objetivos é fundamental para garantir os melhores resultados.

O principal objetivo deste estudo é a identificação dos métodos de mineração de texto utilizados na extração de informação sobre doenças e diagnósticos a partir dos RCEs. Os objetivos secundários são comparar as medidas de desempenho destas abordagens.
= Métodos =
== Critérios de inclusão e exclusão ==
Foram selecionados estudos que comparam o uso de uma técnica de mineração de texto em RCE com um padrão de referência. Foram excluídos estudos que utilizam somente dados estruturados ou semiestruturados (ex.: resultados de laboratórios, documentos previamente anotados), estudos que não utilizam métodos de ''machine learning'' e estudos que não tentam extrair informações sobre doenças ou diagnósticos e co-morbilidades. Estudos realizados em idiomas para além do inglês, alemão, espanhol e português não foram considerados.

== Fontes e estratégias de busca ==

A estratégia de busca na literatura foi desenvolvida utilizando o ''Medical Subject Headings'' (MeSH) e palavras de texto relacionadas com RCE, mineração de texto e mineração de dados.

A pesquisa não foi limitada por data ou idioma. Um exemplo da consulta efetuada no PUBMED é descrito como se segue: (&quot;text mining&quot;[All Fields] AND (&quot;electronic health records&quot;[MeSH Terms] OR &quot;electronic health records&quot;[All Fields] OR &quot;electronic health record&quot;[All Fields])).

== Processo de seleção e obtenção de dados ==

Os resultados da pesquisa foram inicialmente geridos através do Mendeley, um software gestor de referências, onde foram removidos os duplicados, e depois enviados para o Covidence, uma plataforma online que facilita a colaboração entre os revisores durante os processos de seleção dos estudos, avaliação da qualidade e extração de dados. Os autores desenvolveram e testaram perguntas de triagem e formulários para as avaliações dos artigos com base nos critérios de inclusão e exclusão, tendo sido feito um exercício de calibração para aperfeiçoar as perguntas de triagem.

Os autores analisaram de forma independente os títulos e resumos. Pares de autores analisaram os textos completos dos artigos pré-selecionados. As divergências foram decididas através da discussão, sendo a opinião do terceiro autor utilizada como desempate. Os nomes das revistas, autores e instituições não foram ocultados dos revisores no momento da seleção.

Usando um formulário padronizado no ''software'' Covidence, ambos os autores extraíram os dados de forma independente e em duplicado de cada estudo. Para garantir a consistência entre os revisores, foram realizados exercícios de calibração antes de iniciar a avaliação. Os autores resolveram as divergências pela discussão, tendo uma estatística κ de 0,726.

Foram extraídos os seguintes dados dos estudos:

* Fonte dos dados (ex.: notas de admissão, notas de alta);
* Quantidade de dados utilizados nos treinos e testes (ex.: número de episódios de internamento, número de registos dos pacientes);
* Método de validação (ex.: validação cruzada, corpora independentes);
* Algoritmo de ''Machine Learning'' (ex.: ''Naïve Bayes'', K-NN; SVM);
* Características de mineração (ex.: processamento de linguagem natural, expressões regulares, saco de palavras)
* Objetivos dos processos de mineração (ex.: fenotipagem, classificação);
* Dados da tabela 2x2, se disponíveis (ex.: verdadeiros positivos, verdadeiros negativos).
* Medidas de desempenho, se disponíveis (ex.: precisão, ''recall'', ''F1 score'').

= Resultados =

Os resultados da pesquisa de artigos estão apresentados na Figura 1. Dos 53 estudos iniciais, 12 artigos enquadraram nos critérios de inclusão. Todos os artigos forneceram dados suficientes para extrair as medidas de desempenho.

== Risco de viés nos estudos incluídos ==

A avaliação de risco de viés dos 12 estudos incluídos indicam um alto risco de viés em 3 artigos (25%), risco incerto em 3 artigos (25%) e baixo risco em 6 artigos (50%). Os itens de avaliação de risco de viés estão resumidos na Tabela 1.

== Métodos de mineração de texto ==

Nos estudos selecionados, verifica-se que a grande maioria tem como objetivo ou utiliza numa fase intermédia a identificação de Fenótipos Computacionais (ou Definição de Fenótipos através de RCE), os quais se definem como uma condição ou característica clínica, ou um conjunto de atributos clínicos que podem ser determinados através dos dados do RCE e dados auxiliares sem a necessidade de uma revisão ou interpretação por um clínico<ref name="ref1">Rachel R, Michelle S. Electronic Health Records-Based Phenotyping. Rethinking Clinical Trials. [http://sites.duke.edu/rethinkingclinicaltrials/ehr-phenotyping/]. Published 2014. Accessed February 21, 2016</ref>. Foram agrupados para fins de análise estudos que utilizavam estes métodos num grupo chamado Fenotipagem.

Alnazzawi ''et al.'' utilizaram o processamento de linguagem natural (PLN) com a finalidade de construir um corpus de fenótipos para a identificação de insuficiência cardíaca, publicamente disponível online (http://www.nactem.ac.uk/PhenoCHF/)<ref name="ref2">Alnazzawi N, Thompson P, Batista-Navarro R, Ananiadou S. Using text mining techniques to extract phenotypic information from the PhenoCHF corpus. BMC Med Inform Decis Mak. 2015;15 Suppl 2(Suppl 2):S3. [doi:10.1186/1472-6947-15-S2-S3]</ref>. Informações da sintaxe<ref name="ref2"/><ref name="ref3">Byrd RJ, Steinhubl SR, Sun J, Ebadollahi S, Stewart WF. Automatic identification of heart failure diagnostic criteria, using text analysis of clinical notes from electronic health records. Int J Med Inform. 2014;83(12):983-992. [doi:10.1016/j.ijmedinf.2012.12.005]</ref>
<ref name="ref4">Giang P, Williams A, Argyros L. Automated extraction of the Barthel Index from clinical texts. AMIA Annu Symp Proc. 2013;2013(Clc):486-495. [http://www.ncbi.nlm.nih.gov/pubmed/24551352][http: //www.pubmedcentral.nih.gov/articlerender.fcgi?artid= PMC3900193]</ref>
<ref name="ref5">Jonnagaddala J, Liaw S-T, Ray P, Kumar M, Dai H-J, Hsu C- Y. Identification and Progression of Heart Disease Risk Factors in Diabetic Patients from Longitudinal Electronic Health Records. Biomed Res Int. 2015;2015:636371. [doi:10.1155/2015/636371]</ref>, afixos de palavras<ref name="ref2"/> e etiquetadores morfológicos<ref name="ref2"/><ref name="ref5"/><ref name="ref6">Patel R, Jayatilleke N, Broadbent M, et al. Negative symptoms in schizophrenia: a study in a large clinical sample of patients using a novel automated method. BMJ Open. 2015;5(9):e007619. [doi:10.1136/bmjopen-2015-007619]</ref> foram algumas das técnicas utilizadas por alguns dos artigos. Byrd ''et al.'' verificou no seu trabalho que a maioria dos critérios de diagnósticos para insuficiência cardíaca eram constituídos por substantivos compostos sendo um ponto importante a identificação de frases que contêm tais substantivos<ref name="ref3"/>.

Geralmente após a anotação do texto através do PLN, é realizada uma análise do texto. Byrd ''et al.'' utilizou diversas técnicas como coocorrência, desambiguidade, negação, contrafatual, restrições numéricas e de segmento<ref name="ref3"/>. Giang ''et al.'' utilizou a técnica chamada Similaridade Semântica sob o pressuposto de que duas palavras ou termos que coexistam na mesma frase ou documento possuem um contexto similar, sendo possível assim deduzir a sua distância semântica<ref name="ref4"/><ref name="ref7">Budanitsky A, Hirst G. Semantic distance in WordNet : An experimental , application-oriented evaluation of five measures. Work WordNet Other Lex Resour Second Meet North Am Chapter Assoc Comput Linguist. 2001;2(12):29- 34. [doi:10.1.1.29.2985]</ref>.

O uso do saco de palavras, embora tenha muitas limitações como a perda da ordem dos elementos e de informações de contexto, ainda tem sido bastante utilizado pela sua simplicidade<ref name="ref2"/><ref name="ref5"/><ref name="ref6"/><ref name="ref8">Schuemie MJ, Sen E, ’t Jong GW, van Soest EM, Sturkenboom MC, Kors JA. Automating classification of free-text electronic health records for epidemiological studies. Pharmacoepidemiol Drug Saf. 2012;21(6):651- 658. [doi:10.1002/pds.3205]</ref>. Schuemie ''et al.'' além do saco de palavras, utilizou n-gramas como forma de mitigar algumas destas limitações<ref name="ref8"/>.

Como forma de redução da dimensionalidade e do “ruído” dos documentos, verifica-se a aplicação de técnicas como remoção de ''stop words''<ref name="ref9">Luther SL, McCart JA, Berndt DJ, et al. Improving identification of fall-related injuries in ambulatory care using statistical text mining. Am J Public Health. 2015;105(6):1168-1173. [doi:10.2105/AJPH.2014.302440]</ref>
<ref name="ref10">McCart JA, Berndt DJ, Jarman J, Finch DK, Luther SL. Finding falls in ambulatory care clinical documents using statistical text mining. J Am Med Inform Assoc. 2013;20(5):906-914. [doi:10.1136/amiajnl-2012-001334]</ref>
<ref name="ref11">Hammond KW, Ben-Ari AY, Laundry RJ, Boyko EJ, Samore MH. The Feasibility of Using Large-Scale Text Mining to Detect Adverse Childhood Experiences in a VA-Treated Population. J Trauma Stress. 2015;28(6):505-514. [doi:10.1002/jts.22058]</ref>, de palavras que aparecem apenas uma vez<ref name="ref9"/><ref name="ref10"/>, de palavras com menos de 3 letras<ref name="ref9"/><ref name="ref10"/>, ''stemming''<ref name="ref11"/> e associação de palavras<ref name="ref8"/>.

''Gerdes et al.''<ref name="ref12">Gerdes LU, Hardahl C. Text mining electronic health records to identify hospital adverse events. In: Studies in Health Technology and Informatics. Vol 192. Netherlands; 2013:1145. [doi:10.3233/978-1-61499-289-9-1145]</ref> utiliza um software proprietário chamado SAS® Text Miner de forma a realizar PLN, entretanto não fornece mais informações. Enquanto ''DeShazo et al.'' utiliza um corpus anotado manualmente<ref name="ref13">DeShazo JP, Turner AM. An interactive and user-centered computer system to predict physician’s disease judgments in discharge summaries. J Biomed Inform. 2010;43(2):218-223. [doi:10.1016/j.jbi.2009.08.016]</ref>
<ref name="ref14">Kumar VD, Tipney HJ. Biomedical Literature Mining. Vol 1159. (Kumar VD, Tipney HJ, eds.). New York, NY: Springer New York; 2007. [doi:10.1109/BIBE.2007.4375765]</ref>.

== Uso de terminologias padronizadas ==

As técnicas de mineração de texto são muito dependentes dos léxicos, terminologias (ou vocabulário) e ontologias. Um léxico pode ser útil para o mapeamento de conceitos, entretanto as terminologias agrupam termos de um particular domínio de interesse, abordando problemas de sinonímia, polissemia e desambiguidade. As ontologias podem ser representadas de diversas formas, incluindo classes, conceitos e tipos, ligados por relações e propriedades<ref name="ref14"/>. Dentre os artigos selecionados, alguns utilizam dicionários direcionados ou personalizados<ref name="ref3"/><ref name="ref4"/><ref name="ref5"/><ref name="ref6"/><ref name="ref15">Ehrentraut C, Tanushi H, Dalianis H, Tiedmann J. Detection of Hospital Acquired Infections in sparse and noisy Swedish patient records.: A machine learning approach using Naive Bayes, Support Vector Machines and C4. 5. Sixth Work Anal Noisy Unstructured Text Data, AND, held conjunction with Coling 2012. 2012</ref> enquanto outros utilizam terminologias padronizadas como o ''Unified Medical Language System'' (UMLS)<ref name="ref5"/><ref name="ref8"/><ref name="ref9"/><ref name="ref10"/><ref name="ref16">Tanushi H, Kvist M, Sparrelid E. Detection of healthcare- associated urinary tract infection in Swedish electronic health records. Stud Health Technol Inform. 2014;207:330-339. [doi:10.3233/978-1-61499-474-9-330]</ref>.

== Algoritmos de aprendizagem de máquina ==

Uma grande variedade de algoritmos tem sido utilizada como está resumido na Tabela 2.

Dos artigos que tem como objetivo a fenotipagem, os algoritmos de Campo Aleatório Condicional (CAC, ou CRF para ''Conditional Random Field'') e Árvore de Decisão demonstraram um bom desempenho no ''F1 score''<ref name="ref2"/><ref name="ref3"/><ref name="ref5"/><ref name="ref11"/>. Também se verifica um bom desempenho com a Máquina de Vetores de Suporte (MVS ou SVM para ''Support Vector Machine'')<ref name="ref4"/><ref name="ref6"/><ref name="ref13"/> e Similaridade Semântica.

Os restantes artigos<ref name="ref9"/><ref name="ref16"/><ref name="ref17">Berndt DJ, McCart JA, Finch DK, Luther SL. A Case Study of Data Quality in Text Mining Clinical Progress Notes. ACM Trans Manag Inf Syst. 2015;6(1):1:1-1:21. [doi:10.1145/2669368]</ref> têm como objetivo a classificação em duas categorias, exceto o artigo de Schuemie ''et al.''<ref name="ref8"/> cujo objetivo era atribuir códigos ICD-9-CM presentes em relatórios de radiologia.

Na Tabela 3 estão resumidas as medidas de performance dos artigos de acordo com os objetivos e algoritmos utilizados.

= Discussão =

A conversão de dados não estruturados para dados estruturados é um dos passos mais importantes para a análise e geração de conhecimento. Verifica-se que existem diversas abordagens para tratar esta questão, sendo que a mais apropriada depende de diversos fatores individuais de cada fonte de dados e o objetivo da mineração de dados. Verifica-se também que os algoritmos mais utilizados foram o CAC e a MVS.

A comparação do desempenho dos algoritmos entre os artigos é dificultada pela heterogeneidade dos métodos de mineração de texto, o que já era esperado. Apenas os artigos de McCart ''et al.''<ref name="ref10"/> e Schuemie ''et al.''<ref name="ref8"/> demonstraram a utilização de diversos algoritmos utilizando o mesmo método de mineração de texto. Podemos evidenciar que a simples alteração do objetivo da mineração de texto influencia no desempenho dos algoritmos.

= Conclusão =
Desde o início da utilização dos RCEs a mineração de texto tem demonstrado um grande potencial para melhorar os cuidados de saúde. Nesta revisão pudemos verificar as diferentes metodologias utilizadas para em RCEs para obtenção de conhecimento, com enfoque em mineração de texto. Revisões anteriores<ref name="ref18">Iavindrasana J, Cohen G, Depeursinge A, Müller H, Meyer R, Geissbuhler A. Clinical data mining: a review. Yearb Med Inform. 2009;(December 2015):121-133. [doi:me09010121] pii</ref> tiveram um enfoque alargado sendo também notável a heterogeneidade das abordagens utilizadas. A quantidade de estudos no âmbito desta revisão ainda está por crescer, sendo necessária futuramente a realização de estudos de meta-análise comparando suas performances de forma mais ampla e significativa.

= Declarações =
== Lista de abreviaturas ==
*RCE – Registo Clínico Eletrónico
*MeSH – Medical Subject Headings
*PLN – Processamento de Linguagem Natural
*UMLS – Unified Medical Language System
*CAC – Campo Aleatório Condicional
*CRF – Conditional Random Field
*MVS – Máquina de Vetores de Suporte
*SVM – Support Vector Machine
== Consentimento para publicação ==
Não aplicável.

== Conflito de interesses ==

Os autores declaram a ausência de conflito de interesses.

== Financiamento ==

Este estudo foi apoiado pela Universidade do Porto, que possibilitou a obtenção dos artigos de texto completo através da sua plataforma online.

== Contribuição dos autores ==

Todos os autores participaram na pesquisa, análise e elaboração desta revisão.

= Figuras e ilustrações =

= Tabelas =
== Tabela – Resumo da avaliação de risco de viés conforme o QUADAS-2 ==
{| class="wikitable"
! rowspan="2" style="font-weight: bold;" | Estudos
! colspan="4" style="text-align: center; font-weight: bold;" | Risco de Viés
! colspan="3" style="text-align: center; font-weight: bold;" | Aplicabilidade
|-
| style="text-align: center; font-weight: bold;" | Seleção
| style="text-align: center; font-weight: bold;" | Modelo Aplicado
| style="text-align: center; font-weight: bold;" | Padrão Ouro
| style="text-align: center; font-weight: bold;" | Metodologia
| style="text-align: center; font-weight: bold;" | Seleção
| style="text-align: center; font-weight: bold;" | Modelo Aplicado
| style="text-align: center; font-weight: bold;" | Padrão Ouro
|-
| Hammond ''et al.''<sup>11</sup>
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-yellow.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-yellow.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
|-
| Jonnagaddala et al.<sup>5</sup>
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
|-
| Patel et al.<sup>6</sup>
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
|-
| Alnazzawi et al.<sup>2</sup>
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
|-
| Luther et al.<sup>9</sup>
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
|-
| Tanushi et al.<sup>16</sup>
| style="text-align: center;" | [[Ficheiro:Smile-yellow.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-yellow.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-yellow.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
|-
| Giang et al.<sup>4</sup>
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
|-
| Gerdes et al.<sup>12</sup>
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-yellow.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-yellow.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-red.png|25px]]
|-
| Byrd et al.<sup>3</sup>
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
|-
| McCart et al.<sup>10</sup>
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-red.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
|-
| Schuemie et al.<sup>8</sup>
| style="text-align: center;" | [[Ficheiro:Smile-yellow.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-yellow.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
|-
| DeShazo et al.<sup>13</sup>
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-yellow.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-red.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-red.png|25px]]
| style="text-align: center;" | [[Ficheiro:Smile-green.png|25px]]
|}

[[Ficheiro:Smile-green.png|25px]] = baixo risco; [[Ficheiro:Smile-red.png|25px]] = alto risco; [[Ficheiro:Smile-yellow.png|25px]] = risco incerto

== Tabela – Resumo dos algoritmos utilizados nos estudos ==

{|class="wikitable" style="width:400px; text-align: left;"
! Algoritmo de Aprendizagem de Máquina
! Estudos
|-
| Árvores de decisão
| <ref name="ref3"/><ref name="ref8"/>
|-
| Campo aleatório condicional
| <ref name="ref2"/><ref name="ref5"/><ref name="ref11"/>
|-
| k-NN
| <ref name="ref8"/>
|-
| Regressão logística
| <ref name="ref10"/>
|-
| ''Naïve Bayes''
| <ref name="ref8"/>
|-
| ''Random Forest''
| <ref name="ref8"/>
|-
| RIPPER
| <ref name="ref8"/>
|-
| Máquina de vetores de suporte
| <ref name="ref6"/><ref name="ref8"/><ref name="ref9"/><ref name="ref10"/><ref name="ref13"/>
|}

== Tabela – Resumo das performances ==

{|class="wikitable" style="width: 100%; text-align: center;"
! Artigo
! Objetivo
! Algoritmo
! N Teste
! Precisão
! ''Recall''
! ''F-1 Score''
|-
| Alnazzawi ''et al.''<sup>2</sup>
| Fenotipagem
| CAC<sup>†</sup>
| 310
| 0,890
| 0,830
| 0,859
|-
| Hammond ''et al.''<sup>11</sup>
|

|

| 200
| 0,816
| 0,884
| 0,848
|-
| Jonnagaddala ''et al.''<sup>5</sup>
|

|

| 514
| 0,814
| 0,847
| 0,830
|-
| Byrd ''et al.''<sup>3</sup>
|

| Árvore de decisão
| 400
| 0,881
| 0,896
| 0,889
|-
| DeShazo ''et al.''<sup>13</sup>
|

| MVS<sup>‡</sup>
| 300
| 0,952
| 0,952
| 0,952
|-
| Patel ''et al.''<sup>6</sup>
|

|

| 7678
| 0,903
| 0,807
| 0,852
|-
| Gerdes ''et al.''<sup>12</sup>
|

| SAS® CCS
| 200
| 0,560
| 0,700
| 0,622
|-
| Giang ''et al.''<sup>4</sup>
|

| Similaridade semântica
| 20
| 0,857
| 1,000
| 0,923
|-
| Luther ''et al.''<sup>9</sup>
| Classificação
| MVS<sup>‡</sup>
| 7356
| 0,825
| 0,921
| 0,870
|-
| Tanushi ''et al.''<sup>16</sup>
|

| [Dicionário]*
| 1867
| 0,977
| 0,603
| 0,746
|-
| McCart ''et al.''<sup>10</sup>
|

| Regressão logística
| 2846
| 0,852
| 0,846
| 0,849
|-
|

|

| MVS<sup>‡</sup>
|

| 0,860
| 0,840
| 0,850
|-
|

|

| MVS-Cost (MetaCost)
|

| 0,787
| 0,931
| 0,853
|-
| Schuemie ''et al.''<sup>8</sup>
|

| MyC
| 974
| 0,850
| 0,900
| 0,874
|-
|

|

| RIPPER
|

| 0,870
| 0,920
| 0,894
|-
|

|

| C4.5
|

| 0,900
| 0,930
| 0,915
|-
|

|

| MVS<sup>‡</sup>
|

| 0,870
| 0,910
| 0,890
|-
|

|

| ''Random Forest''
|

| 0,820
| 0,860
| 0,840
|-
|

|

| k-NN
|

| 0,960
| 0,590
| 0,731
|-
|

|

| ''Naïve Bayes''
|

| 0,720
| 0,920
| 0,808
|-
|

| Atribuição de diagnósticos ICD-9-CM
| MyC
| 976
| 0,900
| 0,840
| 0,869
|-
|

|

| RIPPER
|

| 0,880
| 0,850
| 0,865
|-
|

|

| C4.5
|

| 0,880
| 0,840
| 0,860
|-
|

|

| MVS<sup>‡</sup>
|

| 0,840
| 0,820
| 0,830
|-
|

|

| ''Random Forest''
|

| 0,890
| 0,630
| 0,738
|-
|

|

| k-NN
|

| 0,840
| 0,550
| 0,665
|-
|

|

| ''Naïve Bayes''
|

| 0,560
| 0,690
| 0,618
|}

† Campo Aleatório Condicional, ‡ Máquina de Vetores de Suporte, *uso apenas de dicionário para identificação da presença de um termo

= Referências =
<references/>