Watson: diferenças entre revisões
Sem resumo de edição |
Sem resumo de edição |
||
| Linha 27: | Linha 27: | ||
== Sumário == | == Sumário == | ||
''' | ''' | ||
<p align=”Justify”>No último século, a IBM realizou várias inovações científicas | <p align=”Justify”>No último século, a IBM realizou várias inovações científicas fruto do seu compromisso com a pesquisa e a sua tradição em Grandes Desafios. Esses Grandes Desafios – como o DeepBlue®, projetado para rivalizar com o campeão mundial de xadrez Gary Kasparov – são um esforço para impulsionar a ciência de uma forma que antes não era considerada possível. O IBMWatson é o mais novo Grande Desafio de pesquisa da IBM. É projetado para desenvolver a ciência do processamento de linguagens naturais através de avanços na tecnologia de perguntas e respostas. </p> | ||
<p align=”Justify”>O | <p align=”Justify”>O IBMWatson é um sistema otimizado para suportar e relacionar uma grande diversidade de informação, com uma arquitetura IBM DeepQA e executado num cluster de servidores baseados em processadores IBM®POWER7®. Após quatro anos de pesquisa e desenvolvimento intensos por parte de uma equipa de pesquisadores da IBM, o Watson competiu no programa de TV ''Jeopardy!'' em fevereiro de 2011. Competiu, ao mesmo nível dos especialistas humanos em termos de precisão, confiança e velocidade, contra dois dos mais conhecidos e bem-sucedidos campeões de ''Jeopardy!'', KenJennings e Brad Rutter. <ref name=" IBM">IBM Corporation 2011 IBM Systems and Technology GroupRoute, “Watson – Um Sistema Projetado para Respostas: O futuro do design de sistemas otimizados para carga de trabalho,” 2011.</ref></p> | ||
== Jeopardy! O desafio da IBM == | == Jeopardy! O desafio da IBM == | ||
<p align="justify">Hoje em dia, | <p align="justify">Hoje em dia, a necessidade das empresas em captar cada vez mais informações essenciais aos negócios, usando a documentação em linguagem natural, aumenta o interesse em sistemas otimizados que analisem profundamente o conteúdo de perguntas em linguagem natural para obter respostas com precisão. Os avanços na tecnologia de respostas a perguntas (QA, question/answering) vão ajudar cada vez mais os profissionais na tomada de decisões críticas e pontuais em áreas como atendimento médico, business intelligence, descoberta de conhecimento, gestão do conhecimento corporativo e atendimento ao cliente. Tendo a QA em mente, a IBM impôs o desafio de desenvolver um sistema computacional chamado “Watson” (em homenagema Thomas J. Watson, fundador da IBM), que pudesse competir ao nível de campeões humanos em tempo real. O IBMWatson representa um avanço impressionante no design e análise de sistemas. Ele executa a tecnologia DeepQA da IBM, um novo tipo de capacidade analítica que pode executar milhares de tarefas simultâneas em segundos para fornecer respostas precisas a perguntas. Ativado pela tecnologia dos processadores IBMPOWER7, o Watson é um exemplo de cargas de trabalho de análise complexa que estão a tornar-se cada vez mais comuns e essenciais para o sucesso e a competitividade dos negócios, no ambiente atual de grande fluxo de dados. <ref name=" IBM"/> </p> | ||
== | == IBM DeepQA == | ||
<p align="justify">DeepQA é uma arquitetura probabilística paralela maciça baseada em evidências. Para o desafio Jeopardy!, mais de 100 técnicas diferentes são usadas para analisar a linguagem natural, identificar fontes, encontrar e gerar hipóteses, encontrar e pontuar evidências, | <p align="justify">DeepQA é uma arquitetura probabilística paralela maciça baseada em evidências. Para o desafio ''Jeopardy!'', mais de 100 técnicas diferentes são usadas para analisar a linguagem natural, identificar fontes, encontrar e gerar hipóteses, encontrar e pontuar evidências, mesclar e classificar hipóteses. Muito mais importante do que qualquer técnica em particular, é a maneira como todas essas técnicas são combinadas no DeepQA, demonstrando que as abordagens sobrepostas podem unir forças e contribuir para melhorias na precisão, confiança ou velocidade. A DeepQA é uma arquitetura com uma metodologia complementar, mas não é específica para o Desafio Jeopardy! A IBM começou a adaptá-la para diferentes aplicações comerciais e outros problemas desafiantes a serem explorados, inclusive nas áreas de medicina, pesquisa corporativa e jogos.<ref name=" IBM"/> Os princípios predominantes da DeepQA são: | ||
# '''Paralelismo maciço:''' o paralelismo maciço é explorado na consideração de várias interpretações e hipóteses. | # '''Paralelismo maciço:''' o paralelismo maciço é explorado na consideração de várias interpretações e hipóteses. | ||
# '''Muitos especialistas:''' facilitam a integração, aplicação e avaliação contextual de uma ampla gama de análises probabilísticas de perguntas e conteúdos fracamente acopladas. | # '''Muitos especialistas:''' facilitam a integração, aplicação e avaliação contextual de uma ampla gama de análises probabilísticas de perguntas e conteúdos fracamente acopladas. | ||
# '''Estimativa universal de confiança:''' não há um único componente que se compromete com uma resposta; todos os componentes produzem características e confianças associadas, pontuando interpretações diferentes de perguntas e conteúdos. Um substrato subjacente de processamento de confiança aprende a empilhar e combinar as pontuações. | # '''Estimativa universal de confiança:''' não há um único componente que se compromete com uma resposta; todos os componentes produzem características e confianças associadas, pontuando interpretações diferentes de perguntas e conteúdos. Um substrato subjacente de processamento de confiança aprende a empilhar e combinar as pontuações. | ||
# '''Integração de conhecimento superficial e profundo:''' equilibra o uso | # '''Integração de conhecimento superficial e profundo:''' equilibra o uso da semântica restrita e da semântica superficial, aproveitando-se de muitas ontologias formadas livremente.</p> | ||
== Velocidade e escala horizontal == | == Velocidade e escala horizontal == | ||
<p align="justify">O DeepQA é desenvolvido usando o Apache UIMA, uma implementação de estrutura da Unstructured Information Management Architecture (Arquitetura de | <p align="justify">O DeepQA é desenvolvido usando o Apache UIMA, uma implementação de estrutura da Unstructured Information Management Architecture (Arquitetura de Gestão de Informação Não-Estruturada). A UIMA foi projetada para dar suporte à interoperabilidade e escala horizontal de aplicativos de análise textual e multimodal. Todos os componentes da DeepQA são implementados como anotadores UIMA. Esses componentes analisam o texto e produzem anotações ou asserções sobre ele. Com o tempo, o IBMWatson evoluiu de tal forma que o sistema agora tem centenas de componentes. A UIMA facilitou a integração, teste e avaliação rápida dos componentes. As implementações iniciais do IBMWatson eram executadas num único processador, que exigia duas horas para responder a uma única pergunta. Mas a computação da DeepQA é paralela, portanto, ela pode ser dividida em várias partes independentes, cada uma das quais podendo ser executada por um processador separado. A UIMA-AS, parte da Apache UIMA, permite a escala horizontal de aplicativos UIMA usando mensagens assíncronas. O IBMWatson utiliza a UIMA-AS para se escalar em 2.880 processadores POWER7 num cluster de 90 servidores IBMPower®750. A UIMA-AS gere toda a comunicação entre processos, usando o padrão aberto JMS. A implantação da UIMA-AS para POWER7 permitiu ao IBMWatson fornecer respostas de um a seis segundos. O Watson tem cerca de 200 milhões de páginas de conteúdo em linguagem natural (equivalente à leitura de 1 milhão de livros) e utiliza a estrutura Apache Hadoop para facilitar o pré-processamento em grandes volumes de dados para criar conjuntos de dados internos à memória, usados em tempo de execução. Os anotadores UIMA DeepQA do Watson foram implementados como mapeadores na estrutura de redução de mapa da Hadoop, que os distribuiu pelos processadores no cluster. A Hadoop contribui para a utilização otimizada das CPUs e também fornece ferramentas convenientes para implantar, gerir e monitorizar o processo de análise de dados.<ref name=" IBM"/> </p> | ||
== Aproveitando-se do POWER7 == | == Aproveitando-se do POWER7 == | ||
<p align="justify">O Watson aproveita-se do desempenho de processamento paralelo maciço dos seus processadores POWER7 para executar as suas milhares de tarefas da DeepQA simultaneamente em núcleos de processadores individuais. Cada um dos 90 servidores | <p align="justify">O Watson aproveita-se do desempenho de processamento paralelo maciço dos seus processadores POWER7 para executar as suas milhares de tarefas da DeepQA simultaneamente em núcleos de processadores individuais. Cada um dos 90 servidores IBMPower750 num cluster do IBMWatson conta com 32 núcleos POWER7, executados a 3.55GHz. Executando o sistema operativo Linux®, os servidores são abrigados em 10 racks, juntamente com os nós de E/S e hubs de comunicação associados. O sistema tem um total combinado de 16 terabytes de memória e pode operar a mais de 80 teraflops (trilhões de operações por segundo). Com seu design inovador de oito núcleos, o POWER7 é ideal para o processamento paralelo maciço dos algoritmos analíticos do Watson. O POWER7 também conta com 500 gigabytes de largura de banda de comunicação interna, contribuindo para uma eficiente utilização tanto da memória, quanto do processador. Como cada servidor conta com 32 núcleos POWER7 de alto desempenho com até 512GB de memória, o Power750 é a plataforma ideal para os processos Java do Watson, que utilizam muitos recursos de processador e de memória. Projetar o IBMWatson em servidores Power750, foi uma escolha deliberada para garantir uma adoção mais rápida de sistemas otimizados em setores como os de serviços de saúde e financeiros. Esse objetivo é uma diferença fundamental entre o Watson e o Deep Blue, que era um computador altamente personalizado. O Deep Blue era baseado numa geração anterior da tecnologia de processadores Power, contando com um sistema RS/6000SP de 30 nós, cada um deles contendo um único processador POWER2 de 120MHz. Mas, além dos processadores POWER2 normais, o desempenho do Deep Blue era aprimorado com 480 processadores especialistas em xadrez. O mesmo servidor Power750 usado pelo Watson já é implantado hoje por milhares de empresas em sistemas otimizados que oferecem processamento complexo de análises e transações.</p> | ||
<p align="justify">A Rice University em Houston, Texas, por exemplo, utiliza sistemas | <p align="justify">A Rice University em Houston, Texas, por exemplo, utiliza sistemas IBMPower750 para acelerar a compreensão da base molecular do cancro através da aplicação de tecnologias de análise do genoma. Os sistemas POWER7 deram à Rice mais flexibilidade e eficiência, permitindo-lhes enfrentarem, com um único sistema, uma gama mais ampla de desafios de pesquisa do que era possível antes.<imagemap> | ||
Image:Mapa2_ibmwatson.jpg|alt=Rice University | Image:Mapa2_ibmwatson.jpg|alt=Rice University | ||
default [https://www.youtube.com/watch?v=kNEpOPQxslQ Video] | default [https://www.youtube.com/watch?v=kNEpOPQxslQ Video] | ||
desc none </imagemap></p> | desc none </imagemap></p> | ||
<p align="justify"> | <p align="justify"> A GHY International, uma firma corretora alfandegária no Canadá, migrou para um Power750 novo, executando AIX®, Power i e Power Linux, para dar mais suporte às crescentes transações de comércio internacional dos seus clientes. Com a virtualização PowerVM™, agora a GHY é capaz de implantar capacidades novas em apenas cinco minutos para dar suporte às necessidades em mudança dos seus clientes.<ref name=" IBM"/> | ||
<imagemap> | <imagemap> | ||
Image:Mapa3_ibmwatson.jpg|alt=GHY | Image:Mapa3_ibmwatson.jpg|alt=GHY | ||
| Linha 56: | Linha 56: | ||
== Um sistema projetado para respostas == | == Um sistema projetado para respostas == | ||
<p align="justify">Depois de quatro anos de pesquisa e desenvolvimento intensos por parte de uma equipe de pesquisadores da IBM, o Watson demonstrou suas habilidades | <p align="justify">Depois de quatro anos de pesquisa e desenvolvimento intensos por parte de uma equipe de pesquisadores da IBM, o Watson demonstrou as suas habilidades ao competir no ''Jeopardy!'' contra campeões humanos, com desempenho ao nível de especialistas em termos de precisão, confiança e velocidade. O projeto promoveu os campos da análise de dados não-estruturados, do processamento de linguagem natural e do design de sistemas otimizados para cargas de trabalho. Além do ''Jeopardy!'', a tecnologia por detrás do Watson pode ser adaptada para resolver problemas comerciais e sociais – por exemplo, diagnóstico de doenças lidando com perguntas de suporte técnico on-line e analisando grandes quantidades de documentos jurídicos – e na promoção do progresso em vários setores. A capacidade do Watson para entender o significado e o contexto da linguagem humana e para processar rapidamente informações de modo a encontrar respostas precisas para perguntas complexas, revela um potencial enorme para transformar a forma pela qual os computadores podem ajudar as pessoas a realizar tarefas nos seus negócios e nas suas vidas pessoais.<ref name=" IBM"/> </p> | ||
<p>'''Site do IBM Watson:''' <imagemap> | <p>'''Site do IBM Watson:''' <imagemap> | ||
Revisão das 22h15min de 5 de abril de 2016
| Watson | |
|---|---|
| Sigla | Watson |
| Designação | homenagem a Thomas J. Watson, fundador da IBM |
| Data de Lançamento | 2007 |
| Entidade Criadora | IBM |
| Entidade Gestora | IBM |
| Versão Atual | |
| Requisitos Técnicos | |
| Tipo de Licenciamento | |
| Arquitetura | |
| Sistema Operativo | |
| Especialidade Médica | desenvolvido para diagnóstico clínicos |
| Utilizadores Principais | |
| Função | O Watson representa um avanço impressionante no design e análise de sistemas. Ele executa a tecnologia DeepQA da IBM,um novo tipo de capacidade analítica que pode executar milhares de tarefas simultâneas em segundos para fornecer respostas precisas a perguntas. |
Mestrado de Informática Médica
Universidade do Porto
up201007548@med.up.pt
<imagemap> Image:Watson_pt.jpg|300px|alt=Apresentação default IBM Watson desc none </imagemap>
Sumário
No último século, a IBM realizou várias inovações científicas fruto do seu compromisso com a pesquisa e a sua tradição em Grandes Desafios. Esses Grandes Desafios – como o DeepBlue®, projetado para rivalizar com o campeão mundial de xadrez Gary Kasparov – são um esforço para impulsionar a ciência de uma forma que antes não era considerada possível. O IBMWatson é o mais novo Grande Desafio de pesquisa da IBM. É projetado para desenvolver a ciência do processamento de linguagens naturais através de avanços na tecnologia de perguntas e respostas.
O IBMWatson é um sistema otimizado para suportar e relacionar uma grande diversidade de informação, com uma arquitetura IBM DeepQA e executado num cluster de servidores baseados em processadores IBM®POWER7®. Após quatro anos de pesquisa e desenvolvimento intensos por parte de uma equipa de pesquisadores da IBM, o Watson competiu no programa de TV Jeopardy! em fevereiro de 2011. Competiu, ao mesmo nível dos especialistas humanos em termos de precisão, confiança e velocidade, contra dois dos mais conhecidos e bem-sucedidos campeões de Jeopardy!, KenJennings e Brad Rutter. [1]
Jeopardy! O desafio da IBM
Hoje em dia, a necessidade das empresas em captar cada vez mais informações essenciais aos negócios, usando a documentação em linguagem natural, aumenta o interesse em sistemas otimizados que analisem profundamente o conteúdo de perguntas em linguagem natural para obter respostas com precisão. Os avanços na tecnologia de respostas a perguntas (QA, question/answering) vão ajudar cada vez mais os profissionais na tomada de decisões críticas e pontuais em áreas como atendimento médico, business intelligence, descoberta de conhecimento, gestão do conhecimento corporativo e atendimento ao cliente. Tendo a QA em mente, a IBM impôs o desafio de desenvolver um sistema computacional chamado “Watson” (em homenagema Thomas J. Watson, fundador da IBM), que pudesse competir ao nível de campeões humanos em tempo real. O IBMWatson representa um avanço impressionante no design e análise de sistemas. Ele executa a tecnologia DeepQA da IBM, um novo tipo de capacidade analítica que pode executar milhares de tarefas simultâneas em segundos para fornecer respostas precisas a perguntas. Ativado pela tecnologia dos processadores IBMPOWER7, o Watson é um exemplo de cargas de trabalho de análise complexa que estão a tornar-se cada vez mais comuns e essenciais para o sucesso e a competitividade dos negócios, no ambiente atual de grande fluxo de dados. [1]
IBM DeepQA
DeepQA é uma arquitetura probabilística paralela maciça baseada em evidências. Para o desafio Jeopardy!, mais de 100 técnicas diferentes são usadas para analisar a linguagem natural, identificar fontes, encontrar e gerar hipóteses, encontrar e pontuar evidências, mesclar e classificar hipóteses. Muito mais importante do que qualquer técnica em particular, é a maneira como todas essas técnicas são combinadas no DeepQA, demonstrando que as abordagens sobrepostas podem unir forças e contribuir para melhorias na precisão, confiança ou velocidade. A DeepQA é uma arquitetura com uma metodologia complementar, mas não é específica para o Desafio Jeopardy! A IBM começou a adaptá-la para diferentes aplicações comerciais e outros problemas desafiantes a serem explorados, inclusive nas áreas de medicina, pesquisa corporativa e jogos.[1] Os princípios predominantes da DeepQA são:
- Paralelismo maciço: o paralelismo maciço é explorado na consideração de várias interpretações e hipóteses.
- Muitos especialistas: facilitam a integração, aplicação e avaliação contextual de uma ampla gama de análises probabilísticas de perguntas e conteúdos fracamente acopladas.
- Estimativa universal de confiança: não há um único componente que se compromete com uma resposta; todos os componentes produzem características e confianças associadas, pontuando interpretações diferentes de perguntas e conteúdos. Um substrato subjacente de processamento de confiança aprende a empilhar e combinar as pontuações.
- Integração de conhecimento superficial e profundo: equilibra o uso da semântica restrita e da semântica superficial, aproveitando-se de muitas ontologias formadas livremente.
Velocidade e escala horizontal
O DeepQA é desenvolvido usando o Apache UIMA, uma implementação de estrutura da Unstructured Information Management Architecture (Arquitetura de Gestão de Informação Não-Estruturada). A UIMA foi projetada para dar suporte à interoperabilidade e escala horizontal de aplicativos de análise textual e multimodal. Todos os componentes da DeepQA são implementados como anotadores UIMA. Esses componentes analisam o texto e produzem anotações ou asserções sobre ele. Com o tempo, o IBMWatson evoluiu de tal forma que o sistema agora tem centenas de componentes. A UIMA facilitou a integração, teste e avaliação rápida dos componentes. As implementações iniciais do IBMWatson eram executadas num único processador, que exigia duas horas para responder a uma única pergunta. Mas a computação da DeepQA é paralela, portanto, ela pode ser dividida em várias partes independentes, cada uma das quais podendo ser executada por um processador separado. A UIMA-AS, parte da Apache UIMA, permite a escala horizontal de aplicativos UIMA usando mensagens assíncronas. O IBMWatson utiliza a UIMA-AS para se escalar em 2.880 processadores POWER7 num cluster de 90 servidores IBMPower®750. A UIMA-AS gere toda a comunicação entre processos, usando o padrão aberto JMS. A implantação da UIMA-AS para POWER7 permitiu ao IBMWatson fornecer respostas de um a seis segundos. O Watson tem cerca de 200 milhões de páginas de conteúdo em linguagem natural (equivalente à leitura de 1 milhão de livros) e utiliza a estrutura Apache Hadoop para facilitar o pré-processamento em grandes volumes de dados para criar conjuntos de dados internos à memória, usados em tempo de execução. Os anotadores UIMA DeepQA do Watson foram implementados como mapeadores na estrutura de redução de mapa da Hadoop, que os distribuiu pelos processadores no cluster. A Hadoop contribui para a utilização otimizada das CPUs e também fornece ferramentas convenientes para implantar, gerir e monitorizar o processo de análise de dados.[1]
Aproveitando-se do POWER7
O Watson aproveita-se do desempenho de processamento paralelo maciço dos seus processadores POWER7 para executar as suas milhares de tarefas da DeepQA simultaneamente em núcleos de processadores individuais. Cada um dos 90 servidores IBMPower750 num cluster do IBMWatson conta com 32 núcleos POWER7, executados a 3.55GHz. Executando o sistema operativo Linux®, os servidores são abrigados em 10 racks, juntamente com os nós de E/S e hubs de comunicação associados. O sistema tem um total combinado de 16 terabytes de memória e pode operar a mais de 80 teraflops (trilhões de operações por segundo). Com seu design inovador de oito núcleos, o POWER7 é ideal para o processamento paralelo maciço dos algoritmos analíticos do Watson. O POWER7 também conta com 500 gigabytes de largura de banda de comunicação interna, contribuindo para uma eficiente utilização tanto da memória, quanto do processador. Como cada servidor conta com 32 núcleos POWER7 de alto desempenho com até 512GB de memória, o Power750 é a plataforma ideal para os processos Java do Watson, que utilizam muitos recursos de processador e de memória. Projetar o IBMWatson em servidores Power750, foi uma escolha deliberada para garantir uma adoção mais rápida de sistemas otimizados em setores como os de serviços de saúde e financeiros. Esse objetivo é uma diferença fundamental entre o Watson e o Deep Blue, que era um computador altamente personalizado. O Deep Blue era baseado numa geração anterior da tecnologia de processadores Power, contando com um sistema RS/6000SP de 30 nós, cada um deles contendo um único processador POWER2 de 120MHz. Mas, além dos processadores POWER2 normais, o desempenho do Deep Blue era aprimorado com 480 processadores especialistas em xadrez. O mesmo servidor Power750 usado pelo Watson já é implantado hoje por milhares de empresas em sistemas otimizados que oferecem processamento complexo de análises e transações.
A Rice University em Houston, Texas, por exemplo, utiliza sistemas IBMPower750 para acelerar a compreensão da base molecular do cancro através da aplicação de tecnologias de análise do genoma. Os sistemas POWER7 deram à Rice mais flexibilidade e eficiência, permitindo-lhes enfrentarem, com um único sistema, uma gama mais ampla de desafios de pesquisa do que era possível antes.<imagemap> Image:Mapa2_ibmwatson.jpg|alt=Rice University default Video desc none </imagemap>
A GHY International, uma firma corretora alfandegária no Canadá, migrou para um Power750 novo, executando AIX®, Power i e Power Linux, para dar mais suporte às crescentes transações de comércio internacional dos seus clientes. Com a virtualização PowerVM™, agora a GHY é capaz de implantar capacidades novas em apenas cinco minutos para dar suporte às necessidades em mudança dos seus clientes.[1] <imagemap> Image:Mapa3_ibmwatson.jpg|alt=GHY default Vídeo desc none</imagemap>
Um sistema projetado para respostas
Depois de quatro anos de pesquisa e desenvolvimento intensos por parte de uma equipe de pesquisadores da IBM, o Watson demonstrou as suas habilidades ao competir no Jeopardy! contra campeões humanos, com desempenho ao nível de especialistas em termos de precisão, confiança e velocidade. O projeto promoveu os campos da análise de dados não-estruturados, do processamento de linguagem natural e do design de sistemas otimizados para cargas de trabalho. Além do Jeopardy!, a tecnologia por detrás do Watson pode ser adaptada para resolver problemas comerciais e sociais – por exemplo, diagnóstico de doenças lidando com perguntas de suporte técnico on-line e analisando grandes quantidades de documentos jurídicos – e na promoção do progresso em vários setores. A capacidade do Watson para entender o significado e o contexto da linguagem humana e para processar rapidamente informações de modo a encontrar respostas precisas para perguntas complexas, revela um potencial enorme para transformar a forma pela qual os computadores podem ajudar as pessoas a realizar tarefas nos seus negócios e nas suas vidas pessoais.[1]
Site do IBM Watson: <imagemap> Image:Mapa_ibmwatson.jpg|alt=Site IBM Watson default Video desc none </imagemap>
Vídeo de apresentação: <imagemap> Image:Mapa1_ibmwatson.jpg|300px|alt=Apresentação default Video desc none </imagemap>
