AVALIAÇÃO ORIENTADA A MÚLTIPLOS STAKEHOLDERS: UM MODELO DE PARA

OS SISTEMAS DE INFORMAÇÃO DO SISTEMA ÚNICO DE SAÚDE

Autoria: Rinaldo Macedo de Morais, André Lucirton Costa

Resumo: Os sistemas de informação em saúde caracterizam-se pela complexidade na implementação e envolvem

diversos stakeholders – pacientes, gestores, profissionais de saúde, agentes reguladores e manutenedores de software.
As atividades de avaliação são essenciais para garantir a qualidade e melhoria contínua dessas aplicações, com impactos
positivos na gestão de serviços em saúde. A partir de uma revisão da literatura que pesquisou trabalhos sobre
indicadores de qualidade para sistemas de informação em saúde, foi desenvolvido um modelo de avaliação, segmentado
para os diversos grupos de usuários e para seu staff de manutenção, grupos com conflitos de interesses.

1
1. Introdução
Um sistema de informação em saúde é definido como um conjunto de componentes que
agrega tecnologias de informação e comunicação para atender processos na entrega de serviços em
organizações de saúde (European Science Foundation, 2003). Essas aplicações integram pessoas,
procedimentos e tecnologias para coletar, armazenar, manipular e recuperar informações (Wager,
Lee e Glaser, 2009), caracterizam-se pela implementação complexa e multidisciplinar, produzem
impactos na aprendizagem e adaptação da rotina organizacional e envolvem vários grupos de
stakeholders – pacientes, provedores de serviços, agentes reguladores e profissionais (Fichman,
Kohli e Krishnan, 2011).
O desenvolvimento e manutenção de sistemas de informação em saúde são atividades
complexas, devido: (a) à falta de padronização e dificuldades de interoperabilidade entre aplicações
(Hillestad et al.,2005), (b) à característica interdisciplinar da saúde, que exige a agregação de
saberes de vários profissionais usuários na construção de sistemas de informação (Fichman, Kohli e
Krishnan, 2011) e (c) à natureza fragmentada do setor de saúde e às dificuldades em sistematizar
processos em aplicações (Zahr e Boerma, 2005), além da atual mudança de paradigma, de um
modelo reativo, centrado na doença, para um modelo preventivo, o que dificulta a fluidez na
comunicação entre os três níveis de atenção e na atenção contínua (OPAS, 2011).
Nesse contexto de complexidade, a avaliação é uma atividade essencial para garantia de
qualidade de software em saúde e de sua melhoria contínua. As atividades de avaliação mensuram
atributos de um sistema nas várias fases de seu ciclo de vida (Ammenwerth et al.,2004), auxiliam
na otimização de resultados e identificam eventos imprevistos (European Science Foundation,
2003) e permitem analisar o grau que sistemas de informação atendem a seus objetivos, no suporte
aos serviços e entrega de cuidados em saúde (Yusof et al., 2008).
Ammenwerth et al.(2004) definem avaliação em sistemas de informação em saúde como “o
ato de medir ou explorar atributos (no planejamento, desenvolvimento, implantação ou operação)”.
Yusof et al. (2008) classificam avaliações de sistemas de informação em saúde como formativas,
quando ocorrem durante o tempo em que o sistema é desenvolvido, ou somativas, quando os efeitos
e resultados do sistema são avaliados após sua implantação.
No Brasil, a criação do Sistema Único de Saúde (SUS), a partir da Constituição Federal de
1988, estabeleceu bases para a estruturação de um sistema público de saúde que tem como
princípios a descentralização, a integralidade, a equidade e o controle social (Brasil, 1988). Diversas
ações políticas nos vários governos que se sucederam após a criação do SUS definiram papéis e
responsabilidades à União, aos estados e aos municípios, que regulamentaram a municipalização e a
regionalização, a participação popular, as políticas de custeio e financiamento, a autonomia dos
estados e municípios na gestão de repasses de verbas para os fundos de saúde e as estratégias para a
atenção básica, por meio do incentivo ao Programa de Agentes Comunitários de Saúde (PACS) e ao
Programa de Saúde da Família (PSF) (Brasil, 1990a; Brasil, 1990b; Brasil, 1991; Brasil, 1993;
Brasil, 1996; Brasil, 1998; Brasil, 2001; Brasil, 2002; Brasil, 2006a; Brasil, 2006b; Brasil, 2008;
Brasil, 2009a; Brasil, 2011).
Os diversos eventos epidemiológicos, de atenção básica, ambulatoriais, hospitalares e nas
várias ações implementadas pelo Ministério da Saúde são apoiados por um conjunto de sistemas de
informação de abrangência nacional, comumente chamados de SIS, pelo fato de alguns desses
sistemas possuírem esse prefixo em seu nome. Alguns desses sistemas foram criados entre meados
da década de 70 e início dos anos 80, a partir das primeiras discussões sobre sistemas de informação
em saúde, na I Conferência Nacional de Saúde (Brasil, 2009b).
Alguns trabalhos relatam a falta de integração entre os SIS e a fragmentação e duplicidade
de informações em suas bases de dados (Souza, Freire e Almeida, 2010; Damé et al., 2011;
Almeida, Alencar e Shoeps, 2009; Thaines et al., 2009), outros trabalhos descrevem a baixa
cobertura de alguns SIS e apontam incertezas quanto à confiabilidade dos dados por eles mantidos
(Damé et al., 2011; Almeida, Alencar e Shoeps, 2009; Bittencourt, Camacho e Leal, 2006; Farias et

2
al., 2011; Barbuscia e Rodrigues Júnior, 2011; Mota, 2009) e a deficiência no apoio ao gestor em
processos de tomada de decisão e planejamento, apontada em trabalhos antigos (Moraes, 1994;
Bordignon, 1996), ainda é citada em trabalhos recentes (Figueiredo, 2009; Mota, 2009; Brito e Silva
et al.,2010; Vidor, Fisher e Bordin, 2011; Vieira, 2009).
Segundo Moraes(2010), as informações em saúde no Brasil têm como característica a
fragmentação, múltiplas fontes, baixa qualidade dos dados e disponibilização em formato que
dificulta sua apropriação pelos gestores e pelo controle social. O portfólio de sistemas do Datasus,
em seu sítio institucional (Brasil, 2013), descreve que parte significativa dos SIS caracterizam-se
como sistemas legados, que utilizam tecnologias em desuso e sem padronização de linguagens e
bancos de dados e o monitoramento da qualidade de dados e sistemas de informação em saúde que
atendem ao SUS não segue um plano regular de avaliações normatizado pelo Ministério da Saúde,
apenas iniciativas isoladas (Lima et al.(2009).
Ao identificar uma demanda para discussão sobre a qualidade dos sistemas de informação
em saúde pública no Brasil, para verificar o quanto são efetivos ante as necessidades dos gestores,
dos profissionais de saúde, dos pacientes e usuários, este trabalho propõe um modelo de avaliação
para sistemas de informação em saúde, que possa ser aplicado aos sistemas de informação de
abrangência nacional do SUS, orientado aos diversos stakeholders envolvidos.

2. Método
Esse trabalho incluiu quatro etapas. A primeira consistiu na definição do modelo de
qualidade, com a especificação dos atributos de qualidade a serem considerados no instrumento de
avaliação. O modelo incorporou as características de qualidade da dimensão qualidade do produto
da norma ISO/IEC 25010 (ISO, 2011a), que integra o projeto SQuaRE (Software product Quality
Requirements and Evaluation) - um conjunto de normas técnicas que estabelece padrões para
qualidade e que inclui gerência, modelo, medição, requisitos e avaliação de qualidade para qualquer
produto de software. Seu modelo de qualidade para produto de software é composto por duas
dimensões: qualidade do produto e qualidade em uso. A dimensão qualidade do produto inclui
atributos do software decorrentes de seu processo de implementação, revisão e testes (qualidade
interna) e atributos do software associados à sua execução (qualidade externa). A qualidade em uso
inclui atributos para avaliar o grau que o sistema atende aos objetivos do usuário em suas atividades
com a utilização do software.
A opção da norma ISO/IEC 25010 deu-se por ser de publicação atual e por possuir uma
estrutura mais adequada e abrangente de atributos de qualidade, quando comparada com outros
modelos analisados – a norma NBR ISO/IEC 9126-1(ABNT, 2003), o modelo SPB – para software
público brasileiro (CTI, 2013), o modelo de McCall (Pressman, 2010) e o modelo de DeLone e
McLean (2003).
Na segunda etapa, foi desenvolvido um processo de pesquisa por trabalhos que incluíssem
indicadores de qualidade para sistemas de informação em saúde, em bases de dados nacionais, com
consulta em revistas indexadas na base de periódicos da CAPES e nas bases de dados internacionais
Scopus, Science Direct e WebOfScience, com busca pelas palavras-chaves “Information Systems”,
”Healthcare”, ”Health”, ”Evaluation” e ”Benchmarking”, de forma combinada, com priorização de
trabalhos publicados nos últimos 10 anos e uso das ferramentas de ordenação por relevância
disponibilizadas pelos sites de busca. Foram selecionados sete trabalhos relevantes, após a leitura
dos textos selecionados na pesquisa e de referências bibliográficas desses textos.
Na terceira etapa, foi realizada uma análise semântica dos indicadores constantes nos
trabalhos selecionados na etapa anterior. Os indicadores que foram avaliados como adequados ao
modelo de avaliação foram então classificados em uma característica e subcaracterística da
dimensão qualidade do produto, da norma ISO/IEC 25010.
Na quarta etapa, para cada indicador, foram elaborados questionários de avaliação e/ou
procedimentos de inspeção de software, com preparação de questões de múltipla escolha em escala

3
de 5 pontos, orientados aos diferentes stakeholders usuários de aplicações, e procedimentos de
inspeção de software, com a especificação de métricas baseadas em análise documental, testes de
execução e medição de desempenho, aplicáveis aos sistemas de informação avaliados, junto aos
mantenedores responsáveis pelas aplicações.

3. O modelo para avaliação de sistemas de informação em saúde

A Figura 1 descreve a estrutura do modelo de avaliação proposto. O modelo de qualidade
inclui a dimensão qualidade do produto da norma ISO/IEC 25010, que agrega oito características:
suportabilidade funcional, eficiência no desempenho, compatibilidade, usabilidade, confiabilidade,
segurança, manutenabilidade e portabilidade, que por sua vez refinam-se em um conjunto de 31
subcaracterísticas.

Figura 1. Estrutura do framework de avaliação proposto

Baseado na norma
ISO-IEC 25010 Modelo de
(Dimensão Qualidade do Qualidade
Produto de Software)
inclui
atributos de qualidade (características e subcaracterísticas)
expressam-se em
Obtidos em pesquisa na
literatura de indicadores de Indicadores de qualidade
qualidade para sistemas de
avaliados por meio de
informação em saúde
Simulação de uso
Questionários Procedimentos Análise documental
de avaliação de inspeção Medição de desempenho
estruturados em
Questões Métricas utilizam documentação de
requisitos, documentação
possuem técnica ou outros documentos
aplicam-se aplicam-se relevantes
a Escalas
a

Usuários Sistemas de informação

Stakeholders: Stakeholders:
Profissionais Pacientes/ Mantenedores
Gestores usuários de aplicações
de saúde

Devido ao grau de subjetividade das características e subcaracterísticas de qualidade –

inerente ao modelo, pois pode ser aplicado para qualquer produto de software – o modelo de
avaliação previu a identificação de indicadores de qualidade para o contexto de sistemas de
informação em saúde. Os indicadores para o modelo foram obtidos por meio de um processo de
busca bibliográfica, descrito na seção seguinte, e uma análise semântica classificou cada indicador
em uma característica e subcaracterística do modelo de qualidade. Para avaliar objetivamente cada
indicador, foram elaboradas questões de avaliação e/ou procedimentos de inspeção de software,
aplicáveis aos diferentes stakeholders envolvidos no processo.

4. A seleção e classificação de indicadores de qualidade

Um processo de pesquisa bibliográfica, descrito na etapa 2 do método, selecionou 32
indicadores de sete trabalhos relevantes: Pai e Huang(2011), Viitanen et al.(2011), Hubner-Bloder e

4
Ammenwerth(2009), Ribière et al.(1999), Otieno et al.(2008), Anderson e Aydin(2005) e Lima et
al.(2009).
Pai e Huang (2011) conduziram um processo de avaliação de sistemas de informação em
saúde em Taiwan, por meio da aplicação de questionários em cem hospitais distritais. O
questionário baseou-se no modelo de DeLone e McLean (2003), composto de seis variáveis:
qualidade da informação, qualidade de serviços, qualidade do sistema, utilidade do sistema,
facilidade de uso e intenção de uso, com respostas em uma escala de Likert de cinco pontos.
Viitanen et al. (2011) desenvolveram um estudo sobre uma avaliação de abrangência
nacional, na Finlândia, em hospitais de níveis secundário e terciário. Os sistemas desses hospitais
foram avaliados por 3929 médicos para investigar sua usabilidade em sistemas que incluem o
registro médico eletrônico. O questionário foi organizado com 32 questões na escala de Likert de
cinco pontos, estruturadas em três dimensões:
- a compatibilidade entre os sistemas e as tarefas dos profissionais, relacionadas às
funcionalidades dos sistemas, com o desempenho e com a interface com o usuário;
- o suporte para troca de informações, colaboração e comunicação no trabalho clínico;
- a interoperabilidade e a confiabilidade do sistema.
Hübner-Bloder e Ammenwerth (2009) identificaram indicadores chaves para realização de
benchmarks em sistemas de informação para hospitais com o uso da técnica Delphi, aplicada a um
painel de especialistas da Áustria, Alemanha e Suíça. Delphi é uma técnica para condução de
questionários, composta por vários estágios, com o objetivo obter consensos a partir das opiniões de
um grupo, e tem sido frequentemente aplicada para tomada de decisões na área de saúde (Hasson,
Keeney e McKeena, 2000).
No trabalho de Hübner-Bloder e Ammenwerth(2009), ocorreram três rodadas de
questionários. A primeira, de natureza qualitativa, com questões abertas para coletar opiniões de um
conjunto de especialistas sobre indicadores de avaliação para sistemas de informação para hospitais.
O segundo questionário foi de característica quantitativa, com escala Likert de quatro pontos, que
foi submetido aos gestores para se avaliar a importância de cada indicador identificado na primeira
rodada. Os resultados da segunda rodada foram reenviados aos gestores para permitir que suas
opiniões fossem reavaliadas. Como resultado, foram identificados 77 indicadores de avaliação,
organizados em oito categorias: qualidade técnica, qualidade de software, qualidade da arquitetura e
da interface, qualidade do fornecedor de TI, qualidade do departamento de suporte de TI, qualidade
do suporte ao fluxo de trabalho, qualidade em resultados de TI e Custos de TI.
Ribière et al. (1999) desenvolveram um conjunto de questionários para avaliar o nível de
satisfação de diferentes grupos de usuários de sistemas de informação, organizado em seis
dimensões: qualidade dos serviços entregues pelo sistema, qualidade do sistema (interface, funções
e desempenho), qualidade da informação e sentido global de satisfação do usuário. Cada dimensão é
dividida em um conjunto de fatores que agrupam uma lista de questões, em um total de vinte e oito
fatores. Em cada fator, o usuário expressa seu nível de satisfação em uma escala de Likert de sete
pontos para um conjunto de questões.
Otieno et al. (2008) propuseram um framework de avaliação para sistemas de informação
que incluem registro médico eletrônico (EMR), que foram respondidos por gestores e usuários de
vinte hospitais governamentais, privados e universitários no Japão. O framework também se baseou
no modelo de DeLone e McLean (2003) e foi estruturado em cinco dimensões: qualidade do
sistema, qualidade da informação, qualidade dos serviços, utilização e satisfação do usuário. Os
questionários de avaliação foram aplicados aos seguintes stakeholders: coordenador de informática,
coordenador médico, coordenador de enfermagem, médico e enfermeiro.
Para Anderson e Aydin (2005), ao se avaliar o impacto de sistemas de informação em
organizações de saúde, deve-se buscar não apenas a compreensão sobre a tecnologia utilizada, mas
também dos complexos processos sociais e comportamentais da organização. A proposta de
avaliação desses autores é predominantemente qualitativa e propõe doze questões chaves para

5
avaliação de sistemas de informação em saúde, que devem ser desenvolvidas pelos avaliadores com
técnicas adequadas, como entrevistas, observação, análise documental ou questionários.
Lima et al. (2009) investigaram as iniciativas de avaliação da qualidade da informação dos
sistemas de informações do sistema público de saúde no Brasil. A pesquisa baseou-se na busca de
artigos publicados em revistas científicas nas bases ScieLO, LILACS e BVS, e categorizou os
trabalhos sobre qualidade da informação em sistemas de informação dos SIS-SUS em nove
dimensões conceituais: acessibilidade, clareza metodológica, cobertura, completude,
confiabilidade,consistência, não duplicidade, oportunidade e validade.
Cada indicador constante nos trabalhos selecionados foi classificado em uma característica e
subcaracterística do modelo de qualidade, por meio de uma análise semântica, que analisou a
aplicabilidade do indicador no contexto dos sistemas que atendem ao SUS. Para complementação
do modelo de avaliação nos atributos de qualidade com carência de indicadores, outros 10
indicadores foram propostos pelo autor. A proposição de novos indicadores apoiou-se na leitura das
normas ISO/IEC 25023 (ISO, 2011b) e ISO/IEC 9123-3 (ISO, 2003), que estabelecem métricas de
avaliação para a dimensão de qualidade de produto de software. Com a inclusão desses indicadores,
foram cobertas todas as subcaracterísticas da dimensão qualidade do produto, com exceção de:
− Utilização de recursos: esta variável refere-se a medidas de uso de processador, memória e
dispositivos de entrada e saída, aplicáveis principalmente a sistemas de tempo real, em que a
falta desses recursos pode causar efeitos severos para a operação do sistema, mas
considerados não tão críticos às aplicações transacionais, como os sistemas de informação
em saúde;
− Inteligibilidade: esta variável associa-se à propriedade do software de possuir elementos, em
sua documentação, que possibilitem ao usuário compreender se o software é apropriado às
suas atividades e como pode ser utilizado em suas tarefas, muito útil em contextos de
seleção ou benchmark de produtos de software. Como os SIS já são estruturados com
orientação às tarefas de profissionais, esta propriedade também foi considerada não crítica;
− Capacidade para substituir: refere-se a propriedades que o software possui para substituir
outro sistema existente, como facilidades para migração de dados, para inclusão de
funcionalidades em substituição a outras anteriormente implantadas e adaptabilidade às
interfaces da aplicação anterior. Essa propriedade também não se aplica ao contexto dos SIS.
O Quadro 1 descreve a lista resultante dos indicadores obtidos no processo de seleção,
análise e classificação para o modelo de qualidade, com a identificação de quais autores os
propuseram. No quadro também é descrita a aderência dos indicadores para cada SIS. Essa análise
baseou-se nos descritivos de funcionalidades das aplicações, constantes no sítio institucional do
Datasus (Brasil, 2013). Observa-se que alguns indicadores são atributos genéricos aplicáveis a todos
os sistemas, enquanto outros indicadores são seletivos às características das aplicações.
Quadro 1. Indicadores de qualidade e aplicabilidade aos SIS
C C G S S S S H S H S H  B  S  C  S  S  P  S  S S S S
Características, subcaracterísticas e Indicadores de qualidade N A I I I I I I I O I E  L  I  I  I  I  V  I  G I I I
[1] Pai e Huang (2011)  E D L A ‐ S S P S S H M H  H  H  A  S  C  O  I S MS
[2] Viitanen et al. (2011)  S S     P C ME P P   O  ‐  D    B  V    P  F G   ‐
[3] Hubner‐Bloder e Ammenwerth (2009)  U NO A R R U V  W  A  S    E S C
[4] Ribière et al. (1999)  S I L MD E B I  E  N  R I N
[5] Otieno et al. (2008)    O A I N   D  B  F N T
[6] Anderson e Aydin (2005)  A A A    A  
[7] Lima et al. (2009)  T   S
A C
[8] proposto pelo autor  
L
A  informação  tratada  pelo  sistema  atende 
Suportabilidade  às  necessidades  do  usuário  X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
funcional/ Completeza  [1][2][3][4][5][6] 
funcional  O  sistema  oferece  suporte/auxilia  para 
    X   X X X X X X   X  X  X  X  X  X  X  X  X X X X
tomada de decisão [2][4][5] 

6
 O  sistema  obedece  a  normas  legais  de 
informação  (CID10,DRG,transmissão  de  X   X X X X X X X X X X    X  X  X    X  X  X   X X
dados, etc.) [3] 
O sistema auxilia na prevenção de erros de 
        X       X X                          
medicação [2] 
A  documentação  clínica  gerada  pelo  siste‐
    X   X X X X X X   X    X  X  X    X        X  
ma é correta e completa [3] 
Suportabilidade 
O sistema disponibiliza a informação corre‐
funcional/ Corre‐tude  X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
ta [1][4][7] 
funcional 
Suportabilidade 
O  sistema  integra  processos  de  diferentes 
funcional/ Ade‐quação      X   X X X X X X   X    X    X              X
áreas/departamentos [4][6] 
funcional 
O desempenho do sistema é satisfatório: os 
dados  são  processados  em  um  período  de 
X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
tempo  aceitável/O  sistema  responde  rapi‐
Eficiência no desempe‐ damente às entradas [2][3][4][7] 
nho/ Comportamento em O  tempo  de  autenticação  para  acesso  ao 
X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
relação ao tempo  sistema é adequado [2][3] 
A  documentação  clínica  gerada  pelo  siste‐
ma atende às restrições de tempo exigidas      X   X X X X X X   X    X  X  X    X        X  
[3] 
O  sistema  provê  aos  seus  usuários  acesso 
Eficiência no desempe‐
simultâneo  adequado,  com  desempenho  X X X   X X X X X X   X  X  X  X  X  X  X        X X
nho/ Capacidade 
satisfatório[8] 
Compatibilidade/ Coex‐ O  sistema  provê  acesso  a  seus  dados  a 
X X X   X X X X X X     X    X  X  X  X        X  
istência  partir de outros sistemas [5] 
O  sistema  pode  estar  integrado  ou  conec‐
Compatibilidade/ Intero‐
tado  para  acessar  informações  de  outros      X X X X X X X X X   X  X  X  X  X  X  X  X X X X
perabilidade 
sistemas [1][2][3][4] 
O  sistema  disponibiliza  manuais,  tutoriais 
ou  documentação  para  treinamen‐
X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
Usabilidade/ Apreensibi‐ to/acesso  a  dados  e/ou  help  on‐line 
lidade  [3][4][7] 
A  aprendizagem  do  sistema  não  exige  um 
X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
longo treinamento [2] 
O  sistema  é  de  utilização  fácil/intuitiva
X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
[1][2][3][4][7] 
A navegação pelo sistema é rápida e padro‐
X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
nizada [3][4] 
Usabilidade/ Operabili‐
O sistema oferece feedback ao usuário para
dade  X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
as tarefas que são executadas [2] 
O  software  permite  adaptações  para  aten‐
der  a  necessidades  locais/específicas,  pelo  X X X X X X X  X      X  X     
próprio usuário[3] 
É  simples,  fácil  e  seguro  corrigir  um  erro 
X X X X X X X X X X X X  X  X  X  X  X  X  X  X   X X
(o sistema implementa reversibilidade) [4] 
Usabilidade/ Proteção ao  O  sistema  implementa  a  verificação  de 
erro do usuário  X X X X X X X X X X X X  X  X  X  X  X  X  X  X   X X
valores válidos em entradas de dados[8] 
O sistema evita operações incorretas[8]  X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
Os  arranjos  dos  campos  da  interface  são 
    X   X X X X X X   X  X      X  X             
ajustáveis ao trabalho do usuário[2] 
A interface (telas/formulários/entradas de 
dados/relatórios/gráficos)  é  clara,  assim 
Usabilidade/ Estética da 
como os termos e conceitos utilizados no  X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
interface com usuário 
sistema  são  claros  e  sem  ambiguidades 
[1][2][4] 
O  sistema  apresenta  interface  unifor‐
X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
me/padronizada [3] 
O sistema inclui facilidades de acesso para 
Usabilidade/ Acessibili‐
usuários  com  necessidades  especiais  ou  X X X X X X X X X X X X  X  X  X  X  X  X  X  X X X X
dade 
por idade[8] 

7
 O sistema apresenta baixos índices de 
X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
chamados de manutenção de software [3] 
As correções, melhorias ou atualizações de 
Confiabilidade/ Maturi‐ versão não causam instabilidade no sistema 
X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
dade  e não demandam esforços ou tempo exces‐
sivos [3] 
O sistema é confiável, estável, e não ocor‐
X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
rem erros durante seu uso [2][5] 
Confiabilidade/ Disponi‐ O sistema encontra‐se sempre disponível 
X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
bilidade  [3][5] 
Confiabilidade/ To‐ O sistema possui recursos para armazena‐
X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
lerância a falhas  mento redundante de dados [3] 
O sistema apresenta baixo nível de perda 
Confiabilidade/ Recupe‐
de dados e mecanismos eficientes de res‐ X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
rabilidade 
tauração [2][3] 
Segurança / Confidencia‐
Não há riscos de acesso não autorizado às 
lidade, autenticação e  X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
informações do sistema [4] 
Integridade 
Segurança/ não questio‐
O sistema inclui assinatura digital[8]  X X X X X X X X X     X  X  X  X  X  X X X X
namento 
Segurança/ responsabili‐ O sistema possui mecanismos de auditori‐
X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
zação  a/ rastreabilidade[8] 
Manutenabilidade / 
O software integra‐se (com facilidade) com 
Modularidade e  X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
novas funções/sistemas [4] 
Modificabilidade 
Manutenabilidade  O sistema possui componentes de softwa‐
X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
/Reusabilidade  re reutilizáveis[8] 
Manutenabili‐ Exige‐se pouco esforço para localizar 
X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
dade/Analisabilidade  causas de falhas no software[8] 
Manutenabili‐ O sistema pode ser eficazmente testado 
X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
dade/Testabilidade  após uma modificação[8] 
O sistema opera em ambientes que são 
padrões de mercado (sistema operacional, 
X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
banco de dados, ferramentas de desenvol‐
Portabilidade/ Adaptabi‐ vimento, etc.) [3] 
lidade  O sistema apresenta independência e mobi‐
lidade para armazenamento e recuperação 
X X X X X X X X X X  X      X  X      X
da informação (notebooks, tablets, PDAs, 
etc) [3] 
Portabilidade/ Capacida‐ A instalação do sistema no ambiente do 
X X X X X X X X X X X X  X  X  X  X  X  X  X X X X X
de para ser instalado  usuário é fácil e rápida[8] 

5. A elaboração de questionários e procedimentos de inspeção de software

Para cada indicador mapeado, foram elaboradas questões de avaliação e/ou procedimentos
de inspeção de software, aplicáveis aos diferentes stakeholders, para avaliar objetivamente cada
indicador. Como stakeholders, o modelo incluiu:
− Gestores: usuários do sistema em seu nível estratégico;
− Profissionais de saúde: usuários do sistema em níveis tático e operacional;
− Pacientes/usuários: acessam o sistema apenas para consultas;
− Profissionais de TI: compõem o staff técnico da aplicação, como desenvolvedores ou
mantenedores.
As questões de avaliação foram agrupadas em questionários direcionados a perfis de
usuários (gestores, profissionais de saúde e pacientes). A elaboração das questões orientou-se na
redação de textos expressos de modo claro, sem ambiguidades e em uma linguagem de fácil
compreensão. Foram desenvolvidas as escalas de mensuração também com observação à leitura
clara e apropriada, cobertura do universo de respostas possíveis e distribuídas uniformemente.
Foram utilizadas escalas ordinais e intervalares, segundo definições de Malhotra(2006), com cinco
opções de respostas organizadas em ordem crescente de adequação.
8
 Os procedimentos de inspeção propostos para cada indicador utilizaram métricas
especificadas nas normas ISO/IEC 25023 (ISO, 2011b) e ISO/IEC 9123-3 (ISO, 2003), com
adaptações para o contexto de sistemas de informação para organizações de saúde. A aplicação de
uma métrica pode incluir análise documental, teste/simulação de uso do software ou medição/ensaio
de desempenho e utilizar a documentação de requisitos, documentação técnica ou
padrões/benchmarks para avaliação. Esses procedimentos aplicam-se aos profissionais de TI
mantenedores das aplicações, stakeholders que detêm acesso às informações sobre requisitos dos
sistemas, históricos de alterações, históricos de defeitos e falhas do sistema e outras informações
relevantes para obtenção das medições propostas nos procedimentos. As escalas para as métricas
especificadas nos procedimentos de inspeção são valoráveis entre zero e um: quanto mais próxima
de um, maior a conformidade do sistema à métrica especificada.
O Quadro 2 descreve as 33 questões de avaliação e suas escalas e os 43 procedimentos de
inspeção especificados para os indicadores associados às características e subcaracterísticas do
modelo de qualidade. A primeira coluna indica para quais stakeholders as questões de avaliação,
descritas na segunda coluna, são aplicáveis. Na terceira coluna são descritas as escalas previstas
para cada questão de avaliação. A quarta coluna especifica as métricas de software aplicáveis nos
procedimentos de inspeção previstos para cada indicador.
As questões de avaliação concentraram-se nas características suportabilidade funcional,
desempenho, compatibilidade, usabilidade, confiabilidade e segurança. Deve-se observar que a
maioria dos trabalhos selecionados na etapa de busca por indicadores na literatura referem-se a
trabalhos que envolveram questionários orientados a usuários de sistemas de informação em saúde.
As dimensões portabilidade e manutenibilidade, de natureza mais técnica, incluíram apenas
procedimentos de inspeção, sem envolvimento de usuários na avaliação desses atributos.
Trinta e oito procedimentos de inspeção de software basearam-se no uso de métricas da
norma ISO/IEC 25023, quatro basearam-se em métricas da norma ISO/IEC 9126-3 e um incluiu
uma métrica proposta pelo autor. Para quatro indicadores da característica usabilidade não foram
especificados procedimentos de inspeção, devido à subjetividade e por serem estritamente
orientados aos usuários: “A aprendizagem do sistema não exige um longo treinamento”, “A
interface (telas, formulários, entradas de dados, relatórios ou gráficos) é clara, assim como os
termos e conceitos utilizados no sistema são claros e sem ambiguidades”, “O sistema apresenta
interface uniforme e padronizada” e “o sistema é de utilização fácil, intuitiva”.

Quadro 2. Questões de avaliação, escalas e métricas de software do modelo de avaliação

Legenda: G-Gestor PS-Profissional de Saúde US-Usuário do Sistema de Saúde/Paciente
Características/subcaracterísticas de qualidade 
Stakeholders/Questões de avaliação (QA)  Escalas  e Procedimentos de inspeção (PI) 
A‐ Suportabilidade funcional (completeza funcional,corretude funcional e adequação funcional) (QA=7,PI=7) 
1) As necessidades do usuário quanto ao tratamento de 
G  informações são atendidas por quantas funções disponibili‐
PS  zadas pelo sistema?  
US  2) Quantas funções do sistema disponibilizam a documenta‐
ção clínica de modo correto e completo? 
0‐20% (nenhuma/quase nenhuma)
3) Quantas funções disponibilizadas no sistema implementam
20‐40% (poucas)  ISO/IEC 25023 ‐ Métrica 
funcionalidades que observam normas legais de informação 
40‐60% (em torno da metade)  cobertura de implementação 
G  (CID10, DRG, transmissão de dados, etc.)? 
60‐80% (a maioria)  funcional 
PS  4) As necessidades do usuário quanto ao suporte para toma‐
80‐100% (todas/quase todas) 
da de decisões são atendidas por quantas funções disponibili‐
zadas pelo sistema para tal fim? 
5) Para as funções do sistema que exigem verificação e 
PS  prevenção de erros de medicação, quantas implementam 
essa funcionalidade? 
G  6) Com que frequência o sistema apresenta informações  Sempre/ Geralmente/ Eventual‐ ISO/IEC 25023 ‐ Métrica de 
PS  incorretas ou imprecisas ?  mente/ Raramente/ Nunca acurácia computacional 
US  7) As funcionalidades do sistema integram diferentes áreas  Nunca/ Raramente/ Moderada‐ ISO/IEC 25023 ‐ Métrica de 

9
 ou departamentos?  mente/ Geralmente/ Sempre  adequação funcional 
B‐ Eficiência no desempenho(Comportamento em relação ao tempo e capacidade) (QA=4, PI=5) 
G  8) O tempo de resposta de uma solicitação do tipo “job” no  ISO/IEC 25023 ‐ Métrica 
PS  sistema é satisfatório?  turnaroundtime 
9) O tempo de resposta de uma operação on‐line no sistema  Nunca / Raramente / Modera‐
G  é satisfatório?  damente geralmente, frequen‐
ISO/IEC 25023 ‐ Métrica 
PS  10) A autenticação no sistema ocorre em tempo satisfatório ?temente /Sempre 
response time 
US  11) O sistema gera a documentação clínica com tempo de 
resposta satisfatório? 
ISO/IEC 25023 ‐ Métrica número de acessos simultâneos: 
NAS=número verificado de acessos simultâneos de usuários, 
Indicador: O sistema provê aos seus usuários acesso simul‐ com desempenho dentro de padrões adequados; 
 
tâneo adequado, com desempenho satisfatório.  NMA=número máximo de acessos simultâneos previsto, 
estimado nos requisitos do sistema 
EFDESEMP=NAS/NMA 
C– Compatibilidade (Coexistência e Interoperabilidade) (QA=2, PI=2) 
12) O sistema permite disponibilizar seus dados para quantos  0% (nenhum)/  ISO/IEC 25023 – Métrica dis‐
G  outros sistemas que precisam acessá‐los?  Até 25% (poucos)/  ponibilidade de coexistência 
PS 13)Com quantos sistemas a aplicação possui integração,  Entre 25 e 75% (parcialmente)/  ISO/IEC 25023 – Métrica 
US através da troca de informações e do uso de informações que Mais que 75% (quase todos)/  conectividade com sistemas 
são trocadas, nos casos que a interoperabilidade é exigida?  100% (todos)  externos 
D– Usabilidade(apreensibilidade, operabilidade, proteção ao erro do usuário, estética na interface com o usuário e acessibilida‐
de(QA=13, PI=9) 
ISO/IEC 25023 – Métrica 
14) Para quantas funções o sistema disponibiliza documen‐
completude da documenta‐
tação (manuais, tutoriais e material de treinamento) e/ou 
ção do usuário e/ou facilida‐
help on‐line aos usuários? 
des de ajuda (help) 
15) Quantas funções do sistema são de fácil compreensão, a 
Não especificado 
partir da documentação do sistema? 
16) Em quantas funções o sistema possui acesso padroniza‐ ISO/IEC 25023 – Métrica de 
do, com navegação similar e rápido acesso?  consistência operacional 
17) Para quantas funções o sistema produz feedback ade‐
ISO/IEC 25023 – Métrica de 
G  quado, com mensagens claras,  que permitem a compreen‐
clareza de mensagens 
PS  são das tarefas que são executadas? 
US  18) Quantas funções do sistema são de fácil operação, de  0% (nenhuma)/ 
Não especificado 
uso intuitivo?  Até 25% (poucas)/ 
19) Quantas funções do sistema apresentam interfaces   25 a 75% (em torno da metade)/
(telas/formulários/entradas de dados/relatórios/gráficos)  Mais que 75% (a maioria)/ 
Não especificado 
claras, assim como os termos e conceitos utilizados no  100% (todas) 
sistema são claros e sem ambiguidades?   
20) Em quantas funções do sistema a interface apresenta‐se   
Não especificado 
uniforme, padronizada ?   
21) Quantas funções do sistema incorporam facilidades para    ISO/IEC 25023 ‐ Métrica de 
pessoas que possuem necessidades especiais ou idosas?    acessibilidade física 
22) Dentre as funções que requerem/demandam customi‐  
ISO/IEC 25023 – Métrica de 
G  zação pelo próprio usuário, em quantas o sistema permite   
possibilidade de customi‐
PS  que o usuário faça as adaptações para atender suas neces‐  
zação 
sidades locais/específicas?   
  ISO/IEC 9126‐3 – Métrica de 
23) Em quantas funções do sistema uma ação é reversível,    facilidade para cancelar 
de modo simples, fácil e seguro ?    ISO/IEC 9126‐3 – Métrica de 
0% (nenhuma)/  facilidade para desfazer 
Até 25% (poucas)/  ISO/IEC 25023 – métrica de 
24) Em quantas funções do sistema a interface pode ser   25 a 75% (em torno da metade)/ customização da aparência 
PS 
modificada, com a aparência customizada pelo usuário?  Mais que 75% (a maioria)/ 
  da interface do usuário 
  100% (todas)  ISO/IEC 25023 Métrica de 
25) Para quantas funções o sistema bloqueia operações    impedimento de operações 
incorretas?    incorretas 
ISO/IEC 25023 ‐ Métrica de 
26) Para quantas entradas (atributos, campos) o sistema 
checagem de validação de 
não permite a entrada de dados inválidos ou incorretos? 
entrada 

10
E– Confiabilidade(maturidade, disponibilidade, recuperabilidade, tolerância a falhas e não questionamento) (QA=6, PI=7) 
Nunca ou raramente/ Eventual‐ ISO/IEC 25023 – Métrica 
27) Com que frequência o software sofre manutenções  mente/ Moderadamente/ Regu‐ MTBF (media time between 
para corrigir erros?   larmente/ Muito frequentemente failures) e ISO/IEC 9126‐3 – 
Métrica detecção de falhas 
Sempre/  MR= número de manutenções decorrentes de 
G  28) As correções, melhorias ou atualizações de versão que  Frequentemente/ manutenções anteriores, que geraram efeitos 
PS  ocorrem no sistema causam instabilidade ou demandam  Moderadamente/ colaterais e tornaram o sistema instável. 
esforços ou tempo excessivos?  Eventualmente/  NM=número total de manutenções 
Nunca  CONF= MR/NM (métrica proposta pelo autor)
29) Quantas funções do sistema que exigem assinatura  Nenhuma/ Poucas/ Em torno  ISO/IEC 25023 ‐ Métrica de 
digital possuem esse recurso?  da metade / A maioria/ Todas  uso de assinatura digital 
Muito frequentemente/ Geral‐
mente, regularmente / Modera‐ Mesmas métricas da ques‐
30) Ocorrem erros durante o uso do sistema ? 
damente / Eventualmente/  tão (27) 
Nunca ou raramente 
Sempre ou quase sempre indisponível/ 
ISO/IEC 25023 ‐ 
A maior parte do tempo indisponível/ 
G  31) Qual a frequência em que o sistema está disponível  Métrica de taxa do 
Há períodos regulares em que o sistema 
PS  para o usuário, quando é requerido?  sistema em produ‐
se apresenta indisponível/ Eventualmen‐
US  ção 
te  indisponível/ Sempre disponível 
são perdidos, sem recuperação/ Rara‐
32) Quando ocorre perda de dados no sistema (queda de  mente são recuperados/ Às vezes os  ISO/IEC 9126‐3 – 
energia, falha em equipamentos, etc.), pode‐se afirmar que  dados são recuperados, às vezes não/  Métrica de restau‐
os dados:   Frequentemente, quase sempre, são  rabilidade 
recuperados/ Sempre são recuperados 
ISO/IEC 25023 – Métrica de redundância de componentes:  
NCR = número de componentes instalados redundantemente 
Indicador: O sistema possui recursos para armazenamento 
  para evitar falhas no sistema; NCRI = número de componentes 
redundante de dados. 
redundantes instalados previstos nos requisitos do sistema 
CONF = NCR/NCRI 
F‐ Segurança (Confidencialidade, Autenticação, Integridade e Responsabilização) (QA=1, PI=3) 
33) Em quantas funções o sistema possibilita registrar  ISO/IEC 25023 ‐ 
G  Nenhuma/ Poucas/ Em torno da metade/ 
informações de acesso e operações, que podem futura‐ Métrica de auditabi‐
PS  A maioria/ Todas 
mente ser auditadas/rastreadas?  lidade de acesso 
a) ISO/IEC 25023 – Métrica de controlabilidade de acesso: 
TCAI = número de tipos controles de acesso (verificação de 
operação ilegal) corretamente implementados e verificados; 
TCAP = número de tipos de controles de acesso previstos nos 
requisitos do sistema. 
Indicador: Não há riscos de acesso não autorizado às infor‐
  SEG1 = TCAI / TCAP 
mações do sistema 
b) ISO/IEC 25023 – Métrica de encriptação de dados: 
NIDCE = número de itens de dados corretamente encripta‐
dos/decriptados; NIEP = número de itens de dados com 
encriptação prevista nos requisitos do sistema. 
SEG2 = NIDCE / NIEP 
G‐ Manutenabilidade (modularidade, modificabilidade, reusabilidade, analisabilidade e testabilidade) (QA=0, PI=6) 
a) ISO/IEC 25023 – Métrica de condensabilidade: 
NCNA= número de componentes não afetados por alterações 
em outros componentes; NTC= número total de componentes 
MANUT1 = NCNA/NTC 
Indicador: O software integra‐se (com facilidade) com  b) ISO/IEC 25023 – Métrica de taxa de sucesso de modificação:
 
novas funções/ sistemas.  PRAM = número de problemas/reclamações antes de uma 
dada manutenção;PRDM = número de problemas/ reclama‐
ções após a (mesma) manutenção. 
MANUT2 = (PRAM‐PRDM)/PRAM (calcular a média para um 
conjunto de modificações em um dado período) 
ISO/IEC 25023 ‐ Métrica de grau de reusabilidade: 
NCRS = número de componentes/artefatos reutilizáveis do 
Indicador: O sistema possui componentes de software 
  software, que podem ser utilizados em mais de um sistema ou 
reutilizáveis. 
utilizados para construir outros sistemas 
NTCB = número total de componentes/artefatos de software 

11
 reutilizáveis na biblioteca de objetos reutilizáveis do ambiente 
de desenvolvimento do produto de software 
MANUT3 = NCRS / NTCB 
a) ISO/IEC 25023 ‐ Métrica de registro de auditoria de causas de 
erros: 
NRCE = Número de registros distintos de causas de erros em 
operações do sistema;  NPRCE = Número de registros de causas 
de erros gravados planejado o suficiente para monitorar o 
Indicador: Exige‐se pouco esforço para localizar causas de  status do sistema durante sua operação. 
 
falhas no software.  MANUT = NRCE / NPRCE 
b) ISO/IEC 25023 ‐ Métrica de funções de diagnóstico: 
NFDF = número de funções para diagnóstico de falhas disponí‐
veis para o sistema; NPFDF = número de funções para diagnós‐
tico de falhas previsto nas especificações/requisitos do sistema
MANUT = NFDF / NPFDF 
ISO/IEC 25023 – Métrica de cobertura de casos de teste: 
NCT = número casos de teste preparados para testar funcionali‐
Indicador: O sistema pode ser eficazmente testado após  dades do sistema; NTCT = número total de casos de testes 
 
uma modificação.  estimado para verificação funcional do sistema, com inclusão 
dos casos de teste para integração com outros sistemas. 
MANUT = NCT / NTCT 
H‐ Portabilidade (Adaptabilidade e capacidade para ser instalado) (QA=0, PI=3) 
ISO/IEC 25023 – Métrica de adaptabilidade a ambientes de 
software: 
Indicador: O sistema opera em ambientes que são padrões  NFAS = número de funções do sistema testadas com êxito em 
  de mercado (sistema operacional, banco de dados, ferra‐ outros ambientes de software (SGBDs, sistemas operacionais, 
mentas de desenvolvimento, etc.).  ambientes de desenvolvimento, etc.), além do ambiente nativo; 
NTF = número total de funções do sistema. 
PORT1=NFAS/NTF 
ISO/IEC 25023 – Métrica de adaptabilidade a ambientes de 
hardware: 
Indicador: O sistema apresenta independência e mobilida‐
NFAH = número de funções do sistema testadas com êxito em 
  de para armazenamento e recuperação da informação 
outros ambientes de hardware além do ambiente nativo; NTF = 
(notebooks, tablets, PDAs, etc.). 
número total de funções do sistema. 
PORT2=NFAH/NTF 
ISO/IEC 25023 – Métrica de facilidade de instalação: 
NIS = número de instalações realizadas com sucesso, em que a 
Indicador: A instalação do sistema no ambiente do usuário  instalação ocorreu de acordo com a conveniência do usuário e 
 
é fácil e rápida.  em tempo de instalação adequado;  NTIS =número total de 
instalações e tentativas de instalação do sistema. 
PORT = NIS / NTIS 

6. Considerações finais
Este artigo apresentou um modelo de avaliação para sistemas de informação em saúde que
possa ser aplicado aos SIS-SUS, para saber o quanto são efetivos ante as necessidades dos gestores,
dos profissionais de saúde, dos profissionais de TI e dos pacientes e usuários do SUS. Como
atributos do modelo de qualidade foram utilizadas as características e subcaracterísticas da
dimensão qualidade de produto de software da norma ISO/IEC 25010. A partir de um processo de
seleção, análise e estruturação de indicadores de qualidade para sistemas de informação em saúde,
em trabalhos da literatura, foram desenvolvidos questionários de avaliação e procedimentos de
inspeção de software.
Os procedimentos de avaliação definidos na arquitetura do modelo são orientados a
múltiplos stakeholders, por meio de questionários de avaliação elaborados para os diferentes grupos
de usuários dos sistemas e procedimentos de inspeção são aplicáveis aos mantenedores de
aplicações. As próximas etapas desse projeto incluem um estudo piloto de avaliação, para verificar a
efetividade do instrumento e a submissão do modelo e dos resultados do estudo piloto a um painel
de especialistas, para validação de constructo.
Esse modelo poderá contribuir no apoio à gestão da qualidade para sistemas de informação

12
em saúde, agregar conteúdo para projetos que tratem da normatização de planos de avaliação e
monitoramento de qualidade de sistemas e dados em saúde no Brasil e em projetos de melhoria de
ativos de software para gestão da saúde pública e como mais uma referência para estudos que
envolvam processos de avaliação da qualidade técnica de softwares em saúde ou em outras áreas,
com adaptações.

Referências

ABOUZAHR, C.; BOERMA, T. Health information systems: the foundations of public health.
Bulletin of the World Health Organization. n. 83, p.578-583. 2005. Disponível em:
<http://www.who.int/bulletin/volumes/83/8/en/index.html>. Acesso em: 24 out. 2011.
ABNT. ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR ISO/IEC 9126-1:2003 -
Engenharia de software - Qualidade de produto -Parte 1: Modelo de qualidade. Rio de Janeiro:
ABNT, 2003.
ALMEIDA, M. F.; ALENCAR, G. P.; SHOEPS, D. Sistema de informações sobre Nascidos Vivos
– Sinasc: Uma avaliação de sua trajetória. In: BRASIL. Ministério da Saúde. A experiência
brasileira em sistemas de informação em saúde. Volume 1. Ministério da Saúde:Organização
Pan-Americana da Saúde:Fundação Oswaldo Cruz. Brasília : Editora do Ministério da Saúde, 2009.
AMMENWERTH, E. et al.. Visions and strategies to improve evaluation of health information
systems: Reflections and lessons based on the HIS-EVAL workshop in Innsbruck. International
Journal of Medical Informatics, v. 73, p. 479-491, 2004.
ANDERSON, J.; AIDYN, C. E. Evaluating the organizational impact of healthcare
information systems. New York:Springer, 2005.
BARBOSA, D. C. M. Sistemas de Informação em Saúde: A percepção e a Avaliação dos
Profissionais envolvidos na Atenção Básica em Ribeirão Preto-SP. 2006. 100 f. Dissertação
(Mestrado). Faculdade de Medicina de Ribeirão Preto. Universidade de São Paulo, 2006.
BARBUSCIA, D. M.; RODRIGUES JÚNIOR, A. L. Completude da informação nas declarações de
nascido vivo e nas declarações de óbito, neonatal precoce e fetal, da região de Ribeirão Preto, São
Paulo, Brasil, 2000-2007. Cadernos de Saúde Pública, Rio de Janeiro, ,n. 27, v. 6, p.1192-1200,
2011.
BITTENCOURT, S. A.; CAMACHO, L. A. B.; LEAL, M. C. Sistema de informação hospitalar e
sua aplicação na saúde coletiva. Cadernos de Saúde Pública, n. 22, v.1, p. 19-30. Rio de Janeiro.
2006.
BORDIGNON, M. O. Informação em saúde: potencialização e sentido. In: BORDIN, R, et al.,
organizadores. Práticas de gestão em saúde: em busca da qualidade. Porto Alegre: Dacasa, 1996.
BRASIL. Constituição da República Federativa do Brasil de 1988. Disponível em
<http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm>. Acesso em 01.jan.2013.
______. Lei nº 8.080, de 19 de setembro de 1990. Casa Civil da Presidência da República.
Disponível em <portal.saude.gov.br/portal/arquivos/pdf/lei8080.pdf>. Acesso em 15 abr. 2012.
______. Lei nº 8.142, de 28 de dezembro de 1990. Casa Civil da Presidência da República.
Disponível em <http://www.planalto.gov.br/ccivil_03/leis/L8142.htm>. Acesso em 15 abr. 2012.

13
______. Norma Operacional Básica/SUS nº 01/91. Instituto Nacional de Assistência Médica da
Previdência Social. Resolução nº 258, de 07 de janeiro de 1991. Disponível em
<http://siops.datasus.gov.br/Documentacao/Resolução 258_07_01_1991.pdf> . Acesso em 15 abr.
2012.
______. Norma Operacional Básica/SUS nº 01/93. Ministério da Saúde. Portaria no 545, de 29 de
Maio de 1993. Disponível em <http://siops.datasus.gov.br/Documentacao/Portaria
545_20_05_1993.pdf>. Acesso em 15 abr. 2012.
______. Norma Operacional Básica/SUS nº 01/96. Ministério da Saúde. Disponível em
<http://portal.saude.gov.br/portal/arquivos/pdf/nob96.pdf>. Acesso em 15 abr. 2012.
______. Norma Operacional Básica/SUS nº 01/98. Ministério da Saúde. Instrução Normativa nº
01/98 de 02 de janeiro de 1998. Disponível em
<http://portal.saude.gov.br/portal/arquivos/pdf/in98.pdf>. Acesso em 15 abr. 2012.
______. Norma Operacional de Assistência à Saúde/NOAS-SUS nº 01/2001. Ministério da
Saúde. Portaria nº 95, de 26 de janeiro de 2001. Disponível em
<http://www.brasilsus.com.br/index.php?option=com_content&view=article&id=13475>. Acesso
em 15 abr. 2012.
______. Norma Operacional de Assistência à Saúde/NOAS-SUS nº 01/2002. Ministério da
Saúde. Portaria nº 373, de 27 de fevereiro de 2002. Disponível em
<http://bvsms.saude.gov.br/bvs/saudelegis/gm/2002/prt0373_27_02_2002.html>. Acesso em 15
abr. 2012.
______. Portaria no 399/GM, de 22 de fevereiro de 2006. Ministério da Saúde. Pacto pela Saúde.
Divulga o Pacto pela Saúde 2006 – Consolidação do SUS e aprova as diretrizes operacionais do
referido pacto. Disponível em <http://dtr2001.saude.gov.br/sas/PORTARIAS/Port2006/GM/GM-
399.htm>. Acesso em 15 abr. 2012.
______. Portaria no 699/GM, de 30 de março 2006. Ministério da Saúde. Pacto pela Saúde.
Regulamenta as diretrizes operacionais dos pactos Pela Vida e de Gestão. Disponível em
<http://portal.saude.gov.br/portal/arquivos/pdf/Portaria_699_2006.pdf>. Acesso em 15 abr. 2012.
______. Portaria no 325, de 21 de fevereiro de 2008. Ministério da Saúde. Disponível em
<http://dtr2001.saude.gov.br/sas/PORTARIAS/Port2008/GM/GM-325.htm>. Acesso em 29 ago.
2012.
______. Portaria no 2669, de 3 de novembro 2009. Ministério da Saúde. Disponível em
<http://portalweb04.saude.gov.br/sispacto/portaria2669_versao_impressao.pdf>. Acesso em 29 ago.
2012.
______. A experiência brasileira em sistemas de informação em saúde. Volume 1. Ministério da
Saúde: Organização Pan-Americana da Saúde:Fundação Oswaldo Cruz. Brasília: Editora do
Ministério da Saúde, 2009.
______. Decreto nº 7.508, de 28 de junho de 2011. Casa Civil da Presidência da República.
Disponível em <http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/decreto/D7508.htm>.
Acesso em 12 out. 2012.
______. Ministério da Saúde. Departamento de Informática do SUS (DATASUS-Sítio
institucional). Disponível em: <http://www2.datasus.gov.br/DATASUS/index.php>. Acesso em: 24
mar. 2013.

14
BRITO E SILVA, K. S. et al. Conhecimento e uso do Sistema de Informações sobre Orçamentos
Públicos em Saúde (SIOPS) pelos gestores municipais, Pernambuco, Brasil. Cadernos de Saúde
Pública, Rio de Janeiro, n. 26, v. 2, p. 373-382, 2010.
CTI. Centro de Tecnologia da Informação Renato Archer. Software Público Brasileiro. Disponível
em <http://www.cti.gov.br/software-publico-dtds.html>. Acesso em 30.dez.2012.
DAMÉ, P. K. V. et al.. Sistema de Vigilância Alimentar e Nutricional (SISVAN) em crianças do
Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados. Cadernos de
Saúde Pública, n. 27, v.11, p. 2155-2165, 2011.
DeLONE, W. H.;McLEAN, E. R. The DeLone and McLean Model of Information Systems
Success: A Ten-Year Update. Journal of Management Information Systems, v.19, p 9-30, 2003.
EUROPEAN SCIENCE FUNDATION. Declaração de Innsbruck. Workshop on Systematic
Evaluation of Health Information Systems (HISEVAL), 2003. Disponível em
<http://iig.umit.at/dokumente/r16.pdf> acesso em 28 out. 2012.
FARIAS, L. M. M. et al.. Os limites e possibilidades do Sistema de Informação da Esquistossomose
(SISPCE) para a vigilância e ações de controle. Cadernos de Saúde Pública, Rio de Janeiro, n.27,
v. 10, p. 2055-2062, 2011.
FIGUEIREDO, L. A. Análise da utilização do Sistema de Informação em Atenção Básica –
SIAB pelos coordenadores da Atenção Primária à Saúde na tomada de decisão. 2009. 121f.
Dissertação (Mestrado) – Escola de Enfermagem de Ribeirão Preto. Universidade de São Paulo,
Ribeirão Preto, 2009.
FICHMAN, R. G.; KOHLI, R.; KRISHNAN, R. The role of information systems in healthcare:
current research and future trends. Information Systems Research, v. 22, n. 3, p. 419-428, 2011.
HASSON, F.; KEENEY, S.; McKEENA, H. Research guidelines for the Delphi survey technique.
Journal of Advanced Nursing, v. 32, p. 1008-1015, 2000.
HILLESTAD, R. et al.. Can electronic medical record systems transform health care? Potential
health benefits, savings, and costs. Health Affairs, v. 24, n.5, p. 1103-1117, 2005.
HÜBNER-BLODER, G.; AMMENWERTH. E. Key Performance Indicators to Benchmark Hospital
Information Systems – A Delphi Study. Methods of Information in Medicine. v. 6, p. 508-518,
2009.
ISO. International Organization for Standardization. ISO/IEC TR 9126-3. Software engineering –
Product Quality – part 3: Internal metrics. 2003.
ISO. International Organization for Standardization. ISO/IEC 25010. Systems and software
engineering -systems and software Quality Requirements and Evaluation (SQuaRE) - System and
software quality models. 2011.
ISO. International Organization for Standardization. ISO/IEC 25023. Systems and software
engineering -systems and software Quality Requirements and Evaluation (SQuaRE) – Measurement
of system and software product quality. 2011b.
LIMA, C. R. A. et al.. Revisão das dimensões de qualidade dos dados e métodos aplicados na
avaliação dos sistemas de informação em saúde. Cadernos de Saúde Pública, n. 25, v. 10, p. 2095-
2109, 2009.

15
MORAES, I. H. S. Informações em saúde: da prática fragmentada ao exercício da cidadania. São
Paulo: Hucitec, 1994.
MORAES, I. H. S. Sala de Situação em Saúde: contribuição à ampliação da capacidade gestora do
Estado? In: OPAS. Sala de Situação em Saúde: compartilhando as experiências do Brasil. Brasí-
lia:Organização Pan-Americana da Saúde:Ministério da Saúde, 2010.
MOTA, F. R. L. Registro de informação no sistema de informação em saúde: um estudo das
bases SINASC, SIAB e SIM no estado de Alagoas. 2009. 265f. Tese (Doutorado em Ciência da
Informação) – Escola da Ciência da Informação, Universidade Federal de Minas Gerais, Belo Hori-
zonte, 2009.
OPAS. A atenção à saúde coordenada pela APS : construindo as redes de atenção no SUS:
contribuições para o debate. Organização Pan-Americana da Saúde. Brasília: Organização Pan-
Americana da Saúde, 2011.
OTIENO, G. O. et al.. Measuring effectiveness of electronic medical records systems: Towards
building a composite index for benchmarking hospitals. International Journal of Medical
Informatics. v. 77, p. 657-669, 2008.
PAI, F-Y.; HUANG, K-I. Applying the Technology Acceptance Model to the introduction of
healthcare information systems. Technological Forecasting & Social Change, v. 78, p.650–660,
2011.
PRESSMAN, R. S. Software Engineering: a Practitioner´s Approach. New York:McGraw-Hill,
2010.
RIBIÈRE, V. et al.. Hospital Information Systems Quality: A Customer Satisfaction Assessment
Tool. In: Proceedings of the 32nd Hawaii International Conference on System Sciences. Havaii, 32.,
1999, Anais…, Havaii, IEEE, 1999.
SOUZA, R. C.; FREIRE, S. M.; ALMEIDA, R. T. Sistema de informação para integrar os dados da
assistência oncológica ambulatorial do Sistema Único de Saúde. Cadernos de Saúde Pública, n.
26, v. 6, p.1131-1140, 2010.
THAINES, G. H. L. S. et al.. Produção, fluxo e análise de dados do sistema de informação em
saúde: um caso exemplar. Texto & Contexto – Enfermagem. v. 18, n. 3, p. 466-474, 2009.
VIDOR, A. C.; FISHER, P. D.; BORDIN , R. Utilização dos sistemas de informação em saúde em
municípios gaúchos de pequeno porte. Revista de Saúde Pública, n. 45, p.24-30, 2011.
VIEIRA, F. S. Avanços e desafios do planejamento no Sistema Único de Saúde. Ciência & Saúde
Coletiva, n. 14, p. 1565-1577, 2009.
VIITANEN, J. et al.. National questionnaire study on clinical ICT systems proofs: Physicians suffer
from poor usability. International Journal of Medical Informatics, v. 80, p. 708–725, 2011.
WAGER, K. A.; LEE, F. W. L.; GLASER, J. P. Health Care Information Systems:
A Practical Approach for Health Care Management. San Francisco: John Wiley and Sons, 2009.
YUSOF, M. M. et al.. Investigating evaluation frameworks for health information systems.
International Journal of Medical Informatics, v. 77, p. 377-385, 2008.

16