Escola de Tecnologias e Arquitectura (ISTA)

Departamento de Cincias e Tecnologias de Informao

Usabilidade, Acessibilidade e
Qualidade da Web da Administrao
Pblica Portuguesa
Ricardo Nuno Moreira de Carvalho

Tese submetida como requisito parcial para obteno do grau de

Mestre em Engenharia Informtica

Orientador:
Professor Doutor Pedro Faria Lopes, Professor Associado,
Instituto Universitrio de Lisboa

outubro, 2015

(Pgina intencionalmente deixada em branco)

Agradecimentos
Ao meu orientador, Professor Pedro Faria Lopes, que me contagiou com a sua paixo pela
Usabilidade e que me ensinou a ser exigente e a compreender a importncia dos detalhes.
Ao Dr. Jorge Fernandes, da Unidade Acesso da Fundao para a Cincia e Tecnologia,
pelas informaes prestadas e colaborao preciosa. Ao Tiago Morin pelo apoio e disponibilidade constante. Ao Nuno Dominguinhos, do Ministrio da Sade, pela oportunidade de
discutir a qualidade de servios pblicos na Internet. Ao Ivo Gomes, do Departamento de
Qualidade e Usabilidade do Sapo pelos esclarecimentos dados.
Elsa Marques e Sara Mendes pela ajuda na reviso deste documento.
Ao Joo Fernandes, da Novabase, com quem tanto aprendi e cujo feedback e couching
foi incansvel. Ao Antnio Nogueira e a todos os meus colegas pelo ambiente incrvel de
trabalho. Ao Natalino pela oportunidade inigualvel de aprendizagem.
A todos que os que estudaram comigo no ISCTE, em especial ao Jairo Avelar, David
Jardim, Fbio Vitrio, Hugo Marcos, Joana Fonseca, Saul Fino de Sousa, Carlos Pires, Ana
Rita Sousa, Renato Vieira dos Santos, Tiago Mata, Ana Antunes e Tiago Moreiras. Foi um
prazer crescer convosco.
A todos os meus amigos, em especial ao Daniel F. & Fatinha, David, Joel, Fbio, Natacha,
Bruno, Daniel L, Marco, Rui e Sara(s) M.
Ao meu irmo Bruno e cunhada Carla pela verdadeira amizade que nos une. Aos meus
sobrinhos Gonalo e Joana, pela generosidade da alegria que contagia tudo ao vosso redor.
Aos meus pais por terem assumido como objetivo de vida a educao e formao dos
filhos e por me terem poupado a vrias tarefas para eu estivesse mais disponvel para crescer,
aprender e voar. Obrigado pela gratuidade do vosso amor.
Cludia, pela inspirao que me d e por me mostrar todos os dias que a vida faz mais
sentido quando a partilhamos. Obrigado por te amar mais a cada dia.
SDG.

ii

Resumo
Para muitas pessoas, a Web tornou-se uma ferramenta de trabalho e de lazer incontornvel. Contudo, as tecnologias que a suportam so cada vez mais complexas. Quando no
so usadas de forma correta podem originar consequncias negativas para os utilizadores,
tais como erros ou dificuldades de acesso informao. No caso de stios Web de organismos pblicos, o impacto da falta de qualidade dos seus stios Web pode ser oneroso. Num
mercado onde no h concorrncia e que muitas vezes obriga os cidados a usar este canal
para interagir com servios pblicos, cabe ao Estado assegurar que os seus stios Web tenham
qualidade e sejam acessveis a todos os cidados, inclusivamente a cidados com necessidades
especiais.
Em estudos anteriores, foi usado um mtodo de avaliao que atualmente apresenta
indicadores obsoletos e que esto focados na anlise de contedos em detrimento de outros
indicadores importantes que so privilegiados neste estudo.
Neste estudo realizou-se uma avaliao dos stios Web de 130 organismos da Administrao Pblica portuguesa, aplicando um modelo desenvolvido com base na literatura de referncia sobre a temtica em estudo e o suporte normativo vigente. Um total de 33 indicadores
foram analisados, distribudos por quatro critrios: contedos, acessibilidade, usabilidade e
eficcia. Os critrios de usabilidade e eficincia foram usados pela primeira vez num estudo
deste gnero.
Face anlise feita, foram detetadas lacunas, erros crticos e faltas de conformidade, pelo
que so apresentadas sugestes de melhoria e mecanismos para assegurar o cumprimento dos
requisitos de qualidade.

Palavras Chave
Qualidade, Usabilidade, Acessibilidade, User Experience, Webstandarts, Auditoria, Engenharia da Usabilidade, Modelo de Avaliao de Usabilidade e Acessibilidade Web, Administrao Pblica Eletrnica, AccessMonitor
iii

iv

Abstract
For many people, Web has become an indispensable tool for working or leisure. However,
the technologies that support it are increasingly complex. When such technologies are not
used properly, a range of negative consequences for users can occur, such as errors or difficulties accessing information. In the case of websites from government agencies, the impact
of their lack of quality may be huge. In a market without competition and where citizens
are often required to use Web channel to interact with public services, the government must
ensure the quality of its sites and that they can be accessed by all citizens including those
with disabilities.
In this work, we carried out an evaluation of 130 websites of Portuguese government
agencies, based on a methodology developed for this purpose. This methodology is based on
the literature and law. Weve evaluated 33 indicators, distributed by four criteria: content,
accessibility, usability and efficiency. This is the first study of its kind using usability and
efficiency as criteria of quality.
Previous works were done using a methodology that currently has obsolete indicators and
are focused on content analysis, rather than other important indicators that are privileged
in this work.
We found many gaps, critical errors and noncompliances. Proposals are made to implement improvements and mechanisms to ensure compliance with these quality requirements.

Keywords
Quality, Usability, Accessibility, User Experience, Webstandarts, Audit, Usability Engineering, Web Checking Accessibility and Usability Model, Electronic Public Administration,
AccessMonitor

vi

Contedo
Agradecimentos

Resumo

iii

Abstract

Lista de Figuras

ix

Lista de Tabelas

Lista de Abreviaturas
1 Introduo
1.1 Contextualizao e definio
1.2 Motivao . . . . . . . . . .
1.3 Objetivos . . . . . . . . . .
1.4 Investigao . . . . . . . . .

xii

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

1
3
4
5
5

2 Contextualizao Terica
2.1 Interao Pessoa-Mquina . . . . . . . . . . . . . . . . . . . . . . .
2.1.1 Origens . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.2 Definies e contexto . . . . . . . . . . . . . . . . . . . . . .
2.2 Usabilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.1 Definies de Usabilidade . . . . . . . . . . . . . . . . . . .
2.2.2 Conceo Centrada no Utilizador . . . . . . . . . . . . . . .
2.2.3 Experincia do Utilizador e Usabilidade . . . . . . . . . . .
2.2.4 Articulao das normas relacionadas com a Usabilidade . .
2.2.5 Mtodos e Testes de Usabilidade . . . . . . . . . . . . . . .
2.2.6 Comparao de Mtodos de Avaliao de Usabilidade . . .
2.3 Acessibilidade Web . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.1 World Wide Web Consortium e Web Accessibility Initiative
2.3.2 Guias para desenvolvimento Web . . . . . . . . . . . . . . .
2.3.3 Diretrizes de Acessibilidade para o Contedo Web . . . . .
2.3.4 Ferramentas de verificao de Acessibilidade . . . . . . . . .
2.3.5 Legislao Portuguesa sobre Acessibilidade . . . . . . . . .
2.3.6 Estudos sobre Acessibilidade em Portugal . . . . . . . . . .
2.4 Qualidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4.1 Definio de Qualidade de Software . . . . . . . . . . . . .
2.4.2 Critrios e Indicadores de Qualidade de stios Web . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

7
8
8
9
10
10
13
14
15
16
24
26
26
27
28
30
30
31
31
32
32

do
. .
. .
. .

problema
. . . . . .
. . . . . .
. . . . . .

vii

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

3 Abordagem e Metodologia
3.1 Faseamento do Estudo . . . . . . . . . . . . . . .
3.2 Conceo do Modelo de Avaliao . . . . . . . . .
3.2.1 Critrios e Indicadores Adotados . . . . .
3.2.2 Pesos de Critrios e de Indicadores . . . .
3.2.3 Medidas . . . . . . . . . . . . . . . . . . .
3.2.4 Detalhes de atribuies de pontuaes por
3.3 Definio do Universo do Estudo . . . . . . . . .
3.3.1 Critrios de incluso de organismos . . . .
3.3.2 Critrios de excluso de organismos . . .
3.3.3 Identificao de organismos a analisar . .
3.4 Ferramentas usadas na recolha de dados . . . . .

. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
indicador
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

35
35
36
36
43
43
44
50
51
52
52
52

4 Apresentao e anlise dos dados

4.1 Organismos analisados . . . . . . . . .
4.2 Recolha dos Dados . . . . . . . . . . .
4.3 Data de referncia . . . . . . . . . . .
4.4 Sntese dos resultados por critrio . . .
4.4.1 Contedos . . . . . . . . . . . .
4.4.2 Usabilidade . . . . . . . . . . .
4.4.3 Acessibilidade . . . . . . . . . .
4.4.4 Eficincia . . . . . . . . . . . .
4.5 Sntese dos resultados por classificao

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

57
57
59
59
59
60
62
67
72
75

. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
final

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

5 Propostas apresentadas

79

6 Concluses e Trabalho Futuro

6.1 Concluses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2 Trabalho Futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

83
83
86

Bibliografia

87

Apndices

97

A Classificao final dos organismos analisados, por rea funcional

99

B Tempos mdios de carregamento

105

C Resultados da ferramenta AccessMonitor

111

D Bateria de testes AccessMonitor

117

E Classificaes completas por organismo e indicador

121

viii

Lista de Figuras
2.1
2.2
2.3

16

2.5

mbito da Interao Pessoa Mquina (Hewett et al., 1992) . . . . . . . . . .

Atividades da conceo centrada no utilizador (adaptado de ISO9241-210) .
Relaes entre as normas internacionais de Usabilidade (adaptado de Borsci
et al., 2013) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Percentagem de problemas de Usabilidade encontrados em funo do nmero
de utilizadores testados (Nielsen et al., 1993). . . . . . . . . . . . . . . . . .
Exemplo de resultados do sistema de eyetracking (Castro, 2010) . . . . . . . .

3.1
3.2
3.3
3.4
3.5

Abordagem metodolgica seguida . . . . . . . . . . . . . . . . . . . . . .

Processo de recolha dos endereos dos stios Web . . . . . . . . . . . . .
Ferramenta para anlise do indicador 2.6 - Ligaes invlidas/quebradas
Exemplo de relatrio do GoogleSpeed Insights . . . . . . . . . . . . . . .
Exemplo de um relatrio AccessMonitor . . . . . . . . . . . . . . . . . .

35
53
54
55
56

4.1

Relao entre o tempo de carregamento (s) e o tamanho mdio das pginas

inicias (KB) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Acessibilidade de nvel A - Classificao de stios Web por rea (indicador 3.1)
Acessibilidade de nvel AA - Classificao de stios Web por rea (indicador 3.2)
Acessibilidade de nvel AAA - Classificao de stios Web por rea (indicador
3.3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Smbolo de Acessibilidade Web proposto pelo Web Access Project . . . . . . .
Smbolos de Acessibilidade Web propostos pelo W3C . . . . . . . . . . . . . .
Sntese das classificaes finais por escalo . . . . . . . . . . . . . . . . . . . .

2.4

4.2
4.3
4.4
4.5
4.6
4.7

ix

. . .
. . .
. .
. . .
. . .

9
14

18
20

65
69
70
71
72
72
77

Lista de Tabelas
2.1
2.2
2.3

Dez regras de Avaliao Heurstica de Nielsen (Nielsen & Mack (1994)) . . . .

Escala de severidade de problemas de Usabilidade (Nielsen, 1995) . . . . . . .
Resumo das principais vantagens e desvantagens de mtodos de Usabilidade .

21
22
25

3.1
3.2

Pesos e Medidas usados para avaliao dos stios Web . . . . . . . . . . . . .

Critrios de sucesso WCAG 2.0 abrangidos pelos testes do AccessMonitor
(Acesso, 2015) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

4.1
4.2
4.3
4.4

55

Sntese do nmero organismos avaliados e no avaliados . . . . . . . . . . . .

Organismos avaliados (por departamento e por tipo de tutela) . . . . . . . . .
Sntese de resultados do critrio Contedos . . . . . . . . . . . . . . . . . .
Classificao do tipo de Cookies usados pelos stios Web dos organismos do
Estado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Tempo mdio de carregamento e tamanho da pgina inicial (KB) . . . . . . .
Sntese de resultados do critrio Usabilidade . . . . . . . . . . . . . . . . . .
Sntese de resultados do critrio Acessibilidade . . . . . . . . . . . . . . . .
Mdia dos ndices AccessMonitor nas Pginas Iniciais e nas Pginas Interiores
Smbolos de Acessibilidade apostos pelos stios Web . . . . . . . . . . . . . .
Sntese de resultados do critrio Eficincia . . . . . . . . . . . . . . . . . . .
Stios com a melhor classificao final . . . . . . . . . . . . . . . . . . . . . .
Stios com a pior classificao final . . . . . . . . . . . . . . . . . . . . . . . .
Classificaes finais por departamento e escalo . . . . . . . . . . . . . . . . .

63
64
66
67
68
72
73
76
76
77

A.1 Classificao final dos organismos analisados, organizados por rea funcional .

99

4.5
4.6
4.7
4.8
4.9
4.10
4.11
4.12
4.13

B.1
B.2
B.3
B.4

Tempo
Tempo
Tempo
Tempo

mdio
mdio
mdio
mdio

de
de
de
de

carregamento
carregamento
carregamento
carregamento

58
58
61

por localizao do centro de dados (datacenter) 106

da pgina inicial por alojamento (quantidade) 107
da pgina inicial por alojamento (s) (1/2) . . 108
da pgina inicial por alojamento (s) (2/2) . . 109

C.1 Resultados da ferramenta AccessMonitor . . . . . . . . . . . . . . . . . . . . . 111

D.1 Bateria de testes AccessMonitor - Validador automtico para as WCAG 2.0 . 117
E.1 Tabela Resultados Globais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

xi

xii

Lista de Abreviaturas
AMA
AO90
ATAG
AP
CAGR
CCW
CS
CSS
CWW
DNS
DR
EPE
EUA
EM
GPB
HCD
HCI
HTML
HTTP
IEC
IPM
ISO
KB
MB
PDF
QUAR
RCM
RNID
SIADAP
SERP
SEO
TIC
PGETIC

Agncia para a Modernizao Administrativa

Acordo Ortogrfico de 1990
Authoring Tool Accessibility Guidelines
Administrao Pblica
Compound Annual Growth Rate
Cognitive Walkthrough for the Web
Critrios de Sucesso
Cascading Style Sheet
Cognitive Walkthrough for the Web
Domain Name System
Decreto-Lei
Entidades Pblicas Empresariais
Estados Unidos da Amrica
Empresas Municipais
Guias de Boas Prticas
Human-Centered Design
Human-Computer Interaction
HyperText Markup Language
HypeTtext Transfer Protocol
International Electrotechnical Commission
Interao Pessoa-Mquina
International Organization for Standardization
KiloByte
MegaByte
Portable Document Format
Quadro de Avaliao e Responsabilizao
Resoluo do Conselho de Ministros
Regulamento Nacional de Interoperabilidade Digital
Sistema de Avaliao Integrao da Administrao Pblica
Search Engine Results Page (Pgina de Resultados do Motor de Busca)
Search Engine Optimization
Tecnologias de Informao e de Comunicao
Plano Global Estratgico de Racionalizao e Reduo de Custos nas TIC
na Administrao Pblica
PREMAC Plano de Reduo e Melhoria da Administrao Central
UAAG
User Agent Accessibility Guidelines
URL
Uniform Resource Identifier
UCD
User-Centered Design
UX
Experincia do Utilizador (do ingls User Experience)
WAI
Web Accessibility Initiative
W3C
World Wide Web Consortium
WCAG 1.0 Web Content Accessibility Guidelines 1.0
xiii

WCAG 2.0 Web Content Accessibility Guidelines 2.0

XHTML eXtensible Hypertext Markup Language

xiv

Captulo 1

Introduo
User experience is everything. It always has been, but its still undervalued and
under-invested in. If you dont know user-centered design, study it. Hire people who
know it. Obsess over it. Live and breathe it. Get your whole company on board.
Better to iterate a hundred times to get the right feature right than to add a hundred
more.

Evan Williamns, Twitter CEO (Williams, 2005)

O surgimento dos computadores causou um grande impacto na vida das pessoas. Eles
revolucionaram a forma como trabalhamos, comunicamos, aprendemos e nos divertimos.
Progressiva e sistematicamente, os computadores tornaram-se ferramentas de trabalho indispensveis em mais reas de atividade e profisses.
Curiosamente, os computadores so referidos pelos seus utilizadores como uma das coisas
mais difceis de usar e nem sempre os grandes investimentos realizados na adoo das novas
tecnologias se repercutiram numa melhoria efetiva da produtividade e do bem-estar dos
seus utilizadores (Wickens, Lee, Liu, & Becker, 2003). Alis, Landauer (1996) refere que os
computadores falharam na promessa de gerar grandes retornos e que na realidade no existe
uma relao sistemtica entre os investimentos realizados nas tecnologias de informao e a
produtividade dos trabalhadores. Em contraponto, Norman (1998) defende que essa relao
existe e que se tem vindo a alterar medida que d mais ateno s necessidades dos
utilizadores.
A pouca qualidade da conceo de interfaces de Software tem sido identificada como
causa de muitas falhas e acidentes (Landauer, 1996). Para alm de redues de produtividade, Galitz (1993) alerta para consequncias como confuso, desconforto, aborrecimento,
frustrao e uso inapropriado dos sistemas.
Nas ltimas dcadas assistiu-se a um grande desenvolvimento tecnolgico que melhorou
a forma como interagimos com os computadores. Por exemplo, no final dos anos 70, o
1

surgimento da interface grfica representou um passo de gigante na melhoria desta interao.

Estes desenvolvimentos criaram condies que potenciaram novas criaes, como a Internet.
A Internet considerada a inveno de maior sucesso e com maior taxa de adoo. Segundo
Loveday & Niehaus (2007), a Internet demorou apenas cinco anos a atingir os 50 milhes de
utilizadores (de 1994 a 1999), contra os 13 anos da televiso (de 1959 a 1963) ou 38 da rdio
(1922-1960).
A Internet assume-se como um meio de comunicao sem precedentes que foi rapidamente
adotado por empresas e por organismos governamentais. Com a Internet, surge a Word
Wide Web pelas mos de Tim Berners-Lee. Lee (citado por Griffiths) descreve a Web como
um espao abstrato de informao e afirma que a Web tornou a Internet til porque na
realidade as pessoas esto interessadas na informao e na aquisio de conhecimento e no
querem ter de saber seja o que for sobre computadores e cabos.
Hoje em dia a maioria da informao disponibilizada atravs da Web e em muitos casos,
assiste-se a uma convergncia para este meio. O nmero de jornais em formato eletrnico
aumentou e de acordo com Groote & Dorsch (2001) os consumidores preferem aceder Web
para consultar as notcias, em detrimento dos jornais em papel, mesmo que a qualidade
dos artigos impressos seja melhor. O acesso livre e universal informao passou a ser
considerado uma necessidade fundamental. Tambm a forma de consultar informao se
alterou com o surgimento dos motores de busca. Destes, o Google revolucionou o setor e
atingiu tal popularidade que muitos utilizadores o usam como incio do processo de navegao
pela Web. Para Vise (2008), o surgimento do Google pode mesmo ser comparado inveno
da imprensa moderna por Gutenberg, no que diz respeito capacidade transformadora de
acesso informao.
A Web tem evoludo muito nas ltimas dcadas e o surgimento de novas tecnologias
como o HyperText Markup Language 5 (HTML5) iro permitir apoiar o seu crescimento. H
20 anos, a Web era um meio novo e excitante. Hoje uma ferramenta e uma rotina. H
20 anos, as pessoas no se importavam de esperar pelo carregamento de uma pgina Web.
Hoje, a pgina no pode demorar mais do que alguns segundos a carregar totalmente. Se
um stio Web conveniente e interessante, as pessoas iro us-lo. Caso contrrio, desistiro
e p-lo-o de parte (Morville & Rosenfeld, 2006, p. xi). As exigncias dos utilizadores em
relao a questes de Usabilidade dos stios Web so cada vez maiores e o mesmo acontece
relativamente universalidade do acesso. Por uma questo econmica ou puramente social,
todas as pessoas, independentemente das suas condies, devem poder ter oportunidades
iguais de acesso Web. Uma Web acessvel pode ajudar os cidados com necessidades
especiais a participar na sociedade de uma forma mais ativa do que nunca. Por outro
lado, uma Web acessvel tambm beneficia cidados sem necessidades especiais, mas com
particularidades no acesso Web, nomeadamente aqueles com idade mais avanada, baixa
literacia e que usam tecnologias antigas ou atravs de dispositivos mveis (W3C, 2012a).

1.1

Contextualizao e definio do problema

Desde o surgimento da Web, as empresas comearam a usar este meio para promover
os seus produtos e servios. Contudo, com a evoluo da Web, muitas organizaes no
foram flexveis o suficiente para se adaptarem to rapidamente quanto seria necessrio na
obteno de bons resultados (Loveday & Niehaus, 2007). Hoje em dia, algumas organizaes
continuam a ignorar o potencial da Web. Por exemplo, alguns stios no so atualizados
periodicamente com informao de relevo sobre as atividades das organizaes. De qualquer forma, num mercado concorrencial, a melhoria das competncias Web de empresas
concorrentes poder servir de alavanca para que todas as empresas sintam a necessidade de
progredir nesta rea.
O cenrio diferente na Administrao Pblica (AP). Segundo Oliveira et al. (2003), a
Internet e a Web at j so consideradas ferramentas de governao. Os cidados que tm
acesso Internet so capazes de aceder informao de uma forma mais clere e executar
vrias tarefas de forma eficaz e eficiente. No entanto o acesso a estas tecnologias no
uniforme, isto , nem todos os stios Web esto acessveis, por exemplo, a cidados com
necessidades especiais (Krishnamurthy, 2002). Neste caso, existem duas preocupaes principais a ter em conta. A primeira diz respeito ausncia de concorrncia como fora motriz
para garantir o desenvolvimento e a melhoria da Usabilidade e Acessibilidade dos stios Web.
A segunda relaciona-se com a natureza de alguns organismos, isto , com a especificidade dos
servios pblicos que prestam: todos os cidados so obrigados, em alguma altura das suas
vidas, a usar os seus servios (por exemplo, os servios das Finanas ou de Segurana-Social).
Para Vidigal (2002) tanto a administrao central como a local devem assegurar que as
suas tecnologias de informao e comunicao so adequadas, para que possam disponibilizar informao relevante aos cidados e para que estes, de forma clara e clere, acedam
informao que procuram de forma a facilitar o seu exerccio da cidadania. A Administrao Pblica tem, assim, uma responsabilidade acrescida nas questes de Usabilidade e de
Acessibilidade.
necessrio garantir, atravs de mecanismos e procedimentos, que os stios Web pblicos
cumprem um conjunto de requisitos mnimos de Usabilidade e de Acessibilidade. Deste modo,
nos ltimos anos tem sido criada legislao que obriga todos os stios da Administrao
Pblica a seguir boas prticas e recomendaes internacionais.
Contudo, em muitos casos, os organismos no esto cientes de tais obrigaes. Importa,
ento, fazer uma reviso das normas e recomendaes existentes, procurando verificar se se
encontram atualizadas e alinhadas com a literatura existente. tambm necessrio proceder
a uma anlise qualitativa dos stios Web dos organismos pblicos para garantir que a lei
aplicada.

1.2

Motivao

Entre 2000 e 2014 o nmero de utilizadores da Internet cresceu a uma taxa anual mdia
de 16,5%, fazendo dela o meio com maior crescimento da atualidade (Group, 2015) e no final
de 2014, 65% da populao portuguesa usava a Internet de forma regular (Pordata, 2015).
As motivaes para a realizao deste estudo, prendem-se com um conjunto de fatores,
como a busca de conhecimento, a experincia e a frustrao sentidas pelo autor, ao estar
durante os ltimos anos envolvido no desenvolvimento de projetos para a Web cujos objetivos
viu parcialmente falharem por razes que lhe eram externas. O desejo de compreender
as razes destas falhas sensibilizou-o para a rea da interao pessoa-mquina, uma vez
que compreendeu que a origem dos problemas radicava essencialmente em deficincias na
conceo das interfaces.
De acordo com Nielsen (1999), existem fundamentalmente duas abordagens no design
para a Web: (i) uma abordagem artstica, numa tentativa de expresso de uma ideia nova e
criativa e outra (ii) relacionada com a engenharia, que tem como ideal o interesse de resolver
um problema concreto.
Estas duas abordagens, embora complementares, entram muitas vezes em conflito. Por
vezes os stios Web so desenvolvidos para serem inovadores, privilegiando uma abordagem
artstica. Contudo, a abordagem que a engenharia prope metdica e sistemtica, procurando encontrar e corrigir as dificuldades no uso de stios Web. Existe ainda uma abordagem
comercial, pois prtica do mercado reutilizar elementos criados em projetos anteriores ou
utilizar ferramentas de gerao automtica de cdigo. Tais prticas aumentam a velocidade
de conceo e baixam o custo de desenvolvimento, mas tm como desvantagem a adaptao
do desenvolvimento a elementos pr-existentes. Assim, em vez de se conceber interfaces em
funo dos utilizadores, ocorre o contrrio, isto , os utilizadores so forados a adaptarem-se
aos interfaces j existentes.
Por outro lado, os stios devem ser acessveis a todos os cidados. A igualdade um
dos princpios do Estado e uma preocupao social na medida em que permite aumentar as
oportunidades dos cidados no acesso informao, educao e ao emprego. Os dados dos
Censos de 2001 identificaram a existncia de cerca de 636 mil pessoas com pelo menos um
tipo de deficincia em Portugal (C. Gonalves, 2003). Os Censos de 2011 apuraram cerca de
892 mil cidados com dificuldade na viso e mais de dois milhes de cidados com idade igual
ou superior a 65 anos (INE, 2011). Estes utilizadores podem aproveitar as possibilidades que
a Web lhes oferece, atravs da utilizao de tecnologias de apoio, para minimizar as suas
limitaes de uma forma que nenhum outro meio alguma vez possibilitou.
A investigao que se apresenta procura seguir e propor a utilizao de metodologias e
regras prticas tendo como objetivo tornar os stios Web da AP fceis, teis e agradveis de
usar.

1.3

Objetivos

Este estudo tem trs objetivos principais:

1. Aferir a qualidade, usabilidade e acessibilidade dos stios Web da AP, com base num
conjunto de boas prticas baseada na literatura e na lei;
2. Identificar as principais limitaes dos stios Web da AP e apresentar recomendaes
que possam levar ao aperfeioamento e melhoria da qualidade geral das pginas Web
em funcionamento;
3. Propor uma metodologia de avaliao das pginas Web da AP, baseado em indicadores
objetivos que promovam uma comparao simples e transparente dos stios Web.

1.4

Investigao

Este estudo est organizado em seis captulos.

Este primeiro captulo consiste numa introduo geral temtica e na contextualizao
do trabalho, procurando salientar as motivaes e objetivos do estudo.
No segundo captulo, apresenta-se uma reviso da literatura existente. Dado o carcter
multidisciplinar deste estudo, procurou-se apresentar uma apreciao sinttica dos principais
trabalhos realizados neste mbito e as respetivas prticas desenvolvidas. Como complemento,
procede-se delimitao concetual ao se definirem os conceitos de Qualidade, Usabilidade e
Acessibilidade nos domnios cientficos da Interao Pessoa-Mquina (IPM).
No terceiro captulo surge a definio da metodologia seguida, descrevendo os passos
realizados na conceo do universo de estudo, incluindo os critrios de incluso e de excluso
dos organismos. Apresentam-se tambm os indicadores e as mtricas adotados. Ainda neste
captulo, descreve-se o modelo de avaliao seguido e proposto.
No captulo quatro, expem-se os resultados obtidos pela aplicao da metodologia proposta. So apresentados os dados mais relevantes para a avaliao e a anlise crtica dos
resultados obtidos.
No quinto captulo, apresentam-se as recomendaes elaboradas, tendo por base os resultados obtidos e os guias de boas prticas.
Finalmente, o sexto captulo dedicado s concluses do estudo realizado, ao aprofundamento reflexivo e ao levantamento de sugestes investigativas para trabalhos futuros.
Nos apndices, est patente toda a documentao de suporte investigao, assim com
os dados globais resultantes das anlises efetuadas, numa apresentao detalhada, necessariamente ausente do corpo do estudo.
5

Captulo 2

Contextualizao Terica
The problem is how to take into account the human and contextual part of a system
with anything like the rigor with which other parts of the system are understood and
designed - how to go beyond fuzzy platitudes like know the user that are true, but
do not give a method for doing or a test for having done. This is difficult to do,
but inescapable, and, in fact, capable of progress. Over the years, the need to take
into account human aspects of technical systems has led to the creation of new fields
os study: applied psychology, industrial engineering, ergonomics, human factors,
machine systems. Human-computer interaction is the latest of these.

Stuart K. Card (Dix et al., 2003, p. xvi)

Neste captulo, apresenta-se uma reviso da literatura existente sobre a temtica em

estudo. Definem-se os conceitos de Usabilidade, Conceo Centrada no Utilizador, Acessibilidade e Qualidade, procurando contextualiz-los com os domnios de investigao da
disciplina de Interao Pessoa-Mquina.
Apresenta-se a reviso e articulao de vrias normas internacionais relacionadas com a
Usabilidade, uma comparao entre os mtodos de avaliao de Usabilidade, uma sntese da
legislao portuguesa sobre Acessibilidade Web, assim como os principais estudos realizados
neste mbito. Uma vez que os conceitos de Usabilidade e Acessibilidade so por vezes
confundidos, estabelecem-se as diferenas entre eles.
Finalmente, procura-se enumerar os contributos de vrios autores sobre critrios de avaliao de Qualidade de stios Web.
7

2.1
2.1.1

Interao Pessoa-Mquina
Origens

A expresso Human-Computer Interaction (HCI) (Interao Pessoa-Mquina)1 tornouse popular com a publicao de um artigo em 1980 que propunha um modelo de avaliao da
performance de utilizadores de sistemas interativos (Card et al., 1980). No obstante, para
Dix et al. (2003) as razes da disciplina so mais antigas e remontam ao incio do sculo XX,
com a realizao de estudos de performance dos trabalhos manuais de operrios fabris.
Em 1943, um tenente norte-americano chamado Alphonse Chapanis estudou o comportamento de pilotos de aeronaves e mostrou ser possvel reduzir o nmero de acidentes com
avies militares, alterando o design dos comandos de pilotagem (Meister, 1999). Oito anos
depois publicou o primeiro livro sobre ergonomia Applied Experimental Psychology: Human Factors in Engineering Design (Chapanis, 1949). Nesse mesmo ano, Murrell cunhou
a expresso ergonomia, criando um instituto de investigao multidisciplinar que reunia
especialistas de vrias reas (Factors, 2012).
A palavra ergonomia tornou-se popular no continente europeu, enquanto nos Estados
Unidos da Amrica (EUA) ficou conhecida como Fatores Humanos (Human Factors). Desde
ento a ergonomia cresceu enquanto disciplina focada no estudo das interaes entre equipamentos usados pelas pessoas, no sentido de maximizar a performance das mquinas e o
bem-estar dos seus utilizadores (R. M. Carvalho, 2013).
Acredita-se que a primeira vez que a ergonomia foi usada num estudo relacionado com
a conceo de computadores foi em 1959, numa reformulao de um computador analgico
EMIAC II, destinado a uma central nuclear. O artigo Ergonomics for a Computer refere
que o objetivo deste estudo foi reduzir potenciais riscos para os seus utilizadores e o projeto
alcanou um enorme sucesso (Electronics, 1959). Em 1968, Douglas Engelbart apresentou
um trabalho de investigao (Engelbart & English, 1968) levado a cabo pelo Augmentation
Research Center da Stanford Research Institute e usou pela primeira vez a expresso ManComputer Interaction 2 .
Anos depois, Carlisle (1976) publicou um artigo sobre o impacto das novas tecnologias
de comunicao como o correio eletrnico e os processadores de texto. Foi neste artigo que
a expresso Interao Pessoa-Mquina foi cunhada, embora o termo s se tenha tornado
verdadeiramente popular em 1983 aps a publicao do livro The Psychology of HumanComputer Interaction de Stuart K. Card et al. (Card, Moran, & Newell, 1983).
A partir de ento, a disciplina de Interao Pessoa-Mquina tornou-se uma disciplina
1

Em ingls existem expresses usadas indistintamente como alternativa: Man-Machine Interaction ou

Human Machine Interaction (Booth, 1989). A expresso Interao Pessoa-Mquina tambm no consensual em portugus, embora seja a mais usada na literatura acadmica portuguesa. (R. M. Carvalho,
2013).
2
Nesta apresentao foram mostradas pela primeira vez ao pblico algumas invenes como o rato, o
hipertexto e a partilha de ecr como forma de trabalho colaborativo entre duas pessoas em diferentes locais.

Use and Context

U1 Social Organization and Work

U3 Human-Machine Fit and Adaptation

U2 Application Areas

Human
H1 Human
Information
Processing
H2 Language,
Communication
and Interaction

H3
Ergonomics

D3 Evaluation
Techniques

C1 Input and
Output Devices

Computer

C2 Dialogue
Techniques

C4 Computer
Graphics

C3 Dialogue
Genre

C5 Dialogue
Architecture

D4 Example Systems
and Case Studies
D1 Design
Approaches

D2 Implementation
Techniques and Tools

Development Process

Figura 2.1: mbito da Interao Pessoa Mquina (Hewett et al., 1992)

autnoma, acompanhando o desenvolvimento da cincia da computao e o surgimento dos
computadores pessoais (R. M. Carvalho, 2013). Nos prximos anos, muito do trabalho
realizado no campo da ergonomia ser relacionado com a conceo de software e hardware,
prevendo-se assim alguma convergncia com a Interao Pessoa-Mquina (Wickens et al.,
2003).

2.1.2

Definies e contexto

A Interao Pessoa-Mquina (IPM) uma disciplina multidisciplinar que estuda a relao

entre as pessoas e a tecnologia de modo a apoiar a conceo e o desenvolvimento de sistemas
interativos teis, eficazes, seguros e fceis de usar. uma forma de melhorar a experincia
de utilizao no manuseio de dispositivos tecnolgicos.
A definio mais consolidada na literatura afirma que a Interao Pessoa-Mquina a
disciplina preocupada com o design, a avaliao e a implementao de sistemas computacionais interativos para uso humano e com o estudo dos fenmenos mais importantes que
o rodeiam (Hewett et al., 1992). Contudo, o mesmo autor reconhece que no existe uma
definio padronizada devido ao seu carter multidisciplinar. E apesar de no ser fcil definir
as fronteiras desta disciplina, pode-se afirmar que a IPM resulta de uma interceo de vrias
disciplinas como a psicologia, a sociologia, a antropologia, a cincia da computao, o design,
a ergonomia entre outras reas (Olson & Olson, 2003).
No livro Handbook of Human Factors in Web Design, Dix sugeriu uma definio mais
focada na experincia de utilizao para a Web, referindo-se IPM como um conjunto de
tcnicas para compreender e evitar problemas concretos de conceo de interfaces. Acrescenta
ainda que o adjetivo mais prximo da IPM Usabilidade (Vu & Proctor, 2011).
9

2.2

Usabilidade

medida que os produtos que usamos ganham novas funcionalidades e caractersticas, as

preocupaes com a facilidade de uso tornam-se mais importantes (Dumas & Redish, 1999).
A indstria tem dado mais ateno a estes problemas e muitos produtos so agora anunciados como sendo intuitivos, user friendly, fceis de usar ou tendo muita Usabilidade
(Jordan, 1998).

2.2.1

Definies de Usabilidade

A palavra Usabilidade apareceu na lngua portuguesa aps o surgimento da Internet.

um neologismo que deriva do adjetivo usvel e encontra-se presente em muitos dicionrios
de portugus. Em Priberam (2015b), a Usabilidade descrita como a capacidade de um
objeto, programa de computador, pgina da Internet ou outro de satisfazer as necessidades
do utilizador de uma forma simples e eficiente.
Ao longo das ltimas dcadas muitos autores propuseram vrias definies e tcnicas
relacionadas com a Usabilidade. De acordo com Shackel (1991), as primeiras tentativas de
definio de usabilidade foram provavelmente realizadas por Miller (1971), embora o termo
tenha sido usado pela primeira vez pelo professor Shackel (1981, 1986, 1991), considerado
por muitos o pai da Usabilidade (Chmiel, 2008).
Em 1990, Nielsen & Molich poca professores de IPM na Universidade Tcnica da
Dinamarca propuseram um modelo de avaliao de interfaces com base em nove heursticas3
como um mtodo de avaliao de usabilidade. Este modelo tornou-se muito popular e ajudou
a promover a expresso Usabilidade.
Em 1991 foi publicada a norma ISO/IEC 9126:1991 (Software enginnering Product
quality), onde a Usabilidade foi referenciada pela primeira vez como uma caracterstica de
qualidade com um conjunto de atributos que evidenciam o esforo necessrio para usar
um produto de software e na avaliao individual de tal utilizao por parte um conjunto
declarado ou implcito de utilizadores (ISO/IEC, 1991). Nesta norma, a Usabilidade era
apresentada com trs subcaractersticas:
1. Capacidade de compreenso (Understandability ): capacidade de um produto
de software permitir que o utilizador compreenda se o produto adequado e de como
este pode ser usado para realizar tarefas especficas numa determinada condio de
uso;
2. Capacidade de aprendizagem (Learnability ): capacidade que um produto de
software em permitir que o utilizador o aprenda a usar;
3. Operabilidade (Operability ): capacidade de um produto de software permitir que
o utilizador o possa controlar e operar.
3

Mais tarde alteradas para dez. O modelo de avaliao com base em heursticas ser apresentado na seco
2.2.5.

10

Anos mais tarde, Nielsen (1993) props uma definio global de Usabilidade com cinco
atributos:
Facilidade de aprendizagem (learnability ): que mede a facilidade e rapidez com
que os utilizadores aprendem a usar um sistema e a realizar tarefas com ele;
Eficincia (efficiency ): que mede a velocidade com que os utilizadores conseguem
realizar tarefas, aps terem aprendido a usar um determinado interface;
Facilidade de memorizao (memorability ): que mede a facilidade com que os
utilizadores voltam a usar um determinado interface com xito aps um perodo de
ausncia;
Erros (errors): que mede quantos erros os utilizadores fazem, a gravidade desses
erros e a facilidade com que os utilizadores os conseguem ultrapassar;
Satisfao (satisfaction): que mede o quo agradvel de usar o interface.
Uma vez que na norma ISO/IEC 9126:1991 o mbito da Usabilidade estava restrito
conceo da interface sem nunca envolver o utilizador, o que na prtica tornava impossvel
saber se os utilizadores iriam conseguir usar o produto. Por isso, em 1998 foi publicada a
parte 11 da norma ISO 9241 (ISO-9241-11:1998 Ergonomic requirements for office work
with visual display terminals (VDTs) Part 11: Guidance on usability)4 que alargou o
mbito da Usabilidade que passou a estar definida como capacidade de um produto poder ser
usado por utilizadores especficos para alcanar objetivos especficos com eficincia, eficcia
e satisfao num contexto especfico de uso (ISO, 1998). Nesta norma, a Usabilidade foi
apresentada com trs subcaracterticas:

1. Eficcia (Effectiveness): a exatido e integridade com que os utilizadores alcanam

objetivos especficos;
2. Eficincia (Efficiency): os recursos que se tm de dispensar para que os objetivos
pretendidos sejam alcanados;
3. Satisfao (Satisfaction): a medida pela qual os utilizadores consideram que o uso
do produto aceitvel.

A definio de Usabilidade da norma ISO-9241-11:1998 tornou-se a mais referida e aceite

na literatura porque estabelece a relao entre eficcia, eficincia e satisfao num determinado contexto de uso, assumindo que a Usabilidade medida pela qualidade da interao
que o utilizador tem com o produto, em vez de avaliar as caractersticas intrnsecas da tecnologia (Borsci et al., 2013). H autores que consideram que esta norma marcou um ponto
de viragem na definio da Usabilidade, aumentando a abrangncia e mbito de aplicao.
(Kurosu, 2007).
4
A norma ISO 9241 bastante extensa e composta por vrias partes. Atualmente, encontra-se em processo
de reviso, sendo que algumas partes j receberam um novo nome (Ergonomics of human-system interaction). A parte 11 dever ser renomeada da mesma forma (Ergonomics of human-system interaction Part
11: Usability: Definitions and concepts) (ISO, 2015).

11

Em 1999, Nielsen (1999) referiu-se Usabilidade como uma caracterstica transversal

a qualquer produto, servio ou sistema que assumiu uma maior importncia com o surgimento da Internet 5 porque enquanto que na economia tradicional as pessoas normalmente
experimentam a Usabilidade de um produto apenas depois de o terem comprado, na Web as
pessoas experimentam a Usabilidade de um stio antes de tomarem qualquer deciso ou de
efetuarem qualquer compra. Ou seja, a Usabilidade de um stio Web influencia a perceo de
qualidade dos produtos ou servios por ele disponibilizados. Norman refere vrios exemplos
destas situaes no seu livro The Design of everyday things (Norman, 2002).
Para Dumas & Redish (1999, p.4), a Usabilidade significa que as pessoas que usam um
determinado produto o podem fazer com rapidez e facilidade . Para tal, a Usabilidade
assenta em quatro princpios:

1. Foco nos utilizadores, atravs do estudo de grupos de pessoas que representam os

utilizadores concretos de um produto;
2. Os utilizadores usam produtos para se tornarem mais produtivos, caso contrrio, no
os usariam;
3. Os utilizadores so pessoas ocupadas e no tm tempo para aprender a usar um produto;
4. So os utilizadores que decidem quando um produto de fcil utilizao e no quem
os concebe ou produz.

Nielsen (2003b, 2006) sintetizou ainda a Usabilidade como um atributo de qualidade que
permite verificar a facilidade de uso de uma interface ou produto, com a celeridade com que
uma pessoa o aprende a usar e com o seu grau de satisfao com ele.
Em 2001 a norma ISO/IEC 9126:1991 foi revista e passou a estar dividida em quatro
partes (ISO/IEC 9126-1,9126-2, 9126-3, 9126-4). A principal novidade desta reviso residiu
no facto do modelo de qualidade passar a ter em conta tambm o uso real e concreto do software num determinado contexto (conceito da qualidade em uso). Nesta reviso da norma,
a Usabilidade passou a ser definida como: a capacidade de um software ser compreendido,
apreendido, usado pelo utilizador e cujo utilizador gosta de usar (ISO/IEC, 2001). Nesta
nova verso, foram acrescentadas duas subcaractersticas Usabilidade, a Atratividade
(attractiveness), caracterizada pela capacidade de um produto de software ser agradvel ao
utilizador e a Conformidade de Usabilidade (Usability Compliance), caracterizada pela
capacidade de um produto de software aderir a normas, convenes, guias de estilo ou regulamentaes relacionadas com a Usabilidade. Para alm destas subcaratersitcas especficas da
Usabilidade, foram introduzidas quatro caractersticas gerais, aplicveis ao contexto de uso
e que so genricas e aplicveis a todas as caractersticas (includo a Usabilidade): Eficcia,
Produtividade, Segurana e Satisfao (ISO/IEC, 2001).
J para Krug (2005, p.5), a Usabilidade garante que uma determinado produto funciona
5

Nielsen usa o termo Internet, embora se refira especificamente Web.

12

corretamente e que um utilizador o pode usar seja um stio Web, uma avio de caa ou
uma porta giratria para a sua finalidade inicial, sem ficar irremediavelmente frustrado.
Entretanto, em 2011 a norma ISO/IEC 9126 (9126-1,9126-2, 9126-3, 9126-4) foi substituda pela ISO/IEC 25010 que passou a definir a Usabilidade da mesma forma que feita
pela ISO 9241-11 (ISO/IEC, 2011).

2.2.2

Conceo Centrada no Utilizador

Muitas vezes empregam-se os termos Conceo Centrada no Utilizador 6 ou Engenharia

de Usabilidade (Nielsen, 2000) em oposio ao simples uso da palavra Usabilidade. Esta
distino deve-se ao facto de se quer separar as tcnicas e processos de Usabilidade da sua
definio conceptual (Donahue et al., 1999).
Para Quesenbery (2001) a Usabilidade significa Conceo Centrada no Utilizador pois
os utilizadores esto satisfeitos quando os seus objetivos, modelos mentais e necessidades
so todas encontradas. Uma Conceo Centrada no Utilizador fornece-nos a componente
humana muitas vezes esquecida indispensvel no desenvolvimento de qualquer sistema.
A norma ISO 13407:1999 (Human-centred design processes for interactive systems)
introduziu a definio de conceo centrada no utilizador como o envolvimento ativo dos
utilizadores e uma clara compreenso dos requisitos de utilizador e tarefas; uma apropriada
atribuio de funes entre utilizadores e tecnologia; a iterao de solues de desenho;
desenho multidisciplinar (ISO, 1999). A conceo centrada no utilizador uma atividade
multidisciplinar, que incorpora fatores humanos e conhecimentos ergonmicos e tcnicas
com o objetivo de aumentar a eficincia e produtividade, melhorar condies de trabalho
humanas, e contrariar os possveis efeitos adversos de utilizao na sade humana, segurana
e performance (Bevan, 1999).
A ISO 13407:1999 foi incorporada na norma ISO9241, sendo agora conhecida por ISO9241210:2010 (Ergonomics of human-system interaction Part 210: Human-centred design for
interactive systems) (ISO, 2010).A figura 2.2 descreve as atividades da conceo centrada
no utilizador com base da norma ISO9241-210:2010.
Como j vimos, o fator fundamental na conceo centrada no utilizador ter em considerao as suas necessidades (Powell, 2000). Como referido na norma ISO/IEC9126:1991, esta
tarefa complexa porque as necessidades declaradas por um utilizador nem sempre refletem
as suas necessidades reais (ISO/IEC, 1991). E como alerta Nielsen (2003a), escutar o que
as pessoas dizem enganador: tem que se observar o que elas realmente fazem, pois nem
sempre os utilizadores tm uma ntida perceo das suas efetivas necessidades.
6
A expresso User-Centered Design (UCD) foi cunhada por Norman (1986) e muito popular na literatura. Para alm desta, surgiu o termo Human-Centered Design (HCD). Estas duas expresses so muitas
vezes usadas de forma indistinta (por exemplo por Livari & Livari (2010)). Contudo, h autores que defendem
que a User-Centered Design est includa na Human-Centered Design, porque enquanto que a UCD se
confina a pessoa ao papel de utilizador e se enfatiza o estudo das questes relacionadas com a usabilidade
e a ergonomia (Ribeiro, 2013), a HCD alarga o domnio do estudo s cincias sociais. Nesta dissertao,
optou-se por no fazer esta distino.

13

1. Planear o processo
centrado no utilizador
2. Especificar o contexto de uso
3. Especificar os requisitos da
organizao e dos utilizadores
4. Produzir solues de desenho
5. Avaliar as solues de conceo em
relao aos requisitos dos utilizadores
6. Encontram-se os requisitos

Figura 2.2: Atividades da conceo centrada no utilizador (adaptado de ISO9241-210)

Em vez de Conceo centrada no utilizador, Dix et al. (2003) usa a expresso conceo
participativa para designar uma abordagem de desenvolvimento que mantenha uma relao
prxima e permanente entre a equipa de desenvolvimento e os utilizadores. Contudo, Nielsen
(1999) alerta para o facto do envolvimento muito prximo entre a equipa de desenvolvimento
e os utilizadores poder ser contraproducente, uma vez que estes podem ser influenciados pelo
pensamento dos membros da equipa. Assim, o ideal envolver os utilizadores ao longo de
todas as fases de desenvolvimento de um projeto, procurando no influenciar as suas opinies.
O propsito da Engenharia de Usabilidade segundo Donahue et al. (1999) de acentuar
a qualidade (Bevan, 1995) da experincia do utilizador (UX) enquanto assegurar qualidade
concentra-se em elementos com que os utilizadores no interagem diretamente, tal como
integridade do cdigo produzido. Por outras palavras, pode-se dizer que a conceo centrada
no utilizador um processo para alcanar uma boa experincia do utilizador.

2.2.3

Experincia do Utilizador e Usabilidade

As expresses Experincia do Utilizador e Usabilidade so muitas vezes usadas indistintamente (Vu & Proctor, 2011), embora para muitos autores no sejam necessariamente a
mesma coisa. A expresso Experincia do Utilizador (user experience) foi cunhada neste
contexto por Norman em 1993 (Merholz, 2014) como forma de avaliar todos os aspetos da
interao entre uma pessoa e um sistema, incluindo design industrial, interface e interao
fsica. No desenvolvimento para a Web, a expresso Experincia do Utilizador mais
usada do que Usabilidade porque enfatiza a natureza holstica da experincia humana (Vu
& Proctor, 2011).
A norma ISO 9241-210:2010 (sucessora da 13407:1999) define a experincia do utilizador
14

como as percees e reaes de uma pessoa que resultam do uso (ou utilizao prevista) de
um produto, sistema ou servio (ISO, 2010). De acordo com esta definio, da experincia
do utilizador faz parte o conjunto de todas as opinies, emoes, preferncias e percees que
ocorrem durante as fase de contacto com o produto ou servio. Esta norma destaca ainda o
facto de que a Usabilidade enderea aspetos da experincia de utilizador, referindo que os
critrios de Usabilidade podem ser usados para avaliar aspetos da experincia do utilizador
mas no clarifica a relao entre Experincia do Utilizador e Usabilidade (ISO, 2010).

2.2.4

Articulao das normas relacionadas com a Usabilidade

Como vimos, ao longo das duas ltimas dcadas foram desenvolvidas vrias normas relacionadas com a Usabilidade que tm evoludo para se adaptarem s mudanas tecnolgicas
e s exigncias da indstria.
Na figura 2.3 possvel observar as relaes e as influncias que as normas ISO relacionadas com a Usabilidade exercem entre si (Borsci et al., 2013) e a tendncia futura de
convergncia numa s norma de Usabilidade.
A norma ISO/IEC 9126:1991, relacionada com a qualidade de software, foi a primeira
norma a definir Usabilidade como uma caracterstica do seu modelo de qualidade. Esta
norma foi revista em 2001 (ISO/IEC 9126-1:2001), tendo sido substituda em 2011 pela
norma ISO/IEC 25010. Em cada reviso, o conceito de Usabilidade foi evoluindo para se
tornar sucessivamente mais abrangente e convergente com a parte 11 da norma 9241(ISO9241-11:1998), que se tornou a mais referida e aceite na literatura no que definio de
Usabilidade diz respeito.
Esta norma encontra-se atualmente em processo de reviso. Acredita-se que assim que
a verso atualizada da norma seja publicada, tornar-se- a nova referncia de definio de
Usabilidade, incorporando as vrias contribuies das restantes normas, conforme possvel
observar na figura 2.3.
Paralelamente, a norma ISO 13407:1999, que definiu o conceito de conceo centrada no
utilizador, foi incorporada na famlia de norma ISO9241, sendo agora conhecida por ISO9241210:2010. Esta ltima especificou que a Usabilidade de um sistema condio necessria
para a Experincia do Utilizador (UX) (Borsci et al., 2013).
Contudo, esta norma influenciou tambm a norma ISO16982:2002 (Ergonomics of humansystem interaction Usability methods supporting human-centred design) que apresenta
uma reviso dos mtodos que podem ser usados (e combinados entre si) para apoiar a conceo e o teste de sistemas a ISO18529:2000 (Ergonomics Ergonomics of human-system
interaction Human-centred lifecycle process descriptions) que apresenta boas prticas
de conceo centrada no utilizador e a ISO20282-1:2006 (Ease of operation of everyday
products Part 1: Design requirements for context of use and user characteristics) que
apresenta requisitos de conceo para produtos de uso dirio.
15

ISO9126
(1991)

ISO9126-1
(2001)

ISO25010
(2011)

Reviso
ISO9241-11
(201X)

ISO9241-11
(1998)

ISO9241210
(2010)

ISO13407
(1999)

ISO16982
(2002)

ISO20282-1

(2006)

ISO18529
(2000)
1990

2000

2010

Futuro

Reviso

Influncia

Figura 2.3: Relaes entre as normas internacionais de Usabilidade (adaptado de Borsci et

al., 2013)

2.2.5

Mtodos e Testes de Usabilidade

Nielsen & Mack (1994) definiram quatro formas de aferir a Usabilidade em geral: automaticamente, usando software de teste especfico, empiricamente, realizado testes com
utilizadores, heuristicamente, atravs do uso de um modelo de avaliao e informalmente,
atravs da anlise de crticos. Mais tarde, M. Ivory & Hearst (2001) classificaram os mtodos
em cinco categorias: teste, inspeo, inqurito, modelao analtica e simulao, abordagem
mantida por Fernandez et al. (2011). Por entender que estas classificaes se encontram ultrapassadas, Zahran et al. (2014) propuseram uma nova taxonomia e adequao dos mtodos
especificamente para a anlise de stios Web em trs categorias: (i) mtodos com testes com
utilizadores, (ii) mtodos com avaliadores e (iii) mtodos com ferramentas automticas.
esta que se segue e descreve seguidamente.
Mtodos com utilizadores
Os testes com utilizadores so considerados a mais complexa, completa e dispendiosa
das tcnicas de anlise de Usabilidade (Pearrow, 2000). Na sua interpretao clssica, so
testes empricos que envolvem o recurso a laboratrios que dispem de equipamentos de
registo udio e vdeo, salas de observao providas de espelhos de dupla face, bem como um
planeamento detalhado. Contudo, Nielsen (1993) afirma que para a realizao de testes de
Usabilidade em muitos casos o material necessrio resume-se a um bloco de notas e a um local
calmo onde as pessoas possam interagir com o interface de modo a observar a sua utilizao
16

(Nielsen, 1993). Dependentemente da complexidade e dimenso do projeto e de necessidade

do pblico-alvo, um teste de Usabilidade poder durar at 12 semanas (Dumas & Redish,
1999). Durante este tempo necessrio traar objetivos e planos, recrutar participantes,
realizar vrias sesses de testes e sistematizar as concluses. Uma sesso de testes pode
durar entre uma a duas horas. Em muitos casos, os participantes nos estudos recebem uma
gratificao pela sua colaborao, podendo recorrer-se a voluntrios ou a funcionrios das
organizaes. O recrutamento dos participantes implica um compromisso entre o oramento
disponvel e o pblico-alvo a testar. A natureza destes testes muito variada e pode incluir
uma ou vrias tcnicas descritas neste captulo. Ainda assim, possvel estabelecer um
desenrolar tpico de uma sesso de testes:

1. Acolhimento dos participantes: Os participantes so acolhidos e encaminhados

para o local onde os testes so efetuados.
2. Introduo e explicao da natureza do estudo: fundamental destacar que
o produto ou o sistema que ser avaliado e no as capacidades dos participantes. Esta
introduo necessria para que os participantes se sintam vontade e possam agir
com naturalidade (Krug, 2005).
3. Configuraes e questes de confidencialidade: Em muitos casos os participantes
tomaro contato com prottipos de sistemas que se encontram em desenvolvimento.
Se assim for, tipicamente convidam-se os participantes a assinar um documento de
confidencialidade. Em muitos testes, procede-se tambm gravao (vdeo, ecr do
computador ou som) da sesso, sendo obrigatrio obter a autorizao de cada participante.
4. Questionrios ou questes iniciais: Os questionrios iniciais permitem conhecer
as expetativas e desejos dos participantes e fazer um despiste para eventual excluso
de indivduos recrutados, cujo perfil no se revele ser o mais adequado.
5. Realizao de tarefas: Definem-se as tarefas concretas a realizar pelos participantes.
tambm necessrio estabelecer sem ambiguidades o ponto de partida a partir do qual
o participante inicia a tarefa. Nesta fase podero ser empregues vrias tcnicas.
6. Questionrios finais ou entrevista: possvel a realizao de uma entrevista durante a qual se ter oportunidade de aprofundar os motivos de comportamentos durante
o teste que tenham ficado menos claros para o facilitador ou para os observadores.
7. Retrospetiva e autoscopia: tambm possvel recorrer autoscopia para que os
participantes possam comentar as aes que tomaram durante a sesso.

Nielsen & Landauer (1993) demostraram em que so necessrios apenas cinco participantes para ser possvel encontrar cerca de 75% dos problemas de Usabilidade de um sistema
(Nielsen, 2000), como pode ser observado na figura 2.4. O grfico baseado na equao
(2.1), onde i representa o nmero de utilizadores testados, n diz respeito ao nmero de erros de Usabilidade totais que existem no sistema e L a percentagem de erros tipicamente
descobertos por um utilizador (31%). A necessidade da introduo desta equao deve-se ao
facto de haver sobreposio nos erros descobertos por cada novo utilizador.
17

Figura 2.4: Percentagem de problemas de Usabilidade encontrados em funo do nmero de

utilizadores testados (Nielsen et al., 1993).

n(1 (1 L)i )

(2.1)

Nos testes com utilizadores h vrias subtcnicas que podem ser usadas:

A Ordenao de Cartes um mtodo barato e fivel para identificar a estrutura

de informao de uma lista no ordenada de tpicos ou ideias. uma das melhores
formas de compreender como os utilizadores usam a informao (Morville & Rosenfeld,
2006). Os melhores resultados so obtidos quando o contedo a analisar reduzido e
os contedos j contenham padres que permitam um pr-agrupamento, e quando os
participantes compreendem claramente o contedo representado pelos cartes (Suarez,
2005).
A Prototipagem usada na engenharia de requisitos, fazendo parte do processo de
design iterativo, cujo objetivo ultrapassar os problemas quando os requisitos esto
incompletos, percorrendo vrias fases e melhorando gradualmente o produto final (Dix
et al., 2003). As maquetas podem ser de baixa ou alta-fidelidade e so utilizveis tanto
com peritos como com utilizadores representativos. Em fases iniciais, simples esboos
em papel bastam para iniciar o dilogo em redor do design concetual. Nestas fases j
possvel despistar problemas de interface, com a colaborao dos (futuros) utilizadores
dos sistemas, sendo possvel realizar alteraes interface imediatamente no papel de
uma forma rpida e prtica (Gomes, 2005).
A tcnica de cenrios de utilizao consiste na criao de um contexto real de uso
de um sistema e na atribuio de tarefas tpicas a utilizadores do pblico-alvo para que
possam testar esse cenrio. Esta tcnica, ao contrrio da Cognitive Walktrough, realiza
testes com utilizadores representativos do sistema a testar.
Os questionrios podem ser realizados com ou sem a presena do investigador e tm
18

como objetivo obter informao que permita aprofundar a compreenso dos pontos
fortes e fracos do sistema a testar (Rubin, 1994). So muito usados porque so simples
e baratos de aplicar, mas acarretam algumas desvantagens. A eficcia de um questionrio depende do seu formato, contedo, clareza e objetividade. Existem dois tipos
de questes as de resposta fechada e as de resposta aberta e um questionrio poder ser composto por combinaes das duas. Nas respostas fechadas os participantes
optam por uma resposta pr-determinada e estabelecida numa escala. Existem vrias
escalas, como a de Likert ou de Diferencial Semntico. A escala de Likert exprime o
grau de concordncia com uma declarao, como por exemplo, Discordo totalmente,
Discordo , No concordo nem discordo , Concordo ou Concordo absolutamente.
Tipicamente emprega-se uma escala de 5, 7 ou 9 pontos. Nielsen & Pernice (2010)
afirma que a escala de 7 pontos ideal, pois torna mais fcil a escolha dos participantes, mas a opinio no consensual. Quando se pretende evitar posies intermdias
emprega-se um nmero par de pontos de forma a impor a escolha entre discordncia e
concordncia. Existem outras escalas como a escala de Usabilidade de Brooke (Brooke,
1996) baseada em Diferencial Semntico, uma escala onde duas palavras antagnicas
so colocadas em pontos opostos e o participante tem que escolher um valor entre esses dois pontos. Nas questes de resposta aberta, os participantes podero responder
livremente com as suas prprias palavras. Assim, possvel recolher opinies e impresses pessoais. Um questionrio deve incidir sobre aspetos de um problema especfico,
padres de comportamento ou itens sobre os quais seja necessrio estabelecer uma opinio. Por outro lado, existe o risco das pessoas que disponibilizam o seu tempo para
responder a um questionrio serem pouco representativas da amostra que o investigador est interessado em usar ou s responderem aos questionrios aquelas pessoas cujas
respostas so as mais extremas relativamente ao assunto abordado (Jordan, 1998).
Os grupos de discusso so grupos de pessoas que se formam para discutir determinados assuntos e so moderados por um facilitador. Tipicamente um grupo de
discusso dura 2 horas composto por 8 a 12 pessoas e (Dumas & Redish, 1999), pese
embora haja investigadores que tenham usado um nmero inferior de participantes
(Jordan, 1998) por considerarem que mais fcil de controlar. A escolha dos participantes deve ser feita com os mesmos critrios usados nos testes de Usabilidade, pois
devem refletir uma boa amostra do pblico-alvo do sistema que se pretende estudar,
embora devam ser heterogneos, para enriquecer a discusso. De acordo com as dimenses do projeto, podero ser formados vrios grupos de discusso. O facilitador
responsvel por introduzir os tpicos na discusso, mediar o grupo e assegurar que
todos os participantes intervm e do a sua opinio. O objetivo principal de recolher
a opinio dos participantes sobre o sistema, identificar as suas prioridades, desejos e
crenas.
A tcnica Pensar em voz alta destina-se a captar as reaes dos participantes ao
longo da sua progresso no teste. Ao encoraj-los a exprimir os seus pensamentos
em voz alta, possvel compreender as suas motivaes, o que nem sempre possvel
apenas atravs da observao. Esta tcnica til em testes iniciais porque permite
19

(a) Mapa de calor (Heat map)

(b) Caminhos percorridos (Gazz map)

Figura 2.5: Exemplo de resultados do sistema de eyetracking (Castro, 2010)

evidenciar preconceitos e expetativas sobre o funcionamento do produto, mas implica
a existncia de pelo menos uma maqueta. Pode ser usada em cenrios pr-definidos
cujo objetivo identificar problemas de Usabilidade concretos, mas tambm til em
cenrios de explorao livre (Jordan, 1998).
O Eyetracking uma tcnica que permite seguir e registar o movimento dos olhos
de um utilizador ao usar determinado sistema, reunindo informaes sobre os focos de
ateno e resposta a estmulos. Ao analisar para onde olha um utilizador durante a
interao com um stio Web, possvel saber quais os contedos que realmente so
vistos e por que ordem. Os sistemas atuais de Eyetracking consistem em ecrs de
computador com cmaras de vdeo embutidas. Enquanto uma cmara fixa a cabea
do utilizador para calcular a sua posio relativa, outras cmaras so apontadas aos
olhos. Atravs do reflexo da pupila, o sistema calcula para onde o utilizador est
a olhar e armazena essa informao, juntamente com o movimento do ponteiro do
rato. As sesses de testes com recurso ao eyetracking podem ser muito variveis, mas
tipicamente duram at 90 minutos (Pernice & Nielsen, 2009).
Para alm de serem armazenadas informaes relativas ao movimento dos olhos e do
cursor, tipicamente usam-se cmaras de vdeo externas para armazenar as expresses
faciais dos participantes. Ao analisar os resultados, comeam-se distinguir as fixaes (fixations) quando o olho permanece estacionrio num determinado ponto
das sacadas (saccades) uma rpida re-orientao dos movimentos dos olhos. Vrios
fabricantes fornecerem software de anlise que permite extrair rapidamente as fixaes
e sacadas a partir do fluxo de dados.
Existem trs formas de analisar os resultados do eyetracking (Nielsen & Pernice, 2010).
A primeira consiste em visualizar em cmara lenta as gravaes das sesses, o que
exige muito tempo. As outras duas so formas de representao estticas e podem ser
observadas na figura 2.5 (Castro, 2010). Um mapa de calor (figura 2.5a) diferencia,
atravs do uso de um cdigo de cores, a ateno que cada local recebeu por parte
20

dos participantes7 . A outra representao esttica representa a ordem do caminho

percorrido pelo olhar. Em casos de intensa leitura, torna-se confuso de interpretar
estaticamente (2.5b). Estes equipamentos exigem esforo financeiro e no permitem
testar grupos especficos de utilizadores, como pessoas com viso reduzida ou que usem
determinados tipos de culos ou lentes. Por outro lado, o uso de eyetracking s
aconselhado para situaes onde j existe uma grande cultura e experincia com testes
de Usabilidade (Pernice & Nielsen, 2009), porque as outras tcnicas so mais fceis e
baratas de implementar.

Mtodo com Avaliadores

Avaliao Heurstica
As heursticas so regras que se baseiam em boas prticas de conceo de interfaces e
estabelecem um conjunto de diretrizes para evitar os problemas de Usabilidade. A avaliao
heurstica uma forma de avaliao no emprica, rpida, barata e simples. Foi proposta
enquanto mtodo de avaliao de Usabilidade por Jakob Nielsen & Molich (1990)8 e revista
posteriormente (Nielsen & Mack, 1994). Hoje em dia largamente usada e conserva a
sua pertinncia, embora seja considerada insuficiente por alguns autores (Preece, Rogers, &
Sharp, 2002). Este tipo de avaliao consiste na anlise do sistema realizada por peritos
e na classificao dos problemas encontrados segundo um determinado modelo. Dado que
cada avaliador tem uma tcnica pessoal diferente para avaliar um stio, detetar diferentes
conjuntos de problemas, podendo recorrer-se, por essa razo, a vrios peritos em separado.
Nielsen & Mack (1994) consideram que 3 a 5 avaliadores so suficientes para encontrar 75%
dos problemas de Usabilidade de um sistema. Contudo, Morville & Rosenfeld (2006) defende
que apenas um perito capaz de encontrar os problemas mais importantes e que um bom
compromisso entre custo e qualidade.
Heurstica
1 - Tornar o estado do sistema visvel
2 - Falar a linguagem do utilizador
3 - Utilizador controla e exerce livre-arbtrio
4 - Consistncia e adeso a normas
5 - Preveno do erro
6 - Reconhecimento em vez de recordar
7 - Flexibilidade e eficincia de uso
8 - Desenho de ecr esttico e minimalista
9 - Ajudar utilizador a reconhecer, diagnosticar e recuperar dos erros
10 - Dar ajuda e documentao
Tabela 2.1: Dez regras de Avaliao Heurstica de Nielsen (Nielsen & Mack (1994))
Em sesses de avaliao, os peritos assumem o lugar dos utilizadores finais e procedem
7
Tipicamente, o vermelho a cor escolhida para indicar as zonas que receberam mais ateno, seguido do
amarelo, verde ou azul, mas o esquema de cores poder ser outro.
8
Antes de Nielsen, Shneiderman (1986) publicou aquilo a que chamou as Oito regras de ouro do design
de Interface cujas heursticas de Nielsen tm alguns pontos de contacto.

21

 identificao dos potenciais problemas, associando-os s regras heursticas infringidas e

sugerindo solues de design que sejam apropriadas a cada caso. Para uma boa avaliao,
fornecido aos avaliadores um conjunto de recursos como a descrio do projeto, objetivos,
pblicos-alvo, bem como uma lista de heursticas e uma escala de classificao. A tabela 2.1
refere o conjunto de heursticas genricas propostas Nielsen & Mack (1994). A escala de classificao permite estabelecer prioridades e ordenar os problemas pela ordem que devem ser
resolvidos. Embora a severidade de um problema de Usabilidade seja a combinao de vrios
fatores (Rubin, 1994) corrente condensar esses fatores numa nica escala. Nielsen (Nielsen,
1995) prope uma escala de severidade com 5 nveis para uso em avaliao heurstica. Tal
escala pode ser observada na tabela 2.2.
Severidade
0
1
2
3
4

Descrio
No de todo um problema
Problema cosmtico: no necessita de reparao a menos que haja tempo
extra disponvel no projeto.
Problema de Usabilidade menor: baixa prioridade de reparao.
Problema de Usabilidade maior: alta prioridade de reparao.
Usabilidade catastrfica: exige reparao antes de ser distribudo.

Tabela 2.2: Escala de severidade de problemas de Usabilidade (Nielsen, 1995)

Para alm destas, existem outras heursticas, como a proposta de Tognazzini para princpios de design de interao (Tognazzini, 2014), de Rosenfeld para sistemas de pesquisa
(Rosenfeld, 2004) ou para avaliar o sistema de navegao de um stio Web (Instone, 2010).
Atkinson et al. (2007) compilou um resumo das principais heursticas a que chamou Multiple
Heuristic Evaluation Table (MHET). Dado o detalhe e especializao, convida-se o leitor
interessado a consultar a bibliografia relevante indicada.
Explorao cognitiva (Cognitive Walktrough)
Trata-se de uma tcnica por inspeo para identificar problemas de Usabilidade. Foi
originalmente proposta por Polson (Polson, Lewis, Rieman, & Wharton, 1992) como uma
tentativa de introduzir a teoria da psicologia para a informal e subjetiva tcnica de Walktrough (Dix et al., 2003), j usada em Engenharia do Software. Foi mais tarde adaptada
Web (Blackmon, Polson, Kitajima, & Lewis, 2002).
orientada para tarefas e levada a cabo por peritos que assumem o papel de utilizadores, seguindo um protocolo determinado por diversos passos. muito comum ser efetuada
pelos responsveis de conceo das equipas de desenvolvimento (Lewis & Rieman, 1993). O
objetivo principal desta tcnica verificar como fcil usar um sistema.
O foco principal reside no facto da experincia ditar que os utilizadores preferem aprender
a interagir com um sistema, atravs do uso e da explorao das suas funcionalidades, ao invs
de ler o manual de instrues (Dix et al., 2003).
Para a aplicao desta tcnica necessrio especificar o sistema e os utilizadores-alvo.
Poder ser um esboo, mas importante que tenha detalhe suficiente sobre menus e taxo22

nomia (Dix et al., 2003). Depois, define-se uma tarefa concreta e representativa de uma
necessidade dos utilizadores do sistema. A tarefa ento subdividida numa descrio de
aes detalhadas que so necessrias levar a cabo para completar a tarefa. Como exemplo,
Lewis et. al. apresentam um teste ao interface de uma fotocopiadora, onde a tarefa principal
a de tirar uma cpia e as aes os passos necessrios para o fazer (Lewis & Rieman, 1993).
Os Cognitive Walktrough com maior sucesso so feitos por peritos que trabalham em
estreita colaborao com utilizadores reais, para que possam criar uma imagem mental dos
utilizadores nos seus ambientes naturais (Lewis & Rieman, 1993).
Ferramentas automticas
As ferramentas de avaliao automtica recolhem informao e identificam potenciais
problemas de stios Web. Existem dois tipos de ferramentas automticas que podem efetuar
avaliaes de Usabilidade Web: (i) as que tentam prever a utilizao de stio Web e (ii) as
que avaliam o cumprimento de normas e diretrizes (Dingli & Cassar, 2014).
(i) Ferramentas que tentam prever a utilizao de stios Web
O Cognitive Walkthrough for the Web (CWW) baseia-se na tcnica Explorao Cognitiva
abordada na seco anterior e ajuda a equipa de desenvolvimento de um stio Web a escolher
o melhor texto a usar em ttulos e hiperligaes (Blackmon et al., 2002). O CCW usa
indexao semntica que permite calcular o aroma da informao de cada hiperligao9 .
Outra ferramenta abordada na literatura que usa o aroma de informao The InfoScent Bloodhound Simulator (Ed H. Chi, 2003) um projeto de investigao que usa a Lei da
Navegao, uma equao que prev o limite mximo de hiperligaes (profundidade) que as
pessoas esto dispostas a consultar (Huberman, Pirolli, Pitkow, & Lukose, 1997) e teoria de
pesquisa de informao (Information Foraging Theory)10 .
A ferramenta WebCriteria SiteProfile usa mtricas de Usabilidade recolhidas por navegadores Web (M. Y. Ivory & Hearst, 2001) (Matera, Rizzo, & Carughi, 2006), embora o mtodo
seja alvo de crticas na literatura porque se foca na estrutura formal de hiperligaes, no
considerado o contedo nem outros aspetos crticos que afetam a forma como utilizadores
navegam (Ed H. Chi, 2003).
J o Web TANGO um prottipo que analisa 157 mtricas especficas (como as cores e
localizao do texto) que tm por base os algoritmos de simulao e de busca de informao
de Monte Carlo11 para prever o comportamento de utilizadores na pesquisa de informao
e na navegao atravs de stios Web (M. Y. Ivory, Mankoff, & Le, 2003a). Contudo, a
ferramenta tem sofrido crticas devido ao facto de no ser robusta o suficiente para uma
9

O Aroma de informao (Information Scent) a perceo que um utilizador tem do valor e do custo
de aceder a uma determinada pea de informao (Chi, Pirolli, & Pitkow, 2000).
10
Teoria que prev o comportamento de apreenso de informao de utilizadores num determinado contexto
para prever padres de navegao de stios Web (Dingli & Cassar, 2014).
11
Mtodos estatsticos que se baseiam em amostragens aleatrias.

23

utilizao em massa (M. Y. Ivory, Mankoff, & Le, 2003b).

ii) Ferramentas que avaliam o cumprimento de normas e diretrizes
A Usability Evaluation Framework (USEFul) uma plataforma Web proposta por Dingli
& Mifsud (2011) que avalia a Usabilidade de stios Web atravs da aplicao de uma anlise heurstica automatizada baseada em diretrizes compiladas pelo mesmo autor. Apesar
da plataforma referenciar 240 diretrizes, nem todas foram implementadas, o que limita a
utilizao da ferramenta (Dingli & Cassar, 2014).
Apesar do apoio que este tipo de ferramentas permite, subsistem dificuldades no seu uso,
uma vez que so impossveis de comparar, o que dificulta a anlise da sua eficcia (Brajnik,
2004). O primeiro estudo que analisou a eficcia de ferramentas automticas foi conduzido
por M. Y. Ivory & Chevalier (2002) que concluiu que apesar das ferramentas ajudarem a
identificar potenciais problemas, as pistas sugeridas pelas ferramentas no melhoravam o
desempenho dos utilizadores.
Existem ainda ferramentas automticas para testar a acessibilidade de stio Web (ver
seco 2.3.4) e outras que permitem testar elementos especficos dos stios Web, como o
tempo de carregamento de pginas, a existncia de hiperligaes quebradas ou tcnicas de
otimizao (ver seco 3.4).

2.2.6

Comparao de Mtodos de Avaliao de Usabilidade

Cada um dos mtodos apresentados tem as suas prprias caractersticas e varia muito
quer na metodologia, quer no tempo e no custo. Na tabela 2.3 encontra-se um resumo de
cada mtodo.
A aplicao das mesmas tcnicas no produz resultados idnticos, o que dificulta a comparao de resultados entre estudos diferentes ou a anlise da evoluo temporal. Molich et
al. demostra que estudos de Usabilidade sobre um mesmo tema desenvolvidos por diferentes equipas e empregando diferentes mtodos produzem resultados diferentes (Molich, Ede,
Kaasgaard, & Karyukin, 2004). Hertzum et al. conclui que a mdia de concordncia entre
dois estudos realizados por equipas diferentes com base no mesmo alvo e no mesmo mtodo
varia entre 5% e 65% (Hertzum & Jacobsen, 2003). Pearrow reconhece que no h clculos
que possam substituir a compreenso do design e da interao humana, mas admite que
uma abordagem quantitativa simples, como a obteno de valores mdios, permite elaborar
uma ideia de evoluo entre testes consecutivos e adquirir a noo dos progressos realizados
(Pearrow, 2000).
Embora o potencial de melhoria esteja diretamente relacionado com o esforo investido
em testes de Usabilidade, todas essas abordagens conduzem a melhores sistemas (Levi &
Conrad, 2008).
Jeffries et al comparou quatro mtodos (avaliao heurstica, cognitive walkthroughs, tes24

Mtodo
Avaliao heurstica

Explorao cognitiva

Ordenao de cartes

Prototipagem
Teste com utilizadores reais
Cenrios de utilizao
Pensar em voz alta
Questionrios

Entrevistas
Grupo de discusso

Eyetracking

Vantagens
Fcil de realizar; barato; capaz de encontrar muitos problemas; sem necessidade de recrutar utilizadores.
Possibilidade de ser efetuada com esboos; sem necessidade de recrutar utilizadores; rpido de realizar.
Fcil; barata; ideal para estruturar a arquitetura de informao de um sistema.
Barato; rpido; poder ser realizado em
qualquer fase do projeto.
Muito eficaz na deteo de problemas.
Prtico; Coloca foco do projeto em cenrios de uso concretos.
Capaz de encontrar a razo dos problemas; uso de poucos utilizadores;
Fcil de realizar; barato; flexvel na
aplicao.

Versteis; Sem risco de m interpretao de questes.

Poder ser usada em qualquer fase de
desenvolvimento; til para descobrir
necessidades dos utilizadores.
til para analisar focos de ateno e padres de leitura.

Desvantagens
No permite a descoberta de todos os
problemas, sobretudo, problemas especficos.
Necessria muita experincia dos peritos.
Domnio de aplicao restrito. No permite avaliar cenrios de navegao e
transacionais.
Necessidade de capacidade de abstrao.
Custos elevados.
A criao de cenrios exige um grande
domnio do contexto do sistema.
Incapaz de providenciar dados quantitativos.
Dependendo das condies em que
so feitos, podero no representar o
pblico-alvo ideal; as questes tm que
ser muito claras sob pena de serem mal
interpretadas.
Custos elevados de dinheiro e tempo.
Incapaz de providenciar dados quantitativos; perigo de contaminao do
grupo por parte dos membros mais influentes.
Caro; Anlise dos dados complexa e
com necessidade de contextualizao.

Tabela 2.3: Resumo das principais vantagens e desvantagens de mtodos de Usabilidade

tes empricos e aplicao de diretrizes) e concluiu que a avaliao heurstica o mtodo que
mais problemas consegue encontrar. O mesmo estudo mostra a importncia de usar mais do
que um avaliador, dado que diferentes avaliadores conseguem encontrar problemas distintos.
Contudo, no certo que todos os problemas identificados pela avaliao heurstica tenham
o mesmo impacto na experincia de utilizao (Jeffries, Miller, Wharton, & Uyeda, 1991).
Os testes empricos so muito teis a encontrar problemas genricos e globais, mas tm dificuldade em encontrar problemas especficos e locais: se existe um problema num ecr que os
utilizadores nunca usam, os testes empricos no iro permitir encontrar o problema (Jeffries
et al., 1991). Comparando os testes empricos com o uso de cognitive walkthroughs, Karat
demostrou que os primeiros so duas a trs vezes mais teis a descobrir problemas do que
os segundos, quer com cognitive walkthroughs individuais, quer com cognitive walkthroughs
com grupos. No mesmo estudo, salienta-se o facto dos testes empricos consumirem muito
tempo, tempo esse que acaba por ser rentabilizado pelo nmero de problemas descobertos
(Karat, Campbell, & Fiegel, 1992).
Sauro (2012) comparou a avaliao heurstica com testes empricos e concluiu que, apesar
da avaliao heurstica no conseguir detetar falhas que os utilizadores conseguem, este tipo
de avaliao permite encontrar at 50% dos problemas de um stio Web, pelo que este mtodo
continua a ser relevante, devendo ser complementado com outras tcnicas. Apesar de tudo,
25

 importante referir que existem diferenas no tipo de informao que os mtodos fornecem. Por exemplo, Fu, Salvendy, & Turley (2002) descobriu que os testes empricos so mais
eficazes na descoberta de problemas relacionados com o nveis de performance, enquanto a
avaliao heurstica mais til na identificao de problemas associados a aptides e conhecimento baseado em regras. Este entendimento corroborado por de de Kock, van Biljon,
& Pretorius (2009) que estudaram as diferenas no tipo de informao obtida pela avaliao
heurstica em comparao com testes empricos auxiliados por sistema de eyetracking.
No que diz respeito ao mtodo Pensar em voz alta, Cooke estudou as suas limitaes com
um sistema de eyetracking (Cooke & Cuddihy, 2005) e conclui que a anlise do movimento dos
olhos sobretudo na construo de grficos em tempo real poder ajudar os facilitadores a
compreender padres de utilizao e a procurar esclarecer a razo pela qual os participantes
realizaram determinadas aes.

2.3

Acessibilidade Web

A palavra Acessibilidade deriva da palavra acessvel que significa a que se pode chegar
(Priberam, 2015a). Em sentido lato, quando nos referimos Acessibilidade, evidenciamos
o uso de um conjunto de regras que tm como objetivo melhorar a vida das pessoas que
tm algum tipo de deficincia ou necessidade especial. Exemplos de preocupao com a
acessibilidade podem ser encontradas nas cidades, cujos edifcios tm de estar preparados
para acolher pessoas com mobilidade reduzida.
De forma anloga, a Acessibilidade Web engloba um conjunto de normas e tcnicas com o
objetivo de garantir que todas as pessoas possam usar a Web. Como veremos na seco 2.3.5,
os stios da Administrao Pblica so obrigados a cumprir com as regras de Acessibilidade
Web.

2.3.1

World Wide Web Consortium e Web Accessibility Initiative

O World Wide Web Consortium (W3C) uma entidade sem fins lucrativos criada em
1994 por Tim Berners-Lee e tem como misso desenvolver padres e diretrizes que garantam
o crescimento a longo prazo da Web (W3C, 2015b). A 5 de setembro de 2015 a W3C
contava com 396 associados (W3C, 2015a), entre as quais se encontram empresas, rgos
governamentais e centros de investigao.
Um padro W3C uma especificao ou um conjunto de linhas de orientao conseguidas
aps um trabalho de concertao entre membros da organizao e o pblico em geral. Os
padres mais populares da W3C so o HTML, o XHTML (eXtensible Hypertext Markup)
Language e CSS (Cascading Style Sheets). Os stios Web que so desenvolvidos segundo estes
padres podem ser acedidos e visualizados por qualquer pessoa ou tecnologia, independente
do hardware ou software utilizado.
A Web Accessibility Initiative (WAI) uma iniciativa promovida pelo W3C para Aces26

sibilidade Web. A WAI desenvolve estratgicas, diretrizes e recursos para ajudar a tornar a
Web acessvel s pessoas com deficincia (WAI, 2011a). Para Paciello, a criao de diretrizes
e padres para a Acessibilidade da Internet e da Web uma das principais razes pela qual
a Web est a caminho de se tornar mais acessvel (Paciello, 2000).

2.3.2

Guias para desenvolvimento Web

O trabalho do WAI bastante extenso pois coordena e especificar vrias componentes

para garantir stios Web acessveis. Segundo o WAI (2011b), estas componentes incluem
os contedos, os utilizadores, os programadores, os navegadores Web, as organizaes que
produzem os navegadores Web, entre outros.
No sentido de coordenar as relaes entre estes componentes, o WAI disponibiliza trs
documentos orietadores:

Diretrizes de Acessibilidade para Contedo Web (WCAG)12 : Estas diretrizes

ajudam a tornar o contedo Web mais acessvel a pessoas com incapacidades (...)
inclundo as limitaes visuais, auditivas, fsicas, cognitivas, neurolgicas ou ainda as
ligadas fala, linguagem ou aprendizagem (WAI, 2014). Para alm destas, tornam
tambm o contedo Web mais usvel para os indivduos mais idosos cujas capacidades
mudam como resultado do envelhecimento e melhoram, frequentemente, o uso para os
utilizadores em geral. (WAI, 2014).
Diretrizes de Acessibilidade para Ferramentas de Autor (ATAG)13 : Estas
diretrizes ajudam os programadores a conceber ferramentas que produzam contedos
Web acessveis. Por exemplo, interfaces de gestor de contedos para a atualizao de
stios Web ou editores HTML. A adoo destas orientaes contribui para a disseminao de contedo Web e para que este possa ser acedido por uma vasta gama de
utilizadores (WAI, 2013). As ATAG so uma recomendao W3C.
Diretrizes de Acessibilidade para Agentes de Utilizador (UAAG)14 : Estas
diretrizes do orientaes aos agentes do utilizador, como por exemplo os navegadores
Web ou outro software que processe e disponibilize contedo Web. Tais orientaes
auxiliam todos os utilizadores e so igualmente benficas para criadores de tecnologias
de apoio (leitores de ecr, dispositivos e equipamentos), pois explicam quais os tipos
de informaes que uma tecnologia de apoio pode esperar de um agente de utilizador
(WAI, 2005).

De todo o trabalho realizado pelo WAI, destaca-se as Diretrizes de Acessibilidade para

Contedo Web, discutidas na seco seguinte.
12

Do ingls Web Content Accessibility Guidelines

Do ingls Authoring Tool Accessibility Guidelines
14
Do ingls User Agent Accessibility Guidelines
13

27

2.3.3

Diretrizes de Acessibilidade para o Contedo Web

Estas diretrizes abrangem um vasto conjunto de recomendaes que tm como objetivo

tornar o contedo Web mais acessvel. (WAI, 2014). Se todas estas recomendaes forem
seguidas, os contedos Web passaro a estar acessveis a pessoas com necessidades especiais,
incluindo cegueira e baixa viso, surdez e baixa audio, dificuldades de aprendizagem,
limitaes cognitivas, limitaes de movimentos, incapacidade de fala, fotossensibilidade bem
como as que tenham uma combinao destas limitaes. (WAI, 2014)
WCAG 1.0
A verso 1.0 das WCAG foi um grande avano para tornar a Internet mais acessvel
(WAI, 1999). Publicada em 1999, continha 14 diretrizes e numerosos pontos de verificao que podiam ser usados para determinar a Acessibilidade de uma pgina Web. Com o
surgimento de novas tecnologias Web, as WCAG 1.0 comearam a apresentar algumas dificuldades em garantir conformidades, pois as regras eram muito especficas para HTML.
Todavia, atualmente muitos stios ainda as usam como referncia.
WCAG 2.0
Para ultrapassar as orientaes obsoletas, em 2008 foi publicada a verso 2.0 das WCAG
(WAI, 2014), a qual veio a constituir um padro internacional (W3C, 2012b) e que introduziu uma mudana de filosofia das regras a fim de as tornar tecnologicamente neutras e
assim poderem resistir mudana no futuro. Para alm do documento principal, as diretrizes WCAG 2.0 so suportadas por documentos no-normativos: Noes sobre as WCAG
2.0 (W3C, 2014) e Tcnicas para as WCAG 2.0(WAI, 2008) que fornecem informaes
indispensveis para compreender e implementar as WCAG 2.0.
Como consequncia da generalizao, as diretrizes deixaram de ser orientadas prtica
e passaram a ser orientadas em 4 princpios (W3C, 2014):

Princpio 1- Percetvel: Os utilizadores tm de ser capazes de compreender a

informao apresentada;
Princpio 2 - Opervel: A interface no pode requerer uma interao que um
utilizador no possa executar;
Princpio 3 - Compreensvel: A informao e a operao da interface de utilizador
tm de ser compreensveis. Os contedos ou o funcionamento no podem ir para alm
da sua compreenso;
Princpio 4 - Robusto: O contedo tem de ser suficientemente robusto para ser interpretado, com preciso, por uma grande variedade de agentes de utilizador, incluindo
tecnologias de apoio. medida que as tecnologias e os agentes de utilizador evoluem,
os contedos devem permanecer acessveis".
28

Todos estes princpios tm necessariamente de se verificar num stio para que este possa
ser considerado acessvel.
Esta mudana criou algumas dificuldades de aplicabilidade, pois a sua linguagem genrica ironicamente menos acessvel porque algumas das diretrizes esto escritas de uma
forma muito vaga o que dificulta a sua aplicao (Gomes, 2007). Por este motivo, surgiram
verses simplificadas que ajudam os criadores de contedos Web na aplicao de normas 2.0
(WebAIM, 2009). Para Joe Clark, outro dos problemas da verso 2.0 a sua extenso, uma
vez que quando impressa juntamente com os documentos de suporte associados, pode chegar
a ocupar 450 pginas A4 (Clark, 2006).
Errata WCAG Samurai
A Errata do WCAG Samurai foi criada por um grupo de personalidades independentes
do W3C liderada por Joe Clark (ex-colaborador da WAI/W3C) que criou uma errata para
a verso WCAG 1.0 (Samurai, 2008b) por no estar de acordo com as ideias propostas no
WCAG 2.0.
Esta diviso gerou alguma confuso e at uma certa insegurana nos criadores de stios
Web, uma vez que a WCAG 2.0 relativamente complexa e a WCAG Samurai, apesar de
possuir boas solues, no reconhecida como uma norma internacional.
A WCAG Samurai corrige 12 diretrizes das WCAG 1.0, procurando torn-las claras e
orientadas para a prtica. Por exemplo, termos como evite utilizar ou sempre que possvel
deram lugar a termos como utilize ou obrigatrio utilizar. Segundo Joe Clark, A WCAG
Samurai uma alternativa WCAG 2.0. Pode-se seguir a WCAG 2.0 ou a WCAG Samurai,
ou mesmo no seguir nenhuma das duas, mas impossvel seguir ambas (Samurai, 2008a).
Nveis de Conformidade e Critrios de Sucesso
Todas as diretrizes contm uma ideia-chave associada, uma identificao numrica e uma
lista de Critrios de Sucesso (checkpoints)15 , que explicam como aplicar uma diretiva numa
determinada rea. Consoante o impacto que cada um dos critrios de sucesso tem na Acessibilidade, foram definidos 3 nveis de conformidade (WAI, 2014):

Nvel A Para que um stio Web obtenha o nvel de conformidade A tem que cumprir
todos os critrios de sucesso de nvel A definidos nas diretivas (ou apresentar uma verso
alternativa que o faa). Existem 25 critrios de sucesso de prioridade A.
Nvel AA Para que um sitio Web obtenha um nvel de conformidade AA tem que
cumprir cumulativamente todos os critrios de sucesso de nveis A e AA definidos nas
diretivas (ou apresentar uma verso alternativa que o faa). Existem 13 critrios de
sucesso de nvel AA (a que se somam os 25 do nvel A).
15

Tambm chamados de pontos de verificao nas WCAG 1.0.

29

 Nvel AAA Para que um stio Web obtenha um nvel de conformidade AAA tem
que cumprir cumulativamente todos os critrios de sucesso de nveis A, AA e AAA
definidos nas diretivas (ou apresentar uma verso alternativa que o faa). Existem 23
critrios critrios de sucesso de nvel AAA (a que se somam os 25 de nvel A e os 13
do nvel AA).

Alguns critrios de sucesso especificam um nvel de prioridade que poder mudar sob
determinadas condies que se encontram descritas nos documentos de especificao das
diretrizes.

2.3.4

Ferramentas de verificao de Acessibilidade

As ferramentas de avaliao automticas de Acessibilidade Web foram criadas para auxiliar os criadores de stios Web a interpretarem e aplicarem com mais facilidade as regras
de Acessibilidade. Trata-se de software que faz o varrimento do cdigo fonte das pginas
que constituem os stios Web, detetando falhas no cumprimento das diretrizes de Acessibilidade. Contudo, estas ferramentas no so capazes de averiguar se um stio Web cumpre
ou no as diretrizes de Acessibilidade na totalidade. Uma das principais crticas encontradas em estudos de Acessibilidade est relacionada com a falta de uma componente humana
da avaliao: a avaliao de um especialista capaz de validar, manualmente, problemas de
Acessibilidade fundamental e as WCAG 2.0 estabelecem requisitos de verificao humana.
Muitos programas geram avisos que permitem guiar a anlise manual.
Em julho de 2015, existiam 38 ferramentas de verificao automtica que suportavam as
diretrizes WCAG 2.0 e 16 que seguiam a verso WCAG 1.0 (W3C, 2015d). Neste estudo
foi usada o AccessMonitor, criado pela unidade Acesso da Fundao para a Cincia e a
Tecnologia do Ministrio da Educao e Cincia (FCT, 2015) por ser a ferramenta mais
usada em Portugal nos estudos relacionados com a Administrao Pblica Portuguesa. Mais
detalhes podero ser encontrados na seco 3.4 Ferramentas usadas na recolha de dados .

2.3.5

Legislao Portuguesa sobre Acessibilidade

Portugal foi o quarto Pas (logo aps o Canad, os EUA e a Austrlia) a adotar regras de Acessibilidade da informao disponibilizada na Internet pela Administrao Pblica
(Resoluo do Conselho de Ministros n.o 97/1999 ). Em 2001, introduziu-se a obrigao de
avaliao peridica dos stios Web dos organismos da administrao direta e indireta do
Estado (Resoluo do Conselho de Ministros n.o 22/2001 ). O processo de avaliao foi encomendado Universidade do Minho que produziu o documento Mtodo de Avaliao dos
Web Sites dos Organismos da Administrao Direta e Indireta do Estado (Amaral, Santos,
& Oliveira, 2003) que, inclua uma seco dedicada acessibilidade. Em 2007, nova legislao veio determinar que sejam adotados requisitos mnimos nas solues tcnicas adotadas
de forma a tornar os stios acessveis. No fundo, esta RCM exige que os stios Web puramente informativos devam ser estruturados de acordo com o nvel A, das WCAG e que os
30

stios Web que prestem servios de transao de informao precisam estar de acordo com
o nvel AA (Resoluo do Conselho de Ministros n.o 155/2007 ). A verso da WCAG no
explicitamente referida nesta resoluo, mas infere-se que se tratava da verso 1.0. Em 2011,
entrou em vigor legislao que obriga adoo de normas abertas nos sistemas informticos
do Estado (Lei n.o 36/2011 ). Esta legislao prev a criao do Regulamento Nacional de
Interoperabilidade Digital (RNID) que foi aprovado no ano seguinte (Resoluo do Conselho de Ministros n.o 91/2012 ). O RNID define as especificaes tcnicas de documentos a
adotar pela Administrao Pblica, entre os quais a obrigao de que os stios Web apresentem nveis de acessibilidade de acordo com as WCAG 2.0. Assim, desde 8 de fevereiro de
2013 todos os stios Web do Estado

16

esto obrigados a cumprir pelo menos o nvel A das

WCAG 2.0 e todos os stios que disponibilizam servios online esto obrigados a cumprir o
nvel AA das WCAG 2.0.

2.3.6

Estudos sobre Acessibilidade em Portugal

Os primeiros estudos conhecidos so as avaliaes externas levadas a cabo pela Accenture

em 2002 (1a edio) e 2003 (2a edio) aos stios das entidades da Administrao Pblica
(Accenture, 2003). Outro trabalho, denominado Relatrio Vector21 sobre Acessibilidade
Web em Portugal (21, 2008) teve como objetivo testar as acessibilidades Web em Portugal
atravs da anlise efetuada a um grupo de 200 stios Web pertencentes Administrao
Pblica, a lojas de comrcio eletrnico e a empresas.
Vrios trabalhos de investigao se tm dedicado a este tema, como por exemplo Avaliao da Acessibilidade dos Stios Web das Empresas Portuguesas (Martins, 2008), Avaliao
da Acessibilidade dos Stios Web das PMEs Portuguesas (Moura, 2009), A Acessibilidade
das Plataformas de e-learning em Instituies de Ensino Superior Pblico em Portugal: Contributos Iniciais (Toms, 2014), Estudo sobre o estado da Acessibilidade dos stios Web dos
estabelecimentos de ensino superior (Fernandes & Cardoso, 2013), Acessibilidade dos Contedos Web dos Municpios Portugueses (Fernandes & Cardoso, 2014), Acessibilidade dos
Contedos Web no Setor da Sade (Moreira, 2014) e Acessibilidade Web: Ponto de situao das Maiores Empresas Portuguesas (R. Gonalves, Pereira, Martins, Martins, & Branco,
2014). Os estudos mais recentes j recorreram s WCAG 2.0 e so relativamente bem fundamentados. Contudo, o universo escolhido por estes estudos est tipicamente focado num
setor especfico.

2.4

Qualidade

O conceito de qualidade algo de inerente ao ser humano (Antnio & Teixeira, 2007)
e tem evoludo ao longo dos tempos, acompanhado o desenvolvimento de vrias civilizaes
(Juran, 1995). um conceito complexo e multifacetado que pode ser encarado sob diversas
16
Esta obrigao aplica-se aos stios Web de rgos de soberania, servios da administrao pblica central,
incluindo institutos pblicos e servios desconcentrados do Estado; servios da administrao pblica regional;
e setor empresarial do Estado (de acordo com o artigo 2o da lei n.o 36/2011).

31

perspetivas. Existe uma grande diversidade de definies, pese embora as variaes entre elas
no sejam muito amplas. A ISO define qualidade como a totalidade das caractersticas de
uma entidade que lhe conferem a capacidade de satisfazer necessidades explcitas e implcitas
(ISO/IEC, 1994). Neste sentido, o presente estudo procura abordar os princpios e atributos
da qualidade que se encontram associados a produtos especficos como os stios Web.

2.4.1

Definio de Qualidade de Software

Atualmente no existe nenhuma norma especfica sobre atributos de qualidade de stios

Web. A norma internacional mais prxima a ISO/IEC 25010 (ISO/IEC, 2011) que sucedeu
ISO-9126-1.
A ISO/IEC 25010 define oito dimenses no seu modelo de qualidade de produtos de
Software. Estas dimenses Adequao Funcional, Fiabilidade, Efetividade, Usabilidade,
Manuteno, Segurana, Compatibilidade e Portabilidade possuem vrias subcaractersticas e sub-subcaractersticas e tm como objetivo garantir que um produto de software tenha
qualidade. Enquanto que o modelo de qualidade de produto pretende descrever caractersticas intrnsecas deste, a norma ISO/IEC 25010 define ainda um modelo de Qualidade em
Uso, pensado para analisar as caractersticas da interao concreta dos utilizadores (e no s)
com o produto. O modelo de Qualidade em Uso tem as seguintes caractersticas: Satisfao,
Efetividade, Gesto de Risco, Eficincia, Anlise de Contexto (ISO/IEC, 2011).

2.4.2

Critrios e Indicadores de Qualidade de stios Web

Os vrios estudos publicados sobre qualidade Web usam diferentes tipos de indicadores
que so distribudos por vrios critrios.
A. A. A. Carvalho (2006), no seu trabalho Indicadores de qualidade de sites educativos,
cita Beck (1997) que prope os seguintes critrios de qualidade, todos eles focados no teste
de contedos:

Autoridade: que avalia se existe um autor, se tem qualificaes para a temtica

abordada, se h uma pessoa ou entidade responsvel pelo stio Web e se conceituada
na rea, se h uma hiperligao com informao sobre o autor ou a entidade responsvel
pelo stio Web;
Rigor: ao verificar o grau de rigor da informao publicada (por exemplo, verifica se
a informao correta, est livre de erros e gralhas e se existe algum sistema de gesto
documental que garanta a integridade dos contedos publicados;
Objetividade: que avalia a imparcialidade dos contedos;
Atualizao: que testa se existe informao sobre quando os contedos foram criados,
publicados e atualizados;
32

 Cobertura temtica: que integra a diversidade de tpicos tratados e a profundidade

com que so abordados.

Assumindo que um stio Web um sistema de hipermdia que tem como objetivo a comunicao, Mich, Franch, & Gaio (2003) propem o modelo 2QCV3Q para testar a qualidade
de stios Web baseados nos seguintes critrios:
Identidade: Avalia como o design (que combina aspetos artsticos e funcionalidades
concretas) pode influenciar a perceo dos stios Web por parte dos utilizadores;
Contedo: Avalia at que ponto um stio Web cobre o seu domnio, assim como o
valor e originalidade dos contedos;
Servios: Avalia os servios oferecidos, a sua correo, grau de inovao e segurana;
Localizao: Avalia o grau de acessibilidade ao stio Web, como os endereos URL, e
a disponibilizao de ferramentas de interatividade com os visitantes;
Gesto: A gesto de um stio Web envolve, por exemplo, a atualizao de contedos
e uma correta monitorizao para evitar situaes de quebra de servio;
Usabilidade: Avalia os aspetos que permitem que o uso do stio Web seja pouco
exigente em termos de custo, tempo ou esforo cognitivo;
Exequibilidade: Avalia os recursos concretos necessrios ao desenvolvimento e manuteno dos stios Web.

Grassian (2000) afirma que para garantir que os recursos disponveis na Web tm valor
e so credveis, devem ser considerados os seguintes quatros critrios:
Contedo e Avaliao: Afere-se o propsito da pgina Web para compreender se
os contedos publicados so pertinentes e se esto adequados audincia. Procura
tambm avaliar o grau de compreenso do stio Web, se as hiperligaes usadas so
relevantes e compreensveis. Analisa tambm se os recursos multimdia esto incorporados corretamente.
Fonte e Data: Procura avaliar se os autores esto identificados e os seu contactos
esto publicados. Avalia tambm se as datas de produo, publicao, ltima reviso
dos contedos est disponvel.
Estrutura: Avalia se os documentos alvo de anlise seguem princpios de bom design
grfico, se os grficos tm uma funo que enriquem os contedos ou se so meramente
decorativos. Avalia tambm a existncia de elementos criativos (e a sua mais ou menos
valia), se existem preocupaes com os utilizadores com necessidades especiais (disponibilizando contedos alternativos em texto, por exemplo), e finalmente o grau de
usabilidade do stio.
33

 Outros: Avalia aspetos relacionados com a segurana da informao e a presena de

motores de busca internos ou externos que possam ajudar os utilizadores a encontrar
a informao que esto interessados.

Mardis & Ury (2003) tambm do destaque aos contedos, propondo os quatro critrios
que resumidamente se apresentam:

Propsito: Avalia o grau de relevncia e de iseno dos contedos;

Autoridade: Verifica se os contedos esto devidamente assinados pelos seus autores e
se estes tm experincia acadmica ou profissional sobre o assunto que possam reforar
a credibilidade dos contedos.
Confiabilidade (Reliability ): Analisa se as fontes bibliogrficas suportam as afirmaes que constam dos contedos; se no existem mensagens de stios em construo
ou manuteno e ausncia de erros ortogrficos, gramaticais, de pontuao.
Atualidade: Avalia se o stio contm informao suficiente que permita aferir que
os contedos permanecem atuais e pertinentes, como a data de criao ou de ltima
atualizao.

Nielsen (2001) prope a anlise heurstica como forma de avaliao de interfaces de

Software. Por extenso, hoje em dia usa-se esta tcnica aplicada e adaptada avaliao de
stios Web. Nielsen sugere ainda Mtricas de Usabilidade para serem aplicadas em testes
empricos com utilizadores reais. Muitos avaliadores constataram que a lista da Nielsen nem
sempre satisfaz as suas necessidades especficas, e que frequentemente requer orientaes
alternativas ou reinterpretao da descrio original da Nielsen.
Tendo como objetivo especifico a avaliao de qualidade dos stios Web, Garcia et al.
propem uma extenso ao mtodo de avaliao heurstica de Nielsen, a que chamaram gQuality. Observa-se a incluso de heursticas especficas: acessibilidade, interoperabilidade,
segurana e privacidade, veracidade e preciso de informao, agilidade no atendimento e
transparncia (Garcia, Maciel, & Pinto, 2005).
Como vimos anteriormente, em Portugal foi desenvolvido o Mtodo de Avaliao dos Web
Sites dos Organismos da Administrao Direta e Indireta do Estado sob pedido da Presidncia do Conselho de Ministros (Amaral et al., 2003). Este mtodo assenta em duas dimenses:
qualidade e maturidade. No que diz respeito qualidade, consideram-se os seguintes critrios: contedos, atualizao dos contedos, acessibilidade, navegabilidade e facilidades para
cidados com necessidades especiais. A maturidade avalia o estado de desenvolvimento do
stio Web, tendo por base critrios como a informao, a interao, interao bidirecional e
transao.
No prximo captulo apresenta-se a metodologia adotada neste estudo.

34

Captulo 3

Abordagem e Metodologia
Less is more."

Mies van der Rohe

Neste captulo apresenta-se a metodologia adotada. A seco 3.1 diz respeito ao faseamento do estudo. Seguidamente, na seco 3.2, descreve-se o modelo de avaliao que inclui
os critrios, indicadores e sistema de pontuao escolhido. Na seco 3.3 apresenta-se o universo do estudo, assim como os critrios de incluso e excluso das entidades avaliadas. Por
fim, na sco 3.4, explicitam-se as ferramentas de recolha de dados usadas.

3.1

Faseamento do Estudo

Este estudo foi dividido em cinco fases, como pode ser observado na figura 3.1. As fases
no so estanques entre si, obrigando, por vezes a reajustamentos transversais.
Nas primeiras duas fases, construiu-se um modelo de avaliao baseado em heursticas
que procura testar e avaliar stios Web, com base na pesquisa bibliogrfica, que teve como
objetivo reunir literatura sobre o contexto e metodologias usadas anteriormente. Na terceira
fase, definiu-se o universo de estudo, clarificando critrios de incluso e de excluso dos
organismos a avaliar. Por fim, procedeu-se aos testes, recolha de dados e consequente anlise
dos resultados.

1. Pesquisa
Bibliogrfica

2. Conceo
do Modelo de
Avaliao

3. Definio
do Universo
de Avaliao

4. Recolha
dos Dados de
Avaliao

Figura 3.1: Abordagem metodolgica seguida

35

5. Anlise de
Resultados

3.2

Conceo do Modelo de Avaliao

O modelo de avaliao usado neste estudo foi elaborado com base na literatura e na
legislao em vigor. Em estudos anteriores sobre stios da Administrao Pblica foi usado o
Mtodo de Avaliao dos Web Sites dos Organismos da Administrao Direta e Indireta do
Estado (Amaral et al., 2003), que atualmente apresenta indicadores obsoletos e que esto
focados na anlise de contedos em detrimento de outros indicadores atualmente importantes
que so privilegiados neste estudo. A metodologia agora proposta, apesar de no negligenciar
os contedos, d maior nfase forma como os contedos so publicados. Pretende-se que o
modelo de avaliao proposto possa contribuir para uma nova fase de estudos comparativos.

3.2.1

Critrios e Indicadores Adotados

Os critrios e indicadores usados neste estudo tm por base as contribuies de vrios autores: Olsina (1999), Amaral et al. (2003), Oliveira et al. (2003), Garcia et al. (2005), Nielsen
(2006), Souders (2007), King (2008), Kadlec (2012) e as recomendaes da Google sobre a
conceo de stios Web (Google, 2015a). Privilegiou-se indicadores universais, mensurveis
e objetivos.
Os contedos contribuem em 25% para a classificao final de cada stio, sendo que 75%
sero distribudos por critrios de Usabilidade, Acessibilidade e Eficincia. Os critrios de
Usabilidade e Eficincia so usados pela primeira vez num estudo deste gnero.
Os indicadores podem ser observados na tabela 3.1. Seguidamente explicitam-se cada um
destes indicadores, identificando o nmero do indicador entre parntesis (1.1, por exemplo).
1. Contedos
Este critrio contm indicadores relacionados com o mbito dos contedos disponveis
nos stios Web analisados. Avaliou-se se os stios Web dispunham de conjunto mnimo de
informao, como a da descrio da sua misso, estrutura orgnica e organizao (1.1) assim
como dos servios que prestam aos cidados (1.2).
Em nome da transparncia, os stios Web dos organismos tm-se tornado o local escolhido
para a publicao de informao. A Lei Quadro dos institutos pblicos (Lei n.o 3/2004 de
15 de janeiro) indica que os organismos devem disponibilizar uma pgina eletrnica, com
todos os dados relevantes, nomeadamente: a) Os diplomas legislativos que os regulam, os
estatutos e regulamentos internos; b) A composio dos corpos gerentes (...) e respetiva
remunerao; c) Os planos de atividades e os relatrios de atividades dos ltimos trs anos;
d) Os oramentos e as contas dos ltimos trs anos, incluindo os respetivos balanos; e)
O mapa de pessoal.. Da mesma forma, a lei que define o Subsistema de Avaliao do
Desempenho dos Servios da Administrao Pblica (SIADAP 1) indica que o Quadro de
Avaliao e Responsabilizao (QUAR) deve ser publicado na pgina eletrnica do servio
(no nmero 5 do artigo 10o da Lei n.o 66-B/2007 ). A este conjunto de documentao
36

Critrio

ID

Contedos (25%)

Usabilidade (25%)

Acessibilidade (25%)

Eficincia (25%)

1.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
1.9
1.10
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
2.10
3.1
3.2
3.3
4.1
4.2
4.3
4.4
4.5
4.6
4.7
4.8
4.9
4.10

Indicador
Descrio do organismo:
(a) Misso, estrutura e organizao
(b) Descrio dos servios prestados (se aplicvel)
(c) Instrumentos de gesto
Contactos fsicos e eletrnicos
Verses noutros idiomas
Textos segundo o acordo ortogrfico
Contedos atuais e indicao da ltima atualizao
Existncia de arquivo de documentos
Existncia e relevncia de motor de busca interno
Aviso de cookies
Design e navegao consistente
Design adaptvel (Responsive Design)
Carregamento at 2 segundos
URLs nicos e imutveis
Funcionalidade do boto Retroceder
Ausncia de ligaes invlidas/quebradas
Ligaes mudam de cor quando visitados
Ausncia plugins
Tamanho de letra legvel
Acesso com ou sem www (ou https)
Nvel Acessibilidade A (WCAG 2.0)
Nvel Acessibilidade AA (WCAG 2.0)
Nvel Acessibilidade AAA (WCAG 2.0)
Uso de tcnicas de SEO
HTML Otimizado
Imagens Otimizadas
CSS Otimizado
Javascript Otimizado
Pedidos HTTP e DNS reduzidos
Cabealhos HTTP com data de validade
Carregamento de Javascript e CSS adequado
Uso de compresso
Baixo tempo de resposta do servidor

Peso

Medidas

10%
10%
10%
10%
10%
10%
10%
10%
10%
10%
10%
10%
10%
10%
10%
10%
10%
10%
10%
10%
50%
30%
20%
10%
10%
10%
10%
10%
10%
10%
10%
10%
10%

Semforo
S/N
Semforo
S/N
Semforo
S/N
Semforo
Semforo
Semforo
Semforo
Semforo
Semforo
Semforo
Semforo
S/N
S/N
S/N
S/N
S/N
S/N
Semforo
Semforo
Semforo
Semforo
Semforo
Semforo
Semforo
Semforo
Semforo
Semforo
Semforo
S/N
Semforo

Tabela 3.1: Pesos e Medidas usados para avaliao dos stios Web

chama-se Instrumentos de Gesto (1.3).

A publicao dos contactos dos organismos (1.4) foi analisada porque se trata da principal
informao procurada pelos cidados. Este indicador referido no Guia de Boas Prticas na
construo de web sites da administrao direta e indireta do estado (GBP) (Oliveira et al.,
2003).
Verificou-se tambm se a existncia de verses de contedos noutros idiomas (1.5) e
a adequao dos contedos ao Acordo Ortogrfico (1.6). O Acordo Ortogrfico de 1990
(AO1990) entrou em vigor em Portugal em maio de 2009, com um perodo de transio de
6 anos que terminou em maio de 20151 .
Seguidamente aferiu-se o grau de atualizao dos contedos (1.7) dado que estes afetam
1
Em Portugal, o Acordo foi aprovado pela Resoluo da Assembleia da Repblica n.o 35/2008 , tendo sido
ratificado pelo Decreto do Presidente da Repblica n.o 52/2008 . O perodo de transio comeou a contar
aps o depsito do instrumento de ratificao que foi efetuado em 13 de maio de 2009, de acordo com o Aviso
255/2010 .

37

a utilidade e credibilidade dos contedos. Este indicador sugerido no GBP.

A gesto documental tem um interesse superior em stios pblicos dado que estes tm
tendncia para disponibilizar grandes quantidades de documentao, como legislao, por
exemplo. Assim sendo, verificou-se a existncia de um histrico ou arquivo de documentos
(1.8), pois o GPB refere que qualquer documento que tenha sido substitudo por outro ou
que tenha expirado o seu tempo de vida pode continuar a ter utilidade para os visitantes
dos Web sites. Este material deve ser transferido para uma zona de arquivo com acesso por
links especficos.
Dado que muitos stios publicam grandes quantidades de informao, pode no ser fcil
aos utilizadores encontrarem a informao que procuram. Por isso, surge a necessidade da
existncia de um motor de busca interno (1.9). Neste indicador verificou-se a existncia e
a utilidade do motor de busca interno, isto , at que ponto devolve resultados relevantes e
pertinentes.
Finalmente, aferiu-se a utilizao de cookies e o aviso da sua utilizao (1.10). Os cookies
so ficheiros que os stios Web podem colocar nos equipamentos do utilizador para que
o possam identificar e a partir da disponibilizar determinados servios ou personalizar a
experincia de utilizao. Os cookies podem ser de sesso ou permanentes. Os cookies de
sesso so temporrios, sendo apagados da memria do equipamento quando os utilizadores
abandonam o stio Web. J os cookies permanentes ficam armazenados de forma perene nos
equipamentos do utilizador e so usados para identificar o utilizador de cada vez que ele
visita o stio. Uma vez que a utilizao de cookies pode afetar a privacidade dos utilizadores,
a Diretiva 2009/136/CE , transporta pela Lei n.o 46/2012 afirma que o armazenamento de
informaes e a possibilidade de acesso informao armazenada no equipamento terminal de
um assinante ou utilizador apenas so permitidos se estes tiverem dado o seu consentimento
prvio (artigo 5).
2. Usabilidade
O critrio Usabilidade introduzido para aferir a forma como os contedos so apresentados. Os indicadores so baseados nas heursticas propostas por Nielsen (1999, 2006).
Esto relacionados com os principais problemas encontrados por Nielsen em milhares de
testes empricos realizados durante vrios anos.
Robins & Holmes (2008) concluiu que uma esttica cuidada faz aumentar os nveis de
credibilidade dos contedos apresentados e King (2008) concluiu que um design profissional
facilita a comunicao e a prpria navegao. Os fatores que esto na base de um bom design
de comunicao ultrapassam o mbito desta dissertao por motivos de conteno de espao
de informao a analisar de modo a ser exequvel. Ainda assim, na dissertao aferiu-se se
o design do stio Web apresenta uma estrutura consistente ao longo das vrias pginas (2.1)
que facilita a navegao.
O design adaptvel (responsive design) um conjunto de tcnicas que permite que os
38

stios Web se adaptem dimenso dos ecrs dos dispositivos que acedem ao stio Web. Dada
a multiplicidade de dispositivos que os cidados usam hoje em dia para aceder Web (entre
os quais se incluem os smartphones e os tablets) este requisito indispensvel (Kadlec, 2012).
Desta forma, verifica-se se os stios esto preparados para o oferecer a melhor experincia
possvel neste domnio (2.2).
Por outro lado, o tempo de carregamento das pginas um fator indispensvel na perceo
de qualidade de um stio Web e muitos visitantes abandonam os stios Web mesmo antes de
estes terem carregado completamente (Nielsen, 2006). Os visitantes esto dispostos a esperar
apenas alguns segundos pelo carregamento das pginas (Nielsen, 2010) e este valor tem vindo
a diminuir ao longo do tempo. Desde 2010, a Google considera o tempo de carregamento
da pgina como um dos critrios de relevncia dos stios Web (Google, 2010). Em 2013, o
tempo mdio de carregamento de Stios Web era entre 7 a 8 segundos (Google, 2013), valor
influenciado pelos acessos feitos atravs de equipamentos mveis que no 2o semestre de 2014
representavam cerca de 48% do trfego total (ClickZ, 2015).
Em sintonia com as recomendaes da Akamai (2009)2 , mediu-se o tempo de carregamento da primeira pgina (2.3), verificando se no excedia os 2 segundos.
Outro problema frequente diz respeito ao uso inapropriado de endereos de recursos Web
Uniform Resource Locator (URL). Muitas vezes, os recursos no so identificados por um
endereo inequvoco, o que causa confuso a muitos utilizadores. um problema frequente,
sobretudo em pginas geradas automaticamente. Pretendeu-se avaliar se a cada recurso
corresponde um s endereo que possa ser livremente partilhado e disponibilizado atravs
de apontadores (2.4) Por outro lado, avalia-se se os URLs so imutveis. Por exemplo, o
endereo http://tecnico.ulisboa.pt/pt/organizacao/ acrescenta valor ao endereo, ao
mesmo tempo que no est dependente de nenhuma tecnologia. Isto importante porque
os endereos no devem mudar ao longo do tempo sob pena de perderem relevncia (W3C,
1999). Infelizmente prtica comum alterar bruscamente a tecnologia que suporta um stio
Web o que poder modificar de forma brusca todos os endereos das pginas (R. M. Carvalho, 2008). Com esta abordagem, para alm de no se ter em considerao os eventuais
marcadores de contedos (favoritos) por parte dos utilizadores, tambm reduz a pontuao
atribuda pelos algoritmos usados por motores de busca que usam o nmero de apontadores
externos como indicador de relevncia de uma determinada pgina.
Segundo Nielsen (2006), a segunda funcionalidade mais usada de um navegador Web
o boto Retroceder. Infelizmente, a quebra desta funcionalidade ainda uma realidade
em algumas pginas, o que provoca um grande impacto na qualidade de navegao dos
utilizadores. Neste indicador, avaliou-se se o boto Retroceder est sempre disponvel, no
havendo quebras na navegao (2.5).
Avaliou-se a existncia de hiperligaes invlidas/quebradas (2.6), ligaes que por erro
no conduzem a nenhum recurso e que por isso pode deixar os utilizadores confusos. Avaliou2

Google recomendou um limite mximo de 1 segundo (Google, 2015e)

39

se tambm se as hiperligaes mudam de cor quando so seguidas (2.7), uma heurstica

clssica porque ajuda na navegao. Sempre que um utilizador segue uma ligao para
uma nova pgina ou documento, a cor da ligao original dever mudar para proporcionar
informao de retorno ao utilizador, caso este volte pgina anterior. Esta funcionalidade,
trivial de implementar, muitas vezes negligenciada pelos autores dos stios Web.
Avaliou-se tambm se os stios Web usavam plugins (2.8). Os plugins permitem aos navegadores disponibilizar alguns tipos de contedo especial na Web, como por exemplo Java,
Flash ou Silverlight. Estas tecnologias no so padro Web e por isso no so interpretadas nativamente pelos navegadores. Numa fase inicial da Web, os plugins desempenharam
um papel importante uma vez que permitiam acrescentar funcionalidades adicionais quelas
que seriam possveis usando tecnologias nativas (HTML, CSS e javascript por exemplo).
Contudo, hoje em dia, a maioria dos contedos que necessitavam de plugins (vdeo, udio,
grficos avanados, entre outros) podem ser concebidos usando tecnologias nativas, que entretanto evoluram e se sofisticaram (Google, 2015b). Desta forma, os plugins so atualmente
desaconselhados porque so apontados muitas vezes como a causa de dificuldades de uso,
gerador de instabilidade de sistemas e de incidentes de segurana. Por outro lado, uma
vez que a maioria dos equipamentos mveis no suporta plugins, o acesso aos contedos
inviabilizado.
Muitas vezes os contedos Web so difceis de ler porque o tamanho da letra demasiado
pequeno. Isto pode acontecer porque a definio do tamanho da fonte feita de forma
esttica, o que no permite a adaptao automtica do tamanho da letra em funo do
tamanho do ecr do utilizador. Isto particularmente relevante quando a leitura feita em
equipamentos cujo ecr tem dimenses reduzidas (telemveis e tablets por exemplo). Desta
forma, as boas prticas recomendam que o tamanho da letra se possa adaptar ao tamanho
do ecr. Estas recomendaes podem ser encontradas em Google (2015g) e a fundamentao
terica pode ser encontrado em W3C (2015c). Tendo por base estas recomendaes avaliouse se os tamanhos dos tipos de letra usados pelos stios Web eram os adequados e permitiam
uma boa leitura (2.9).
Finalmente, aferiu-se se os stios Web permitiam o acesso quer atravs do subdomnio
www, quer sem este (2.10). possvel que um domnio exemplo.pt seja acessvel quer atravs
do endereo http://www.exemplo.pt ou http://exemplo.pt.
Devido a uma tendncia de simplificao ou por questes de marketing, muitos stios
Web tm optado por abdicar de usar o subdomnio www. Esta prtica tem gerado discusso
porque apesar da divulgao do endereo ser mais simples, tal introduz algumas desvantagens
que podem ter algum impacto na experincia de utilizao, como por exemplo o aumento do
tempo de resposta do servidor ou o condicionamento do uso de tcnicas de balanceamento
de carga em stios de grande dimenso (YesWWW, 2015).
Independentemente da opo legtima dos programadores por uma das alternativas, o
stio dever ser acessvel por ambas as formas, j que tecnicamente no h nenhum motivo
para que no haja um encaminhamento. Neste estudo verificmos se os stios permitiam o
40

acesso com ou sem o subdomnio www (2.10).

3. Acessibilidade
Para testar a Acessibilidade usou-se os nveis de conformidade das recomendaes WCAG
2.0 por serem norma internacional. Como foi anteriormente abordado na seco 2.3.5, e de
acordo com o Regulamento Nacional de Interoperabilidade Digital (RNID) todos os stios
Web da Administrao Pblica esto obrigados a cumprir pelo menos o nvel A das WCAG
2.0. Os stios que disponibilizam servios on-line esto ainda obrigados a disponibilizar o
nvel AA.
A verificao com os nveis A (3.1), AA (3.2) e AAA (3.3) foi realizada em duas pginas
de cada stio (pgina inicial e uma pgina interior).
Apesar de no contribuir com classificao, verificou-se tambm a afixao de informao
sobre acessibilidade Web.
4. Eficincia
O mtodo de avaliao proposto por Amaral et al. (2003) sugere que se verifique se os
stios Web esto indexados em motores de busca. Tal fazia sentido numa poca onde cabia
aos responsveis pela gesto dos stios o registo manual nos respetivos motores. Tal deixou de
fazer sentido uma vez que a indexao e o clculo do respetivo posicionamento na pgina de
resultados (SERP) passou a estar dependente da relevncia atribuda s pginas, calculada
por algoritmos que processam dados recolhidos diariamente por automatismos dos respetivos
motores.
As etiquetas de meta-informao continuam a desempenhar um papel importante na
classificao de stios Web. Se estas informaes no existirem, os motores de busca iro
cri-la com base nos contedos que encontrarem. Contudo recomendvel definir quais as
ideias-chave de cada pgina, auxiliando a tarefa dos motores de busca para que estes possam
indexar informao relevante 3 .
O primeiro indicador analisado foi a utilizao de Search Engine Optimization (SEO)
(4.1), ou Otimizao para Motores de Busca. O SEO refere-se ao trabalho de programao e otimizao necessrio em qualquer tecnologia Web que permite a correta indexao
de contedos pelos motores de busca utilizados pelos utilizadores da Internet. Aferiu-se a
existncia e uso das etiquetas de descrio dos contedos e das palavras-chave. A descrio
do contedo deve ser exclusivo em cada pgina, procurando no exceder as 250 palavras.
Tambm foi verificado o uso de ttulos de pginas relevante e palavras-chave relacionadas
com o contedo.
3
A existncia de meta-informao no garantia de que os mecanismos dos motores de busca indexem
esta informao, estando isso dependente de uma anlise de credibilidade. Os mecanismos usados pelos
motores de busca so cada vez mais sofisticados e muitos deles realizam anlises semnticas aos contedos
para identificar os pargrafos que melhor os sintetizam.

41

A melhoria e a otimizao da performance realizada tipicamente a nvel dos servidores (backend ) usando tcnicas como otimizao de bases de dados ou uso de arquiteturas
distribudas. Contudo, h tambm que prestar ateno otimizao que pode ser realizada
a nvel dos recursos que funcionam do lado do utilizador (frontend ). Como refere Souders
(2008) do tempo total necessrio para carregamento da pgina inicial do Google, apenas
9% gasto no processamento no lado do servidor. Os outros 91% esto relacionados com
o tempo usado pelo navegador para processar a pgina e apresent-la ao utilizador. Assim
sendo, a otimizao de frontend crucial para reduzir o tempo de carregamento das pginas,
aumentar a interatividade e melhorar a experincia de utilizao.
Mediu-se o grau de otimizao dos contedos HTML (4.2), Cascading Style Sheets (CSS)
(4.4) e javascript (4.5) das pginas, sobretudo ao nvel do cdigo desnecessrio e redundante.
Outro problema frequentemente encontrado em stios Web diz respeito ao uso de imagens
que no esto otimizadas (4.3), isto , so disponibilidades em tamanhos superiores ao necessrio, cabendo ao navegador redimension-las, consumindo muito tempo quando estas se
apresentam desproporcionalmente grandes.
medida que o nmero de recursos nas pginas Web aumenta, aumenta tambm os
nmeros de pedidos HTTP (4.6) ao servidor e com isto, o tempo total de carregamento
tambm aumenta. Existem tcnicas que permitem reduzir o nmero de pedidos HTTP e
tambm o nmero de pedidos de resoluo de endereos DNS. Estas tcnicas passam, por
exemplo, pela agregao de vrios ficheiros (Coyier, 2009).
Outro indicador analisado diz respeito ao uso de cabealhos HTTP com especificao de
data de validade (4.7). Quando um utilizador visita uma determinada pgina de um stio
Web, o navegador descarrega e armazena em cache os recursos dessa pgina. Na prxima vez
que o mesmo utilizador visitar a pgina, o navegador verifica se algum dos recursos pode ser
servido diretamente a partir da sua memria cache, evitando pedidos HTTP desnecessrios
e demorados. O navegador baseia a sua deciso na data de validade do cabealho: se esta
est no futuro, ento o recurso carregado a partir da memria em cache. Caso contrrio,
isto , se no h data de validade (ou a mesma do passado), o navegador processa um novo
pedido HTTP.
De cada vez que um utilizador acede a uma pgina Web, o navegador inicia o processo
necessrio para apresentar essa pgina. Este processo comea com os pedidos de recursos
(HTML, imagens, CSS, Javascript e outros), a que se segue a descarga desses recursos, o seu
processamento e apresentao. Todos estes recursos tm que ser devidamente entrelaados
e combinados para que possam ocupar o seu respetivo lugar na pgina Web quando esta
for apresentada ao utilizador. O navegador comea por processar o documento HTML, que
funciona como um esqueleto volta do qual todos os outros recursos sero acomodados.
Contudo, se durante o processamento do documento HTML, o navegador encontrar determinado tipo de recursos javascript ou CSS, ter que interromper o processamento do HTML,
descarregar os elementos javascript ou CSS primeiro e voltar ao processamento anterior.
Este processo tem impacto na velocidade como a pgina apresentada, por isso vrias re-

42

comendaes so feitas no sentido de evitar o uso de recursos javascript ou CSS com estas
caractersticas como sugerido em Google (2015f). Sendo assim, avaliou-se se os recursos de
javascript e CSS esto adequadamente posicionados para que no atrasem o carregamento
da pgina (4.8).
Uma outra forma de otimizao consiste na utilizao de compresso gzip (4.9), uma
funcionalidade que todos os navegadores do mercado suportam atualmente. O modo de
compresso gzip comprime todos os pedidos HTTP realizados, permitindo uma poupana de
at 90% do trfego transmitido, possibilitando aumentar a velocidade de carregamento das
pginas (Google, 2015c). Neste indicador avaliou-se se este modo est a ser usado.
Finalmente, o ltimo teste diz respeito ao tempo de resposta do servidor (4.10). Ao
contrrio do indicador 2.3 que mede o tempo total de carregamento de uma pgina (que
inclui a transferncia e processamento de todos os elementos que a compem), neste teste
pretendeu-se aferir se o tempo de resposta do servidor inferior a 200 milissegundos (ms).
O tempo de resposta do servidor compreende o tempo que necessrio para que o servidor
responda aos pedidos que lhe so feitos. So inmeros os fatores que contribuem para uma
resposta lenta, como a falta de otimizao de base de dados, rotas inadequadas ou a escassez
de recursos computacionais (Google, 2015d).
Os critrios de eficincia escolhidos podem ser aprofundados em Souders (2007) e em
King (2008).

3.2.2

Pesos de Critrios e de Indicadores

Para simplificar o modelo de avaliao optou-se por atribuir o mesmo peso aos quatro
critrios (25%) e aos indicadores (10% cada), com exceo dos indicadores de acessibilidade
(indicadores 3.1, 3.2 e 3.3) os quais se atribuiu um peso de 50% ao nvel A, 30% ao nvel AA
e 20% ao nvel AAA, seguindo a prtica de estudos anteriores.
A atribuio do mesmo peso a todos os indicadores evita uma avaliao subjetiva da
importncia relativa de cada um deles. Na realidade, seria possvel destacar indicadores,
mas tal no deixaria de ser subjetivo e de difcil justificao. Por exemplo, poder-se-ia
argumentar que o indicador 2.1 - Navegao consistente deveria ter peso superior, mas
para tal um outro indicador teria que ceder o seu peso e ser renegado para segundo plano,
o que se pretende evitar. A sntese dos pesos de critrios poder ser encontrada na tabela
3.1.

3.2.3

Medidas

No que diz respeito s medidas adotadas, usaram-se dois tipos de medidas: Binria
(Sim/No) e Semforo. Para as medidas do tipo Sim/No, a verificao do indicador contribui com a totalidade do seu peso (100%), sendo que a no verificao do indicador ter
como classificao o valor nulo. No caso dos indicadores do tipo Semforo, a verificao
de semforo verde contribui com a totalidade do peso do indicador (100%), o amarelo com
43

metade (50%) e vermelho, zero (0%).

Os indicadores que so avaliados com recursos ao tipo de medida Sim/No so todos
aqueles onde possvel aferir, com clareza e objetividade a sua verificao. Por exemplo, se
um stio apresentar erros ortogrficos (qualquer que seja o seu nmero), ter pontuao nula
neste aspeto.
As medidas do tipo Semforo so usadas para a maioria dos indicadores porque permitem
flexibilidade. Por cada indicador foram definidos critrios especficos de atribuio de cada
um dos 3 nveis de pontuao. Por exemplo, esta opo foi tomada tendo em considerao
que caso um stio Web no passe toda a bateria de testes WGAG 2.0 para prioridade 1 possa,
ainda assim, obter classificao. Tal no aconteceria se esta medida fosse do tipo Sim/No,
onde o chumbo de um dos testes levaria perda completa de classificao.

3.2.4

Detalhes de atribuies de pontuaes por indicador

Indicador 1.1 - Descrio do organismo: Misso, estrutura e organizao

Tipo de anlise: Anlise manual.
Medida de Indicador: Semforo.
Publicao da viso, estrutura e organizao Verde
Apenas a misso e estrutura do organismo apresentada Amarelo
Nenhum dos elementos referidos (viso, estrutura e organizao) apresentado Vermelho

Indicador 1.2 - Descrio dos servios prestados (se aplicvel)

Tipo de anlise: Anlise manual.
Medida de Indicador: S/N.
Publicao, de forma clara, dos servios prestados pela entidade Sim
Os servios prestados no so publicados ou no so anunciados claramente como tal No

Indicador 1.3 - Instrumentos de gesto

Tipo de anlise: Anlise manual.
Medida de Indicador: Semforo.
Publicao dos diplomas legislativos que regulam os organismos, estatutos, regulamento interno, composio dos corpos gerentes, planos de atividades, relatrios de atividades dos ltimos 3 anos, oramentos e contas dos ltimos 3 anos, mapa de pessoal, QUAR Verde
Publicao de pelo menos 4 destes documentos Amarelo
Nenhum destes documentos publicado Vermelho

Indicador 1.4 - Contactos fsicos e eletrnicos

Tipo de anlise: Anlise manual.

44

Medida de Indicador: S/N.

Publicao dos endereos postais, telefones e endereos de correio eletrnico (ou forma equivalente de
contacto via Internet) Sim
Ausncia de contactos ou apenas alguns canais publicados No

Indicador 1.5 - Verses noutros idiomas

Tipo de anlise: Anlise manual.
Medida de Indicador: Semforo.
Existncia de verso do stio num outro idioma, com contedos estticos (como a viso, organizao e
estrutura) e dinmicos (como notcias e novidades) completamente traduzidos Verde
Existncia de verso do stio num outro idioma, mas cujos contedos esto apenas parcialmente traduzidos Amarelo
Ausncia de verso num outro idioma para alm do portugus Vermelho

Indicador 1.6 - Textos segundo o acordo ortogrfico

Tipo de anlise: Anlise automtica usando o Corretor ortogrfico e sinttico Priberam. Foram
analisados 9000 carateres aleatrios do stio Web para testar a ausncia de erros ortogrficos.
Medida de Indicador: S/N.
Todos os textos seguem o Acordo Ortogrfico (100%) Sim
Pelo menos alguns textos esto de acordo com a grafia segundo grafia anterior No

Indicador 1.7 - Contedos atuais e indicao da ltima atualizao

Tipo de anlise: Anlise manual.
Medida de Indicador: Semforo.
Contedos com data inferior a 1 ms e com indicao da ltima atualizao Verde
Contedos com data inferior a 1 ms ou sem indicao da ltima atualizao Amarelo
Contedos sem data nem indicao da ltima atualizao Vermelho

Indicador 1.8 - Existncia de arquivo de documentos

Tipo de anlise: Anlise manual.
Medida de Indicador: Semforo.
Existncia de arquivos de documentos completo Verde
Arquivo de documentos com falta de documentos (por exemplo, ausncia de ltimos relatrios)
Amarelo
Sem arquivo de documentos Vermelho

Indicador 1.9 - Existncia e relevncia de motor de busca interno

Tipo de anlise: Anlise manual. So realizadas pesquisas por contactos e por expresses
documentais que se sabem que existem.

45

Medida de Indicador: Semforo.

Existncia de um motor de busca acessvel que devolva resultados relevantes e adequados ao contexto
Verde
Existncia de um motor de busca cujos resultados so parcialmente relevantes, por exemplo, apresentando os resultados por uma ordem no priorizada Amarelo
Ausncia de um motor de busca ou falta de resultados pertinentes, caso exista Vermelho

Indicador 1.10 - Aviso de cookies

Tipo de anlise: Anlise manual e aferio do tipo de cookies usando a ferramenta automtica
Privacy Badger.
Medida de Indicador: Semforo.
Publicao do aviso de cookies quando so usados (ou ausncia de publicao de aviso quando no
usado nenhum tipo de cookie) Verde
Ausncia de aviso de cookies, mas so usados apenas cookies estritamente necessrios ao funcionamento
do stio (de sesso por exemplo; no se incluem neste grupo cookies permanentes ou analticos)
Amarelo
Ausncia do aviso de cookies quando so usados Vermelho

Indicador 2.1 - Design e navegao consistente

Tipo de anlise: Anlise manual.
Medida de Indicador: Semforo.
Design consistente ao longo das vrias pginas. possvel navegar no stio de forma consistente
usando menus que indicam claramente as pginas disponveis e mostram contedo de forma linear (e
no encaminham para recursos externos ao stio por exemplo) Verde
Design consistente com pequenas falhas (como uso de popups) que no afetam a navegao Amarelo
Design inconsistente e/ou confuso com interfaces ou com navegao no linear ao longo do stio (por
exemplo, uso de um menu principal com apontadores para vrios recursos externos ao stio em anlise
Vermelho

Indicador 2.2 - Design adaptvel (Responsive Design)

Tipo de anlise: Anlise automtica usando a ferramenta Google Mobile-Friendly Test.
Medida de Indicador: Semforo.
Design adaptvel Verde
Existncia de vero alternativa para dispositivos mveis Amarelo
Design no adaptvel Vermelho

Indicador 2.3 - Carregamento at 2 segundos

Tipo de anlise: Anlise automtica usando a ferramenta Pingdom Website Speed Test (tendo
como referncia a opo Stockholm).
Medida de Indicador: Semforo.

46

 Se o tempo de carregamento total da pgina for inferior a 2 segundos Verde

Se o tempo de carregamento total da pgina for compreendido entre 2 e 4 segundos Amarelo
Se o tempo de carregamento total da pgina for superior a 4 segundos Vermelho

Indicador 2.4 - URLs nicos e imutveis

Tipo de anlise: Anlise manual.
Medida de Indicador: Semforo.
Uso de URLs semnticos que ocultam a tecnologia usada (exemplo: http://tecnico.ulisboa.pt/pt/organizacao/)
Verde
Uso de URLs semnticos que mostram a tecnologia usada, como php, asp, aspx, etc (exemplo:
http://www.portugal.gov.pt/pt/os-ministerios/primeiro-ministro.aspx) Amarelo
Uso URLs dinmicos e/ou tcnicos Vermelho

Indicador 2.5 - Funcionalidade do boto Retroceder

Tipo de anlise: Anlise manual.
Medida de Indicador: S/N.
O boto retroceder funciona sem problemas em todas as pginas (no afetado por uso de scripts por
exemplo). possvel realizar uma navegao fluda e regressar sempre com o boto Retroceder Sim
No possvel usar o boto retroceder em pelo menos uma situao devido presena de frames ou
popups No

Indicador 2.6 - Ausncia de ligaes invlidas/quebradas

Tipo de anlise: Anlise automtica recorrendo ferramenta o W3C Link Checker (opo de
busca recursiva de 3 nveis).
Medida de Indicador: S/N.
O stio no apresenta nenhuma ligao quebrada Sim
O stio apresenta pelo menos uma ligao quebrada No

Indicador 2.7 - Hiperligaes mudam de cor quando visitadas

Tipo de anlise: Anlise manual.
Medida de Indicador: S/N.
As hiperligaes mudam de cor quando seguidas Sim
As hiperligaes no mudam de cor quando seguidas No

Indicador 2.8 - Ausncia de plugins

Tipo de anlise: Anlise automtica usando a ferramenta Google PageSpeed Insights.
Medida de Indicador: S/N.
O stio no usa nenhum plug-in como por exemplo Flash, Silverlight ou Java Sim
O stio usa algum tipo de plug-in No

47

Indicador 2.9 - Tamanho de letra legvel

Tipo de anlise: Anlise automtica usando a ferramenta Google PageSpeed Insights.
Medida de Indicador: S/N.
O stio apresenta tamanho de letra legvel (mesmo em dispositivos mveis) Sim
O stio apresenta no apresenta tamanho de letra legvel No
O resultado Verde/Vermelho dado automaticamente pela ferramenta.

Indicador 2.10 - Acesso com ou sem www (ou https)

Tipo de anlise: Anlise manual.
Medida de Indicador: S/N.
O stio permite o acesso quer atravs do subdomnio www, quer sem este (e de igual forma permite o
acesso http ou https, nos casos onde tal aplicvel) Sim
O stio apenas acessvel atravs de um endereo especfico (com ou sem o subdomnio) ou com ou
sem https No

Indicador 3.1 - Nvel de Acessibilidade A (WCAG 2.0)

Tipo de anlise: Anlise automtica usando a ferramenta AcessMonitor.
Medida de Indicador: Semforo.
A anlise de duas pginas (pgina inicial e uma pgina interior com contedos, preferencialmente
a pgina de contactos) passa na bateria de testes de nvel A ou tem uma cotao mdia de ndice
AccessMonitor superior a 5 Verde
Pelo menos uma das pginas analisadas (pgina inicial e uma pgina interior com contedos, preferencialmente a pgina de contactos) passa na bateria de testes de nvel A ou tem uma cotao mdia de
ndice AccessMonitor 5 ou superior Amarelo
Nenhuma das duas pginas (pgina inicial e uma pgina interior com contedos, preferencialmente
a pgina de contactos) passa na bateria de testes de nvel A ou tem uma cotao mdia de ndice
AccessMonitor 5 ou superior Vermelho

Indicador 3.2 - Nvel de Acessibilidade AA (WCAG 2.0)

Tipo de anlise: Anlise automtica usando a ferramenta AcessMonitor.
Medida de Indicador: Semforo.
A anlise de duas pginas (pgina inicial e uma pgina interior com contedos, preferencialmente a
pgina de contactos) passa na bateria de testes dos nveis A e AA e tem uma cotao mdia de ndice
AccessMonitor 7.5 ou superior Verde
Pelo menos uma das pginas analisadas (pgina inicial e uma pgina interior com contedos, preferencialmente a pgina de contactos) passa na bateria de testes dos nveis A e AA ou tem uma cotao
mdia de ndice AccessMonitor 7.5 ou superior Amarelo
Nenhuma das duas pginas (pgina inicial e uma pgina interior com contedos, preferencialmente a
pgina de contactos) passa na bateria de testes de nvel A e AA ou tem uma cotao mdia de ndice
AccessMonitor inferior a 7.5 Vermelho

48

Indicador 3.3 - Nvel de Acessibilidade AAA (WCAG 2.0)

Tipo de anlise: Anlise automtica usando a ferramenta AcessMonitor.
Medida de Indicador: Semforo
A anlise de duas pginas (pgina inicial e uma pgina interior com contedos, preferencialmente a
pgina de contactos) passa na bateria de testes dos nveis A, AA e AAA e tem uma cotao mdia de
ndice AccessMonitor 9 ou superior Verde
Pelo menos uma das pginas analisadas (pgina inicial e uma pgina interior com contedos, preferencialmente a pgina de contactos) passa na bateria de testes dos nveis A, AA e AAA ou tem uma
cotao mdia de ndice AccessMonitor 9 ou superior Amarelo
Nenhuma das duas pginas (pgina inicial e uma pgina interior com contedos, preferencialmente a
pgina de contactos) passa na bateria de testes de nvel A, AA e AAA ou tem uma cotao mdia de
ndice AccessMonitor inferior a 9 Vermelho

Indicador 4.1 - Uso de tcnicas de SEO

Tipo de anlise: Anlise automtica usando a ferramenta SEO Analyzer Check (SEO Centro).
Medida de Indicador: Semforo.
O stio apresenta pginas com ttulo, meta descrio, palavras-chave relevantes e mapa do stio Web
(sitemap) Verde
O stio apresenta pginas com ttulo, meta descrio e palavras-chave incompletas Amarelo
O stio apresenta pginas sem meta descrio e sem palavra-chave relevantes Vermelho

Indicador 4.2 - HTML Otimizado

Tipo de anlise: Anlise automtica usando a ferramenta Google PageSpeed Insights.
Medida de Indicador: Semforo.
O resultado Verde/Amarelo/Vermelho dado automaticamente pela ferramenta.

Indicador 4.3 - Imagens Otimizadas

Tipo de anlise: Anlise automtica usando a ferramenta Google PageSpeed Insights.
Medida de Indicador: Semforo.
O resultado Verde/Amarelo/Vermelho dado automaticamente pela ferramenta.

Indicador 4.4 - CSS Otimizado

Tipo de anlise: Anlise automtica usando a ferramenta Google PageSpeed Insights.
Medida de Indicador: Semforo.
O resultado Verde/Amarelo/Vermelho dado automaticamente pela ferramenta.

Indicador 4.5 - Javascript Otimizado

Tipo de anlise: Anlise automtica usando a ferramenta Google PageSpeed Insights.
Medida de Indicador: Semforo.

49

O resultado Verde/Amarelo/Vermelho dado automaticamente pela ferramenta.

Indicador 4.6 - Pedidos HTTP e DNS reduzidos

Tipo de anlise: Anlise automtica usando a ferramenta Yslow.
Medida de Indicador: Semforo
A classificao do teste Yslow - Make fewer HTTP requests A ou B Verde
A classificao do teste Yslow - Make fewer HTTP requests C ou D Amarelo
A classificao do teste Yslow - Make fewer HTTP requests E ou F Vermelho

Indicador 4.7 - Cabealhos HTTP com data de validade

Tipo de anlise: Anlise automtica usando a ferramenta Google PageSpeed Insights.
Medida de Indicador: Semforo
O resultado Verde/Amarelo/Vermelho dado automaticamente pela ferramenta.

Indicador 4.8 - Carregamento de Javacript e CSS adequado

Tipo de anlise: Anlise automtica usando a ferramenta Google PageSpeed Insights.
Medida de Indicador: Semforo
O resultado Verde/Amarelo/Vermelho dado automaticamente pela ferramenta.

Indicador 4.9 - Uso de compresso

Tipo de anlise: Anlise automtica usando a ferramenta Google PageSpeed Insights.
Medida de Indicador: S/N
usado compresso gzip Sim
No usada compresso gzip No

Indicador 4.10 - Baixo tempo de resposta do servidor

Tipo de anlise: Anlise automtica usando a ferramenta Google PageSpeed Insights.
Medida de Indicador: Semforo
O resultado Verde/Amarelo/Vermelho dado automaticamente pela ferramenta.

3.3

Definio do Universo do Estudo

O universo considerado neste estudo o conjunto de organismos que constituem a administrao central portuguesa, quer direta, quer indireta, assim como alguns rgos superiores
de soberania. A administrao direta constituda pelos organismos sujeitos ao poder hierrquico de um respetivo membro do governo, como os ministrios, direes gerais ou direes
regionais. J a administrao indireta do Estado constituda por organismos que, devido
sua especificidade so geralmente dotados de personalidade jurdica, patrimnio prprio e
50

de autonomia administrativa e financeira, embora continuem dependentes da tutela de um

determinado ministrio.
Em estudos anteriores, o universo foi definido pelo Estado e no estudo da Accenture
(2003, p. 55) 18 organismos foram excludos por deciso da tutela j no decurso do estudo.
Em 2008 foram selecionados 28 stios Web cujo critrio de escolha foi o interesse que os
mesmos podero ter para o cidado (UMIC, 2008).
Neste estudo, optou-se por fazer um levantamento de todos dos organismos existentes na
AP com base na consulta da legislao, sobretudo nas leis orgnicas dos ministrios. Assim,
foram analisados os seguintes diplomas:
Da Presidncia do Conselho de Ministros Decreto-Lei no 126-A/2011
das Finanas Decreto-Lei no 117/2011 e Decreto-Lei no 200/2012
dos Negcios Estrangeiros Decreto-Lei no 121/2011
da Defesa Nacional Decreto-Lei no 183/2014
da Administrao Interna Decreto-Lei no 126-B/2011 , Decreto-Lei no 161-A/2013 e
Decreto-Lei no 112/2014
da Justia Decreto-Lei no 123/2011
da Economia Decreto-Lei no 40/2013 , Lei no 67/2013 e Decreto-Lei no 11/2014
da Agricultura e do Mar Decreto-Lei no 18/2014
da Solidariedade, Emprego e Segurana Social Decreto-Lei no 167-C/2013
da Sade Decreto-Lei no 173/2014
do Ambiente, Ordenamento do Territrio e Energia Decreto-Lei no 17/2014
da Educao e da Cincia Decreto-Lei no 125/2011 , Decreto-Lei no 266-G/2012 ,
Decreto-Lei no 102/2013 , Decreto-Lei no 96/2015

Depois de realizado o levantamento dos organismos existentes, definiram-se alguns critrios de incluso e excluso das entidades a avaliar.

3.3.1

Critrios de incluso de organismos

O principal critrio usado na definio dos organismos includos no estudo foi a gnese das
suas funes. Foram includos todos os organismos administrativos centrais da administrao
direta e indireta do Estado.
Excecionalmente foram includos quatro rgos do Estado, que embora no sejam organismos da administrao direta ou indireta, so stios que tm importncia para os cidados,
51

como o caso da Presidncia da Repblica, da Assembleia da Repblica, do Conselho Econmico e Social e do Provedor de Justia.

3.3.2

Critrios de excluso de organismos

No se incluram os microstios Web dos organismos nem de programas ou projetos

especficos.
Por no fazerem parte da administrao central foram excludos os organismos das regies autnomas da Madeira e Aores. Esta deciso vem no seguimento das prticas dos
estudos anteriores (Accenture, 2003). Da mesma forma no foram includos os organismos
da administrao local (Municpios e Freguesias) porque j existem estudos realizados pelo
Laboratrio de Estudo e Desenvolvimento da Sociedade de Informao (Gvea) da Universidade do Minho, como por exemplo, o estudo da presena na Internet das cmaras municipais
portuguesas, em 2009 (Santos & Amaral, 2012).
As entidades do Setor Pblico Empresarial, que incluem Entidades Pblicas Empresariais (EPE), Empresas participadas (incluindo Sociedades Annimas) e Empresas Municipais
(EM) tambm no foram includas porque as condies de mercado favorecem naturalmente
a melhoria da qualidade e da acessibilidade Web. A rede de embaixadas, apesar de serem
administrao direta, no foram analisadas, pois a sua maioria no dispe de stio Web.
Finalmente, por no serem organismos do setor administrativo, a rede de hospitais, escolas, instituies de ensino superior, tribunais e museus tambm no foram considerados
neste estudo.

3.3.3

Identificao de organismos a analisar

Aps o apuramento das entidades a analisar, foi necessrio identificar os seus endereos
Web. Este processo de levantamento foi realizado em 3 etapas, como descrito na figura 3.2.
Depois de identificar os organismos a analisar, foi realizado um levantamento dos endereos dos stios Web atravs da consulta da pgina oficial do governo, secretarias gerais dos
ministrios e atravs de pesquisas no motor de busca Google.

3.4

Ferramentas usadas na recolha de dados

Contedos
Nos indicadores cuja verificao foi efetuada por observao manual e direta, foram usados
os navegadores Google Chrome (verses 42 e 43) e Mozilla Firefox (verses 39 e 40) num
sistema operativo Mac OS X 10.5.
Para verificar a conformidade dos textos com o acordo ortogrfico (indicador 1.6) foi
52

Lista dos organismos a analisar

Levantamento de hiperligaes nos stios oficiais

Pesquisa em motor de busca

Validao final

Figura 3.2: Processo de recolha dos endereos dos stios Web

usada o corretor ortogrfico e sinttico FLIP4 .
Para verificar a colocao e tipo de cookies usados (indicador 1.10), foi usada a ferramenta
Privacy Badger 5 instalado no navegador Google Chrome. O Privacy Badger uma extenso
que permite avisar o utilizador se determinado stio Web est a usar cookies analticos com
objetivos de identificar o utilizador de forma a poder, por exemplo, apresentar-lhe publicidade
direcionada. Neste estudo, a utilizao desta ferramenta teve como objetivo identificar se
o tipo de cookies usado pelos stios Web violam a privacidade dos utilizadores e recolher
informao sobre que tipo de cookies so usados pelos stios. Por exemplo, dos 130 stios
analisados, 90 stios colocam cookies Google Analytics, pese embora apenas nove deles avise
o utilizador que tal est a ser feito.
Usabilidade
Para validar se os stios Web dispunham de um design adaptvel a dispositivos de vrios
tamanhos (indicador 2.2) foi usada a ferramenta Google Mobile-Friendly Test 6 , uma ferramenta que valida a conformidade dos stios com as boas prticas de desenvolvimento para
dispositivos mveis. Por vezes, foi necessrio validar alguns stios manualmente (recorrendo
a um telemvel e tablet) porque os stios no permitiam o acesso ferramenta (por definies
de firewall).
Para medir o tempo de carregamento das pginas (indicador 2.3) foi usada a ferramenta
Pingdom 7 com a opo de servidor em Stockholm, Sucia. O Pingdom uma das ferramentas
mais populares de medio deste gnero. Esta opo foi tomada porque foi necessrio garantir
um mtodo que fosse comparvel. Uma vez que o estudo foi realizado ao longo de vrios
meses e a recolha de dados feita em locais diferentes, tal no poderia ser feito usando uma
ferramenta de medio local porque a velocidade de acesso Internet, assim como outros
4

Disponvel
Disponvel
6
Disponvel
7
Disponvel
5

em
em
em
em

http://www.flip.pt/FLiP-On-line/Corrector-ortografico-e-sintactico.aspx
https://www.eff.org/privacybadger
https://www.google.com/webmasters/tools/mobile-friendly/
http://tools.pingdom.com/fpt/

53

Figura 3.3: Ferramenta para anlise do indicador 2.6 - Ligaes invlidas/quebradas

fatores (como a latncia), poderiam variar.
A verificao da existncia de ligaes invlidas/quebradas (indicador 2.6) foi realizada
usando o W3C Link Checker 8 . Esta ferramenta desenvolvida pelo W3C e permite validar,
de forma automtica, se todas as ligaes presentes num dado stio funcionam corretamente.
Para este estudo, a ferramenta foi configurada para partir da pgina inicial e testar as
hiperligaes recursivamente at um nvel 3 (ver figura 3.3).
O Google PageSpeed Insights

foi usado para recolher informaes relativas aos indica-

dores 2.2, 2.8, e 2.9. Estes indicadores foram recolhidos atravs de uma bateria de testes
realizados automaticamente pela ferramenta desenvolvida pela Google com o objetivo de
ajudar os programadores na criao de stios mais rpidos e adaptados a dispositivos mveis
(ver figura 3.4).
Acessibilidade
Para verificar os indicadores de acessibilidade (3.1, 3.2 e 3.3) foi usado a ferramenta
AccessMonitor 10 (ver figura 3.5). O AccessMonitor uma ferramenta desenvolvida pela
unidade Acesso da Fundao de Cincia e Tecnologia e consiste num validador automtico
que realiza 86 testes que tm por base as diretrizes de acessibilidade WCAG 2.0. Nem todas
as diretrizes esto vertidas nestes testes, uma vez que, como foi discutido anteriormente,
alguns critrios de sucesso so muito abstratos e no so passveis de serem implementados
numa ferramenta automtica. Na tabela 3.2 possvel verificar que a ferramenta abrange 30
dos 61 critrios de sucesso previstos nas WCAG 2.0. O Accessmonitor realiza uma bateria
de 86 testes, oito dos quais produzem um relatrio qualitativo e 78 entram no clculo do
8

Disponvel em https://validator.w3.org/checklink/docs/checklink
Disponvel em https://developers.google.com/speed/pagespeed/insights/
10
Disponvel em http://www.acessibilidade.gov.pt/accessmonitor/
9

54

Figura 3.4: Exemplo de relatrio do GoogleSpeed Insights

Prioridade dos
Critrios de Sucesso (CS)

CS existentes nas
WCAG 2.0

A
AA
AAA
Totais

25
13
23
61

CS abrangidos
pelo AccessMonitor
16
5
9
30

Tabela 3.2: Critrios de sucesso WCAG 2.0 abrangidos pelos testes do AccessMonitor
(Acesso, 2015)

ndice AcessMonitor que usado neste estudo. O ndice AccessMonitor trata-se de uma
indicador quantitativo de um a dez que pretende sintetizar o resultados de todos os testes
realizados. O clculo deste ndice poder ser consultado em Acesso (2015b) e um exemplo
desta classificao pode ser observado na figura 3.5.
Os resultados do AccessMonitor podem ser consultado no apndice C e a bateria de testes
realizados encontra-se no apndice D.
de crucial interesse salientar que as anlises automticas necessitam sempre de uma
reviso humana uma vez que alguns dos problemas de acessibilidade no so descobertos
automaticamente e outros so erradamente considerados problemas. Por isso, foi realizada
uma validao manual dos erros e alertas gerados pela ferramenta. A ttulo de exemplo,
alguns stios conseguem iludir o AccessMonitor ao usar frames, obtendo assim uma classificao superior real. Alis, foi seguida a recomendao da Unidade Acesso de ter especial
ateno quando o nmero de elementos analisados pela ferramenta era inferior a 100: podemos inferir que quanto maior for o nmero de elementos observados na pgina, maior o
grau de confiana com que podemos aceitar as indicaes fornecidas no relatrio. Para um
nmero de elementos inferior a 100 necessrio inspecionar com maior cuidado as afirmaes
proferidas, aconselhando-se a efetuar sempre uma verificao manual (Acesso, 2015b).
55

Figura 3.5: Exemplo de um relatrio AccessMonitor

Eficincia
O Google PageSpeed Insights foi usado para recolher informaes relativas aos indicadores
4.2, 4.3, 4.4, 4.5, 4,7, 4.8, 4.9 e 4.10. Os resultados gerados por esta ferramenta foram mapeados diretamente no modelo proposto por este estudo, j que o Google PageSpeed Insights
usa o sistema de semforo (como foi apresentado anteriormente).
O Firebug 11 uma extenso popular do Mozilla Firefox que disponibiliza um conjunto
de ferramentas importantes para os programadores. Para alm de ser j por si uma extenso
til, permite ainda a instalao de funcionalidades extra, como o caso da extenso YSlow.
Neste estudo, o Yslow foi usado para analisar o indicador 4.6. Uma vez que os resultados
deste teste disponibilizam mais nveis do que so usados no modelo (A a F contra o Semforo),
foi necessrio combinar alguns resultados para se chegar classificao dos indicadores. Esta
combinao clarificada na seco 3.2.4.
Outras ferramentas
Como ferramentas de apoio ao estudo, foi usado o Microsoft Excel para processamento
dos dados e o LATEX para a elaborao deste documento.

11

Disponvel em http://getfirebug.com/

56

Captulo 4

Apresentao e anlise dos dados

The ideal system so buries the technology that the user is not even aware of its
presence. The goal is to let people get on with their activities, with the technology
enhancing their productivity, their power, and their enjoyment, ever the more so
because it is invisible, out of sight, out of mind. People should learn the task, not
the technology. They should be able to take the tool to the task, not as today, where
we must take the task to the tool. And these tools should follow three axioms of
design: simplicity, versatility, and pleasurability."

Donald Norman (Norman, 1998)

Neste captulo expe-se a sntese dos resultados obtidos pela aplicao da metodologia
proposta. So apresentados os dados mais relevantes para a avaliao e a anlise crtica
dos resultados obtidos por cada indicador analisado. As classificaes finais dos organismos
podero ser encontrada no apndice A. As classificaes detalhadas por indicador analisado
podero ser encontrados no apndice E. Para alm dos dados recolhidos no mbito do modelo
de avaliao (33 indicadores), apresentam-se tambm dados adicionais que, embora no
faam parte do modelo de avaliao, foram complementarmente recolhidos. Estes dados so
apresentados porque reforam e ajudam a compreender os resultados obtidos.

4.1

Organismos analisados

Atravs da anlise da estrutura de organizao do Estado foram identificados 218 organismos, dos quais 130 foram alvo de anlise, depois de aplicados os critrios de incluso
e excluso evidenciados nas seces 3.3.1 e 3.3.2. Um nmero substancial de organismos
(59) foram considerados fora de mbito por no serem entidades de administrao direta ou
indireta. Por sua vez, 26 organismos embora dentro de mbito, no foram analisados porque
partilham os seus stios Web num portal com outras entidades (nomeadamente o Portal do
Governo e o Portal da Segurana Social, estes j assumidos como alvos de anlise).
57

Finalmente, 3 organismos no foram analisados, uma vez que os seus stios no se encontravam disponveis at data limite (ver seco 4.3). Na tabela 4.1 possvel observar esta
relao.
Tutela
Avaliado
No avaliado
No avaliado
No avaliado
No avaliado
Total

Fora de mbito
Integrado num stio partilhado
Organismo em remodelao
Stio Web do organismo em remodelao

N.o de Organismos
130
59
26
1
2
218

Tabela 4.1: Sntese do nmero organismos avaliados e no avaliados

Na tabela 4.2 apresentado um resumo dos organismos analisados neste estudo, organizados pelo tipo de tutela que exercem.
Tutela
1 Geral - Estado
2 Presidncia do Conselho de Ministros
3 Finanas
4 Negcios Estrangeiros
5 Defesa Nacional
6 Administrao Interna
7 Justia
8 Economia
9 Agricultura e do Mar
10 Solidariedade, Emprego e Segurana Social
11 Sade
12 Ambiente, Ordenamento do Territrio e Energia
13 Educao e Cincia
Total

Estado
4

Direto

Indireto

16
10

5
1
3
1

6
7
5
5
10
4
4
4
7
78

4
7
6
3
10
3
5
48

Total
4
21
11
3
7
7
9
12
16
7
14
7
12
130

Tabela 4.2: Organismos avaliados (por departamento e por tipo de tutela)

De salientar ainda o facto do nmero de organismos analisados neste estudo (130) ser
inferior ao valor analisado em 2003 (370) (Accenture, 2003). Esta reduo explicada por
trs fatores: por um lado no foram includos neste estudo os organismos do setor pblico
empresarial (em 2003, tinham sido analisados 28). Por outro lado, nos ltimos anos houve
uma reduo do nmero de organismos do Estado devido a restruturaes e reorganizao
de servios e dos recursos a eles afetos. Por exemplo, no relatrio do Plano de Reduo e
Melhoria da Administrao Central (PREMAC) (SEAP, 2012), referida uma reduo na
ordem dos 34% de estruturas de administrao central e de 20% de administrao indireta
(institutos pblicos) entre 2011 e 2012. Fruto destas restruturaes, observou-se tambm
alteraes substanciais nos nomes e atribuies dos organismos. Finalmente, como j referido,
26 organismos no foram analisados neste estudo porque partilham os seus stios Web num
portal com outras entidades (nomeadamente o Portal do Governo e o Portal da Segurana
Social).
No apndice A poder ser consultada a lista de todos os organismos analisados.
58

4.2

Recolha dos Dados

Os dados foram recolhidos quer por observao direta dos stios Web, quer recorrendo a
ferramentas automticas. Cada anlise demorou em mdia 27,98 minutos e foi orientada seguindo uma lista de verificao com 64 pontos, posteriormente consolidada nos 33 indicadores
anteriormente apresentados.
Para alm dos 33 indicadores que constituem o modelo de avaliao, recolheu-se informaes variadas como a localizao do alojamento dos stios Web, os autores do trabalho
(sempre que tal trabalho estivesse assinado), assim como resultados quantitativos globais
das ferramentas usadas.

4.3

Data de referncia

O levantamento dos organismos a analisar foi realizado entre o dia 5 de maro e o dia 26
de abril de 2015, atravs da metodologia indicada na seco anterior. Aps serem aplicados
os critrios de excluso, a recolha dos dados foi iniciada no ms de abril e prolongou-se at
agosto de 2015. Acontece que as estruturas da Administrao Pblica esto em constante
mudana, por isso, no decorrer da fase de testes, houve algumas reorganizaes e fuses de
organismos. Ao mesmo tempo, algumas entidades publicam novos novos stios Web.
Para lidar com esta realidade, entendeu-se que era necessrio proceder-se a novos testes.
Assim, durante o ms de agosto de 2015 recolheu-se dados relativamente s entidades que
sofreram alteraes, devendo ser este o ms considerado como referncia para os dados.

4.4

Sntese dos resultados por critrio

O critrio que obteve a melhor classificao mdia global foi os contedos (72%), pois
verificou-se que a maioria dos organismos publicam as informaes a que esto obrigados,
sobretudo os seus contactos e instrumentos de gesto. Em sentido inverso, o critrio de
acessibilidade revelou-se o mais deficitrio com uma classificao global mdia ponderada1
de 19%, revelando que a maioria dos organismos no dispe de um stio preparado para
utilizadores com necessidades especiais. Os indicadores de Usabilidade obtiveram uma classificao mdia global de 52% enquanto que o critrio de Eficincia obteve uma classificao
mdia global de 36%. De seguida, detalharemos os resultados de cada um dos indicadores
analisados.
1
A classificao mdia do critrio de acessibilidade ponderada uma vez que o peso de cada um dos seus
trs indicadores no igual: O indicador 3.1 tem um peso de 50%, o indicador 3.2 tem um peso de 30%
e o indicador 3.3 um peso de 20% para a classificao final do indicador. Desta forma, a mdia global na
classificao de acessibilidade considera estes pesos.

59

4.4.1

Contedos

A sntese de resultados por departamento estatal apresentada na tabela 4.3, onde

possvel observar a classificao parcial com que o critrio Contedos contribuiu para a
classificao final. Uma vez que o peso do critrio Contedos de 25% do total da classificao
final, a obteno de 100% de classificao neste critrio implica obter 25% na classificao
final. H que salientar que uma vez que alguns dos indicadores so do tipo semforo, a
classificao apresentada nesta tabela no se refere ao nmero de organismos, mas sim,
classificao consolidada.
A publicao da misso, estrutura e organizao (indicador 1.1) feita por 126 entidades
de forma inequvoca. Apenas dois organismos no publicitam esta informao (a Biblioteca Nacional de Portugal e a Direo Regional da Cultura do Centro, ambas sob tutela
da Presidncia do Conselho de Ministros) e outros dois organismos apenas tm a informao parcialmente disponvel (a Direo-Geral do Livro, dos Arquivos e das Bibliotecas e
a Direo-Geral de Recursos de Defesa Nacional, a primeira sob tutela da Presidncia do
Conselho de Ministros e a segunda do Ministrio da Defesa).
Da mesma forma, apenas uma entidade (a Direo Regional da Cultura do Centro, sob
tutela da Presidncia do Conselho de Ministros) no evidencia, de forma clara os servios
que presta (indicador 1.2), fruto de uma arquitetura de informao deficitria.
Relativamente aos instrumentos de gesto (indicador 1.3), 94% das entidades (123) publicam toda a informao exigida por lei, embora em alguns caso essa informao possa no
estar atualizada. A Presidncia da Repblica e o Instituto dos Registos e do Notariado,
I.P apresentam apenas alguma informao deste mbito e cinco entidades no apresentam
qualquer informao. So elas: a Direo-Geral do Livro, dos Arquivos e das Bibliotecas, a
Direo Regional da Cultura do Centro, a Direo-Geral de Recursos de Defesa Nacional,
o INFARMED - Autoridade Nacional do Medicamento e Produtos de Sade, I.P e Centro
Cientfico e Cultural de Macau, I.P (os dois primeiros sob tutela da Presidncia do Conselho
de Ministros, Ministrio da Defesa, Sade e Educao e Cincia respetivamente).
Todos os organismos analisados apresentam os seus contactos nas respetivas pginas
Web, pelo que o indicador 1.4 atinge uma classificao global de 100%, o nico indicador
com classificao mxima.
O mesmo no se pode dizer da disponibilizao de contedos noutros idiomas (indicador
1.5). A importncia da disponibilizao de contedos em idiomas para alm do portugus
varia consoante a instituio e o tipo de servios prestados aos cidados. Contudo, pela
anlise dos resultados possvel inferir que o fraco desempenho deste indicador poder
provocar impactos negativos na captao de investimento estrangeiro ou no turismo. Apenas
22 organismos (16,92%) disponibilizam stios totalmente traduzidos num outro idioma e
14 organismos (10,77%) disponibilizam stios com alguns contedos disponveis num outro
idioma. O ingls adotado por todos eles. Para alm deste, o francs est disponvel em
quatro organismos e o espanhol em dois (stios trilingues). O nico stio que disponibiliza
60

1.1 Misso, estrutura e organizao

1.2 Descrio dos servios

prestados

1.3 Instrumentos de gesto

1.4 Contactos fsicos e eletrnicos

1.5 Verses noutros idiomas

1.6 Textos segundo o acordo

ortogrfico

1.7 Contedos atuais e indicao da ltima atualizao

1.8 Existncia de arquivo de

documentos

1.9 Existncia e relevncia de

motor de busca interno

1.10 Aviso de cookies

Mdia

rea/Indicador
1 Estado - Geral
2 Presidncia do Conselho de Ministros
3 Finanas
4 Negcios Estrangeiros,
5 Defesa Nacional
6 Administrao Interna
7 Justia
8 Economia
9 Agricultura e do Mar
10 Solidariedade, Emprego e Segurana Social
11 Sade
12 Ambiente, Ordenamento do Territrio e Energia
13 Educao e Cincia
Mdia

100%
88%

100%
95%

88%
90%

100%
100%

75%
29%

100%
62%

75%
69%

100%
95%

88%
48%

4%
11%

83%
69%

100%
100%
93%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%
100%
100%

100%
100%
86%
100%
94%
100%
100%
100%

100%
100%
100%
100%
100%
100%
100%
100%

14%
17%
21%
36%
28%
21%
19%
14%

64%
67%
57%
71%
56%
50%
56%
71%

95%
83%
57%
93%
83%
88%
72%
93%

100%
100%
100%
100%
100%
100%
97%
93%

55%
0%
50%
64%
83%
50%
47%
43%

23%
0%
7%
7%
21%
21%
17%
11%

75%
67%
67%
77%
77%
73%
71%
72%

100%
100%

100%
100%

93%
100%

100%
100%

0%
14%

43%
43%

79%
79%

96%
100%

50%
71%

34%
5%

70%
71%

100%
98%

100%
99%

92%
95%

100%
100%

36%
22%

100%
62%

82%
79%

92%
97%

36%
52%

18%
14%

75%
72%

Tabela 4.3: Sntese de resultados do critrio Contedos

contedos em quatro idiomas (portugus, ingls, francs e espanhol) o do Instituto dos

Vinhos do Douro e do Porto, I.P..
Relativamente ao Acordo Ortogrfico (indicador 1.6), apesar de estar j em vigor, 49
organismos publicam contedos com a grafia antiga. Em alguns stios Web de organismos,
era apresentada uma mensagem indicando que a partir de uma determinada data os textos
usavam a nova grafia. Contudo, para efeitos deste estudo, esse tipo de aviso no foi tido
em conta uma vez que se considerou que o perodo de transio de 6 anos deveria ter sido
usado para adaptar todos os contedos, como alis a lei o previa. De salientar que todos os
organismos sob tutela do Ministrio da Educao e Cincia usam o Acordo Ortogrfico em
pleno.
Quanto atualizao da informao publicada (indicador 1.7), os resultados so tambm
muito animadores, j que classificao mdia de todas as reas funcionais do Estado de
80%. De todo o universo analisado, 84 entidades (64%) possuem contedos atualizados (data
de publicao inferior a um ms) e 39 (30%) entidades cumprem este requisito parcialmente,
por exemplo publicado contedos recentes, mas sem indicar claramente a data da ltima
atualizao.
Animadores so tambm os resultados quanto existncia de arquivos de documentos
(indicador 1.8). Apenas o Centro Cientfico e Cultural de Macau, I.P (sob tutela do Ministrio da Educao e Cincia) no disponibiliza qualquer tipo de arquivo de documentos. Por
outro lado, cinco organismos obtiveram classificao parcial neste domnio devido ausncia
dos relatrios dos ltimos anos: So eles: o Gabinete de Estratgia, Planeamento e Avaliao
61

Culturais, a Direo Regional da Cultura do Centro (ambas sob tutela da Presidncia do

Conselho de Ministros), o INFARMED - Autoridade Nacional do Medicamento e Produtos
de Sade, I.P (Ministrio da Sade), a Direo-Geral de Alimentao e Veterinria (Agricultura e Mar) e o Gabinete de Estratgia e Planeamento (Solidariedade, Emprego e Segurana
Social).
No que diz respeito existncia e funcionamento de um motor de busca interno (indicador 1.9), os resultados so muito dspares. A anlise no se focou apenas na existncia
desta funcionalidade, mas principalmente na pertinncia dos resultados obtidos. Na maior
parte dos casos a funcionalidade existe, mas est mal implementada ou nem sequer foi testada. Nenhuma das entidades analisadas sob tutela do Ministrio dos Negcios Estrangeiros
obteve classificao neste indicador, contrastando com quatro entidades analisadas no topo
da hierarquia do Estado que obtiveram classificao mxima. Todos os stios Web devem
ter uma funcionalidade de pesquisa interna eficaz e eficiente, mas isso no se verificou em
68 entidades: 45 entidades (34,6% do universo) no obtiveram classificao e 23 (17,7%) do
universo obtiveram classificao parcial.
Finalmente, a verificao do uso de cookies (indicador 1.10), apresenta os piores resultados
deste critrio: o nmero das entidades que avisam o utilizador que esto a usar cookies
bastante baixo: das entidades analisadas, apenas 10 (7,7%) colocam um aviso de cookies,
embora este mecanismo seja usado por todas elas. Para alm disso, foi analisado o tipo de
cookies usado para permitir distinguir entre os cookies estritamente necessrios (e que so
temporrios) e os permanentes que tm por objetivo principal a identificao dos utilizadores.
Na tabela 4.4 possvel observar esta informao. Preocupante so sobretudo os 81 stios
Web que usam cookies permanentes e que no avisam os utilizadores que o esto a fazer.
Em sentido contrrio, de salientar o bom exemplo do stio da Administrao Regional de
Sade do Algarve, I.P. afixa o aviso do uso de cookies, mesmo no usando cookies permanentes
(apenas de sesso). Embora apenas esteja a cumprir a lei (porque a legislao no distingue
o tipo de cookies usados, sendo sempre obrigatrio avisar o utilizador independentemente se
so usados cookies permanentes ou temporrios), uma prtica seguida s por esta entidade.
De salientar tambm que dos 90 stios Web que usam cookies permanentes, 85 deles
usam o Google Analytics 2 para recolher e analisar dados dos visitantes, sem que obtenham
qualquer permisso para tal.

4.4.2

Usabilidade

A sntese de resultados por departamento estatal apresentada na tabela 4.6, onde possvel observar a classificao parcial que o critrio Usabilidade contribuiu para a classificao
final. Como referido na seco anterior, uma vez que o peso do critrio Usabilidade de
25% do total da classificao final, a obteno de 100% de classificao neste critrio implica
obter 25% na classificao final. H que salientar que uma vez que alguns dos indicadores
so do tipo semforo, a classificao apresentada nesta tabela no se refere ao nmero de
2

Disponvel em http://www.google.com/analytics/

62

No coloca cookies permanentes

Aviso da colocao de cookies: Sim
Aviso da colocao de cookies: No
Coloca Cookies permanentes
Aviso da colocao de cookies: Sim
Aviso da colocao de cookies: No
Total

N.o de stios Web

40
1
39
90
9
81
130

Tabela 4.4: Classificao do tipo de Cookies usados pelos stios Web dos organismos do
Estado

organismos, mas sim, classificao consolidada.

O primeiro indicador verificado no critrio Usabilidade (Design e navegao consistente
- 2.1) tambm o que obteve a melhor classificao no conjunto de entidades analisadas.
Apenas 17 organismos no obtiveram qualquer pontuao neste indicador por no apresentarem um design e uma estrutura de navegao consistente ao longo das vrias pginas do stio
Web. Por exemplo, o stio da Direo Regional de Agricultura e Pescas do Algarve apresenta
menus pouco estruturados e confusos, o que dificulta a obteno de informao por parte dos
cidados. Por sua vez, 14 organismos obtiveram classificao parcial (semforo Amarelo),
como por exemplo o Portal das Finanas (Autoridade Tributria e Aduaneira), um stio
usado diariamente por milhares de cidados e que apresenta inconsistncias entre pginas
do mesmo stio: as hiperligaes para o incio do stio levam para pginas diferentes das
que inicialmente o utilizar acede e a prpria nomenclatura usada gera dvidas (por exemplo,
poder ser difcil distinguir entre as opes obter e consultar). Outro mau exemplo o
stio do Instituto Portugus do Desporto e Juventude, I. P. porque apresenta uma navegao
pouco consistente e ligaes cruzadas entre dois domnios (idesporto.pt e ipdj.pt). A
navegao difcil e existem muitas ligaes no menu que ligam a documentos PDF.
A segunda caracterstica testada foi o design adaptvel (responsive design) no sentido
de verificar se o stios esto preparados para serem consultados a partir de dispositivos com
diferentes tamanhos de ecr, sobretudo telemveis ou tablets (indicador 2.2). Constatou-se
que esta caracterstica pouco usada nos stios da Administrao Pblica: apenas 22 stios
(16,9%) cumprem este requisito. Contudo, constatou-se que trs organismos (O INFARMED
- Autoridade Nacional do Medicamento e Produtos de Sade, I.P, a Fora Area e InspeoGeral da Administrao Interna) apesar de no cumprirem os requisitos, apresentam um
stio Web alternativo adaptado para dispositivos mveis. Neste sentido, atribui-se a estas
entidades 50% da classificao do critrio.
No que diz respeito velocidade de carregamento das pginas (indicador 2.3), 53 stios
Web (40,7%) foram carregados totalmente em menos de 2 segundos e por isso obtiveram
classificao mxima neste ponto. Por sua vez, 47 stios Web (36,15%) foram carregados
totalmente entre 2 a 4 segundos, obtendo metade da classificao. O tempo mdio de carregamento das pginas iniciais do conjunto de todas as entidades analisadas de 3,51 segundos
(tabela 4.5). Contudo, existe uma grande variao: enquanto o stio Web da Agncia para
63

Tempo mdio carregamento (s)

Tamanho mdio da pgina

inicial (KB)

Departamento
1 Estado - Geral
2 Presidncia do Conselho de Ministros
3 Finanas
4 Negcios Estrangeiros
5 Defesa Nacional
6 Administrao Interna
7 Justia
8 Economia
9 Agricultura e do Mar
10 Solidariedade, Emprego e Segurana
Social
11 Sade
12 Ambiente, Ordenamento do Territrio
e Energia
13 Educao e da Cincia
Total

2.50
2.90
3.13
2.30
5.16
3.29
3.55
3.70
6.00
2.65

489
2170
848
1226
2446
4745
1022
934
3113
1295

3.45
3.71

2304
1851

1.60
3.51

785
1902

Tabela 4.5: Tempo mdio de carregamento e tamanho da pgina inicial (KB)

a Modernizao Administrativa apresenta um tempo de carregamento de 0,55 segundos, em

sentido contrrio o stio Web da Direo Regional de Agricultura e Pescas do Algarve apresenta um tempo de carregamento de 33,2 segundos. O tempo de carregamento influenciado
por um grande conjunto de fatores. No sentido de determinar quais os fatores que mais contribuem para aumentar o tempo de carregamento, analisou-se o tamanho mdio das pginas
iniciais e o local do alojamento (hosting). Como se pode observar no grfico da figura 4.1,
apesar do tamanho das pginas (em KB) faa fazer aumentar o tempo de carregamento, no
possvel estabelecer uma regra de causa-efeito. Por exemplo, os stios do Ministrio da
Defesa tm em mdia tamanhos inferiores aos do da Administrao Interna, mas tempos de
carregamento superiores. Da mesma forma, os stios do Ministrio da Educao e Cincia
tm um tempo mdio de carregamento de apenas 1,6 segundos e um tamanho superior ao
do Estado-Geral que demoram mais tempo a carregar. Registaram-se as entidades responsveis pelo alojamento (datacenter ) e os locais fsicos dos centros de dados (datacenters)
e concluiu-se que tambm no possvel estabelecer uma relao entre estes e os tempos
de carregamento. Por exemplo, os 29 stios com tempos de carregamento mais elevados
encontravam-se alojados em Portugal e conclui-se que a mesma empresa de alojamento apresenta bons e maus resultados para pginas com o mesmo tamanho. Por exemplo, a MEO
aloja um total de 10 stios com tamanho at 1100KB. Destes, cinco no ultrapassam os 2
segundos a carregar, 3 stios que demoram at 4 segundos e 2 stios que demoram mais do
que 4 segundos a carregar. Estas relaes podem ser observadas nas tabelas do apndice B.
Em relao aos endereos (URLs) dos stios Web (indicador 2.4), apenas 34 entidades
(26,15%) obtiveram classificao mxima, enquanto 43 entidades (33,08%) obtiveram classificao parcial, devido ao facto dos seus endereos inclurem a tecnologia usada. A rea
com melhor classificao o Ministrio da Educao e Cincia (com 68% de classificao) e
64

Figura 4.1: Relao entre o tempo de carregamento (s) e o tamanho mdio das pginas
inicias (KB)

a rea com pior classificao a do Ministrio da Justia (com 17%).

Na verificao da funcionalidade do boto Retroceder (indicador 2.5), apenas cinco entidades (todas elas sob tutela do Ministrio da Economia) apresentam problemas e obtiveram
classificao nula: Secretaria Geral do Ministrio da Economia, Autoridade de Segurana
Alimentar e Econmica, Direo-Geral das Atividades Econmicas, Gabinete de Estratgia
e Estudo e Direo-Geral do Consumidor. Estas entidades usam uma plataforma desenvolvida pela empresa Masterlink que recorre a tecnologia obsoleta como uso de frames e de
popups, inviabilizando uma navegao fluda e linear.
A verificao de ligaes invlidas/quebradas (indicador 2.6) revelou que 56 stios Web
(43,08%) dos organismos apresentam hiperligaes quebradas ou inexistentes. Trs reas
obtiveram classificao mxima: Estado-Geral, Negcios Estrangeiros e Ambiente, Ordenamento do Territrio e Energia. Em alguns casos, a ferramenta automtica de verificao da
W3C foi bloqueada pelos stios (possivelmente devido a configuraes de segurana). Nestes
casos, foi necessrio realizar uma validao manual, como por exemplo no caso do stio Web
do Instituto de Financiamento da Agricultura e Pescas, I.P..
O indicador 2.7 que valida se as hiperligaes mudam de cor quando visitadas o
que apresenta os piores resultados deste critrio, o que surpreendente porque a heurstica
que sustenta a necessidade desta verificao bastante popular e tem sido recomendada ao
65

2.1 Design e navegao consistente

2.2 Design adaptvel (Responsive Design)

2.3 Carregamento at 2 segundos

2.4 URLs nicos e imutveis

2.5 Funcionalidade do boto

Retroceder

2.6 Ausncia de ligaes invlidas/quebradas

2.7 Ligaes mudam de cor

quando visitados

2.8 Ausncia plugins

2.9 Tamanho de letra legvel

2.10 Acesso com ou sem www

(ou https)

Mdia

rea/Indicador
1 Estado - Geral
2 Presidncia do Conselho de Ministros
3 Finanas
4 Negcios Estrangeiros,
5 Defesa Nacional
6 Administrao Interna
7 Justia
8 Economia
9 Agricultura e do Mar
10 Solidariedade, Emprego e Segurana Social
11 Sade
12 Ambiente, Ordenamento do Territrio e Energia
13 Educao e da Cincia
Mdia

88%
74%

0%
19%

50%
48%

13%
40%

100%
100%

100%
43%

0%
19%

75%
86%

25%
29%

100%
62%

55%
52%

91%
33%
79%
86%
83%
83%
72%
100%

36%
67%
21%
7%
11%
8%
13%
14%

73%
67%
57%
43%
50%
38%
63%
86%

41%
50%
43%
36%
17%
29%
34%
57%

100%
100%
100%
100%
100%
58%
100%
100%

45%
100%
43%
86%
44%
42%
56%
57%

18%
33%
14%
14%
11%
0%
0%
0%

82%
67%
57%
86%
67%
83%
69%
71%

9%
67%
57%
29%
11%
8%
19%
29%

64%
100%
57%
86%
67%
67%
38%
43%

55%
68%
53%
57%
46%
42%
46%
56%

82%
71%

25%
14%

50%
57%

54%
64%

100%
100%

36%
100%

0%
14%

86%
71%

43%
14%

36%
43%

50%
55%

100%
81%

9%
17%

96%
59%

68%
42%

100%
96%

83%
57%

0%
9%

100%
79%

25%
25%

42%
56%

63%
52%

Tabela 4.6: Sntese de resultados do critrio Usabilidade

longo de vrios anos. O que facto que apenas 8,5% dos stios Web analisados usam esta
caracterstica.
O uso de plugins (indicador 2.8) foi encontrado em 27 stios Web analisados (20,77%). Os
plugins mais usados foram o Flash, o Silverlight e o Sharepoint. No foi encontrado nenhum
plugin que afetasse irremediavelmente a navegao nos stios.
Os resultados obtidos no indicador 2.9 Tamanho de letra legvel so baixos. Esta
verificao adota especial importncia nos dispositivos com ecr reduzido (como telemveis
e tablets), mas tambm importante para ecrs de computadores convencionais. Na anlise
realizada, a maioria dos stios Web (74,61%) no apresentou um tamanho de letra adequado
de forma a permitir uma boa legibilidade de contedos.
Finalmente, na verificao do uso de www ou https (indicador 2.10) foi detetado que
57 stios Web (43,85%) no permitiam o acesso quando o endereo era acedido por uma
das formas (com ou sem www). Para se considerar um comportamento correto, os stios
deveriam permitir o acesso quer o utilizador usasse ou no use o www (ou usasse ou no o
https). Por exemplo o stio exemplo.pt dever apresentar o mesmo contedo que o stio
www.exemplo.pt. Na maior parte dos casos, o que acontece que no possvel aceder ao
stio sem usar o prefixo www. Contudo, no stio do Instituto do Turismo de Portugal, I.P. o
endereo http://www.turismodeportugal.pt/ apresenta contedos diferentes do endereo
http://turismodeportugal.pt.
66

3.1 Nvel Acessibilidade A

(WCAG 2.0)

3.2 Nvel Acessibilidade AA

(WCAG 2.0)

3.3 Nvel Acessibilidade AAA

(WCAG 2.0)

Mdia ponderada

rea/Indicador
1 Estado - Geral
2 Presidncia do Conselho de Ministros
3 Finanas
4 Negcios Estrangeiros,
5 Defesa Nacional
6 Administrao Interna
7 Justia
8 Economia
9 Agricultura e do Mar
10 Solidariedade, Emprego e Segurana Social
11 Sade
12 Ambiente, Ordenamento do Territrio e Energia
13 Educao e Cincia
Mdia

75%
36%
27%
50%
21%
14%
28%
13%
19%
29%
21%
29%
36%
28%

50%
14%
0%
33%
0%
0%
0%
0%
0%
0%
0%
0%
18%
6%

25%
14%
0%
17%
0%
0%
0%
0%
0%
0%
0%
0%
16%
5%

58%
25%
14%
38%
11%
7%
14%
6%
9%
14%
11%
14%
27%
19%

Tabela 4.7: Sntese de resultados do critrio Acessibilidade

4.4.3

Acessibilidade

A sntese de resultados por departamento estatal apresentada na tabela 4.7, onde

possvel observar de que modo a classificao parcial com que o critrio Acessibilidade
contribuiu para a classificao final. A mdia ponderada indicada na referida tabela toma
em conta o peso de 50% dado ao primeiro indicador (3.1), os 30% de peso dados ao indicador
3.2 e os 20% dados ao indicador 3.3.
Uma vez que o peso do critrio Usabilidade de 25% do total da classificao final, a
obteno de 100% de classificao neste critrio implica obter 25% na classificao final. As
classificaes apresentadas na tabela no indicam o nmero de organismos, mas sim a classificao consolidada, porque alguns indicadores so do tipo semforo e por isso contribuem
com a metade da classificao.
O critrio de Acessibilidade foi aquele que piores classificaes globais obteve. Para o
clculo final deste critrio, contriburam trs indicadores que correspondem aos trs nveis
das diretrizes de acessibilidade WCAG 2.0, medidos atravs da ferramenta AccessMonitor.
Na tabela 4.8 publicam-se os resultados mdios do ndice AccessMonitor. Os resultados
completos por organismos podem ser encontrados no apndice C. O Estado-Geral foi a rea
com melhor classificao do ndice AccessMonitor considerando o nmero de organismos
analisados3 . Em sentido contrrio, o Ministrio da Administrao Interna apresentou a pior
classificao, uma vez que apenas uma das entidades por si tuteladas passou na bateria
3
Embora a classificao do Ministrio dos Negcios Estrangeiros seja superior, foram analisadas apenas
trs entidades neste departamento governamental. A maioria das entidades tuteladas por este Ministrio
esto agregadas no Portal do Governo.

67

Departamento/ndice

Pgina Inicial

Pgina Interior

1 Estado - Geral
2 Presidncia do Conselho de Ministros
3 Finanas
4 Negcios Estrangeiros
5 Defesa Nacional
6 Administrao Interna
7 Justia
8 Economia
9 Agricultura e do Mar
10 Solidariedade, Emprego e Segurana Social
11 Sade
12 Ambiente, Ordenamento do Territrio e Energia
13 Educao e da Cincia

6,40
5,75
5,16
6,77
4,37
3,87
5,57
4,06
4,69
5,21
4,69
4,84
5,74

6,45
5,89
5,19
6,17
4,61
4,31
5,47
4,25
5,24
5,64
4,84
5,21
5,83

Mdia

5,08

5,27

Tabela 4.8: Mdia dos ndices AccessMonitor nas Pginas Iniciais e nas Pginas Interiores

de testes de nvel A (a Inspeo-Geral da Administrao Interna). Nesta tabela possvel

observar que as pginas interiores obtm tendencialmente valores de acessibilidade superiores.
Observou-se um fator que contribuiu para este resultado: nalguns stios Web a pgina inicial
continha elementos especficos (como banners e outros elementos de destaque) sem qualquer
legenda textual. Estes elementos tipicamente no existem nas pginas interiores.
Um dos principais erros encontrados de Acessibilidade diz respeito falta de legendas de
figuras. Foi observado que mesmo os stios estruturalmente bem implementados de acordo
com as diretrizes de acessibilidade apresentavam uma pequena percentagem de imagens sem
legenda, sobretudo de contedos acrescentados recentemente. Isto demostra que o processo
de atualizao dos stios Web no garante a manuteno de todos os requisitos de Acessibilidade.
No apndice C possvel consultar os resultados completos por organismo, incluindo o
nmero de erros e de avisos gerados pela ferramenta.
Nvel de Acessibilidade A
Na figura 4.2 possvel observar a distribuio das classificaes do indicador 3.1 pelos
departamentos do Estado.
Do universo deste estudo, apenas 13 stios Web (10%) passaram os testes AccessMonitor
necessrios para a atribuio do nvel A. 47 stios (36,15%) obtiveram metade da classificao (semforo Amarelo) por passarem nos principais testes, alcanando pelo menos uma
classificao de 5 no ndice do AccessMonitor. Tal significa que 74 stios Web (56,92%) no
cumprem os requisitos mnimos de Acessibilidade exigidos.
Os Ministrios das Finanas, Defesa Nacional, Justia, Economia, Agricultura e Mar,
Sade e Ambiente, Ordenamento do Territrio e Energia no tutelam nenhum organismo
cujo stio Web seja acessvel, o que naturalmente poder causar dificuldades de acesso, devido
68

Figura 4.2: Acessibilidade de nvel A - Classificao de stios Web por rea (indicador 3.1)

abrangncia das competncias destes organismos.

O departamento do Estado com maior nmero de stios compatveis a Presidncia do
Conselho de Ministros: os stios da Secretaria Geral do Conselho de Ministros, a Comisso
para a Cidadania e a Igualdade de Gnero, o Gabinete Nacional de Segurana e Centro de
Gesto da Rede Informtica do Governo (entidade responsvel pela gesto do subdomnio
gov.pt) obtiveram classificao mxima neste critrio.
Em alguns stios foi necessrio proceder a uma avaliao manual, uma vez que a ferramenta Accessmonitor foi iludida pelos stios e apresentava uma classificao superior ao real.
Neste sentido, teve-se em ateno o nmero de elementos dos stios Web analisados pela
ferramenta e, sempre que o valor foi inferior a 100, procedeu-se a uma avaliao manual.
Nvel de Acessibilidade AA
Na figura 4.3 possvel observar a distribuio das classificaes do indicador 3.2 pelos
departamento do Estado e concluir que apenas 9 stios Web (6,92%) passaram os testes AccessMonitor necessrios para a atribuio do nvel AA. Neste indicador no foram atribudas
classificaes parciais (semforo Amarelo - 50%).
Os stios que passaram a bateria de testes AccessMonitor foram o da Fundao para
a Cincia e a Tecnologia, I.P., o da Direo-Geral da Educao, o da Direo-Geral dos
Assuntos Consulares e das Comunidades Portuguesas, o da Presidncia da Repblica, o do
Provedor de Justia, o da Direo-Geral de Estatsticas da Educao, o da Direo-Geral
69

Figura 4.3: Acessibilidade de nvel AA - Classificao de stios Web por rea (indicador 3.2)
do Patrimnio Cultural, o da Secretaria Geral do Conselho de Ministros e o do Centro de
Gesto da Rede Informtica do Governo.
Nvel de Acessibilidade AAA
Na figura 4.4 possvel observar a distribuio das classificaes do indicador 3.3 pelos
departamentos do Estado. Do universo deste estudo, apenas seis stios Web (4,62%) passaram os testes AccessMonitor necessrios para a atribuio do nvel AAA (um stio consegue
parcialmente). Foram eles, o stio da Fundao para a Cincia e a Tecnologia, I.P., o da Presidncia da Repblica, o da Direo-Geral de Estatsticas da Educao, o da Direo-Geral
do Patrimnio Cultural, o da Secretaria Geral do Conselho de Ministros e o do Centro de
Gesto da Rede Informtica do Governo. O stio da Direo-Geral dos Assuntos Consulares
e das Comunidades Portuguesas obteve metade da classificao (semforo Amarelo), uma
vez que apresenta um erro parcial em apenas um dos testes realizados.
Smbolos de Acessibilidade
Apesar destes resultados, constatou-se que 90 stios Web (69,23%) dispunham de um
smbolo de Acessibilidade aposto cujo objetivo era mostrar a adequao (ainda que parcial)
com as diretrizes de acessibilidade.
A cultura que leva a esta afixao deriva da Resoluo do Conselho de Ministros n.o
97/1999 . No seu nmero trs referido que os stios da Internet dos organismos abrangidos
pelo presente diploma que satisfaam os requisitos de acessibilidade nele referidos devero
70

Figura 4.4: Acessibilidade de nvel AAA - Classificao de stios Web por rea (indicador
3.3)

indic-lo de forma clara, atravs de smbolo a que reconhecidamente seja associada essa
caracterstica. Na poca o smbolo mais popular era o proposto pelo o NCAM (figura 4.5).
A questo que este smbolo demostra somente um projeto de intenes, no sendo
vinculativo em qualquer aspeto. Alis, em muitos stios, o smbolo acompanhado de uma
mensagem que esclarece que A afixao do Smbolo de Acessibilidade no garante que este
stio seja 100% acessvel. A utilizao deste smbolo demonstra, unicamente, um esforo em
aumentar a acessibilidade da pgina no cumprimento da Resoluo de Conselho de Ministros
No 97/99 sobre acessibilidade dos stios da administrao pblica na Internet pelos cidados
com necessidades especiais. Com o evoluir das tecnologias e a prpria legislao, a tendncia
tem sido a escolha de um dos smbolos propostos pela W3C (figura 4.6), uma vez que o
grau de responsabilizao maior. Ao afixar um dos smbolos W3C, existe um grau de
comprometimento com as diretrizes que sustentam esse smbolo.
Verificou-se que 81 stios (62,30%) continuavam a usar o smbolo da fechadura e 46 stios
(35,39%) usavam um dos smbolos propostos pela W3C, tal como pode ser observador na
tabela 4.9. Como foi referido na seo 2.3.5, a lei exige que os stios cumpram, pelo menos, o
nvel A das WCAG 2.0. Apesar de 13 stios terem passado a bateria de testes AcessMonitor
para este nvel, nenhum stio exibe este smbolo.
Ironicamente, os stios que no afixaram qualquer tipo de smbolo de conformidade de
Acessibilidade (40) alcanaram, em mdia, um ndice AccessMonitor superior aos que o
tinham feito: 5,25 (sem afixao) contra 5,13 (com afixao).
71

Figura 4.5: Smbolo de Acessibilidade Web proposto pelo Web Access Project

Figura 4.6: Smbolos de Acessibilidade Web propostos pelo W3C

Apesar da recomendao da W3C que desaconselha a fixao do smbolo do nvel AAA
para stios inteiros porque, para alguns contedos, no possvel satisfazer todos os Critrios
de Sucesso de Nvel AAA (WAI, 2014), quatro stios usavam este smbolo.

4.4.4

Eficincia

A sntese de resultados por departamento estatal apresentada na tabela 4.9, onde

possvel observar a classificao parcial com que o critrio Eficincia contribuiu para a
classificao final. Uma vez que o peso do critrio Eficincia de 25% do total da classificao
final, a obteno de 100% de classificao neste critrio implica obter 25% na classificao
final. As classificaes apresentadas na tabela no indicam o nmero de organismos, mas
sim a classificao consolidada, porque alguns indicadores so do tipo semforo e por isso
contribuem com a metade da classificao.

Departamento / Tipo de acessibilidade anunciada

1 Estado - Geral
2 Presidncia do Conselho de Ministros
3 Finanas
4 Negcios Estrangeiros
5 Defesa Nacional
6 Administrao Interna
7 Justia
8 Economia
9 Agricultura e do Mar
10 Solidariedade, Emprego e Segurana Social
11 Sade
12 Ambiente, Ordenamento do Territrio e Energia
13 Educao e Cincia
Totais

Fechadura
3
11
5

WCAG 1.0
AA AAA

3
2

WCAG 2.0
AA AAA

2
2
1

4
4
8
10
12
6
10
2
6
81

1
1
2
4
3

1
13

1
1
5
3
4
3
22

1
3

Tabela 4.9: Smbolos de Acessibilidade apostos pelos stios Web

72

4.1 Uso de tcnicas de SEO

4.2 HTML Otimizado

4.3 Imagens Otimizadas

4.4 CSS Optimizado

4.5 Javascript Otimizado

4.6 Pedidos HTTP e DNS reduzidos

4.7 Cabealhos HTTP com

data de validade

4.8 Carregamento de Javascript e CSS adequado

4.9 Uso de compresso

4.10 Baixo tempo de resposta

do servidor

Mdia

rea/Indicador
1 Estado - Geral
2 Presidncia do Conselho de Ministros
3 Finanas
4 Negcios Estrangeiros,
5 Defesa Nacional
6 Administrao Interna
7 Justia
8 Economia
9 Agricultura e do Mar
10 Solidariedade, Emprego e Segurana Social
11 Sade
12 Ambiente, Ordenamento do Territrio e Energia
13 Educao e Cincia
Mdia

38%
33%

50%
55%

38%
36%

50%
60%

50%
57%

25%
36%

0%
7%

0%
12%

50%
19%

50%
79%

35%
39%

9%
83%
14%
29%
28%
4%
19%
50%

55%
67%
50%
50%
56%
50%
53%
57%

36%
33%
29%
21%
44%
33%
19%
29%

50%
50%
36%
50%
50%
71%
56%
64%

55%
50%
50%
36%
50%
50%
59%
57%

9%
33%
36%
21%
50%
63%
38%
50%

18%
50%
0%
29%
17%
17%
6%
21%

5%
0%
14%
14%
0%
42%
3%
7%

36%
33%
43%
0%
11%
42%
25%
43%

68%
67%
57%
57%
39%
54%
47%
71%

34%
47%
33%
31%
34%
43%
33%
45%

21%
21%

54%
50%

29%
14%

54%
57%

39%
43%

14%
29%

14%
7%

0%
14%

14%
14%

46%
79%

29%
33%

14%
24%

55%
53%

36%
31%

64%
56%

64%
52%

55%
36%

18%
14%

18%
11%

18%
25%

82%
62%

42%
36%

Tabela 4.10: Sntese de resultados do critrio Eficincia

As tcnicas de SEO (indicador 4.1) so muito abrangentes e esto em constante mudana.

Neste estudo procurou-se introduzir este conceito, comeando por sugerir elementos fundamentais como um ttulo, descrio e palavras-chave relevantes, assim como a existncia de
um mapa do stio (ver seo 3.2.4). Apenas 14 stios Web (10,77%) utilizam a totalidade
destas tcnicas e 34 stios Web obtiveram 50% da classificao por no implementarem pelo
menos umas das tcnicas sugeridas. O departamento com piores resultados foi o Ministrio
da Economia, onde apenas um organismo (Laboratrio Nacional de Engenharia Civil, I.P)
obteve classificao parcial. Por oposio, os trs stios analisados sob tutela do Ministrio
dos Negcios Estrangeiros obtiveram classificao.
Quanto otimizao do cdigo HTML (indicador 4.2), 98% dos stios obtiveram classificao, embora a maior parte dos stios apenas parcialmente. Apenas dois stios no obtiveram qualquer tipo de classificao, ambas entidades sob tutela do Ministrio da Defesa: a
Direo-Geral de Recursos de Defesa Nacional e o Exrcito. Nestes casos, observou-se que
a quantidade do cdigo HTML gerado excessiva. Em sentido contrrio, esto os 12 stios
Web que obtiveram classificao mxima, fruto da boa otimizao do cdigo HTML dos
seus stios: Direo-Geral da Segurana Social, Comisso para a Cidadania e a Igualdade de
Gnero, Direo-Geral dos Assuntos Consulares e das Comunidades Portuguesas, DireoGeral da Educao, Instituto Nacional da Propriedade Industrial, I.P, Fora Area, Instituto
de Avaliao Educativa I.P. Instituto Portugus do Desporto e Juventude, I. P., Instituto
de Ao Social das Foras Armadas, I.P., Direo-Geral da Qualificao dos Trabalhadores
em Funes Pblicas (INA), Inspeo-Geral das Atividades em Sade e Direo-Geral de
Recursos Naturais, Segurana e Servios Martimos.
73

As imagens so um recurso abundante dos stios Web e que contribuem em larga escala
para o tempo de carregamento das pginas. importante que as imagens estejam otimizadas,
usando tcnicas de compresso para evitar desperdcio de recursos (largura de banda, por
exemplo) e promover uma diminuio do tempo de carregamento, aumentando a experincia
do utilizador. Na verificao da otimizao das imagens (indicador 4.3), apenas dois stios
obtiveram classificao mxima: o stio da Casa Pia de Lisboa, I.P. e o stio da Autoridade
Tributria e Aduaneira. 76 stios (58,46%) obtiveram classificao parcial (semforo amarelo)
por terem algumas imagens com possibilidade de compresso adicional. Um total de 52 stios
(40%) obtiveram classificao nula neste critrio por usarem com uma dimenso maior que
o necessrio ou sem compresso. O pior caso encontrado foi o stio da Direo Regional de
Agricultura e Pescas do Algarve (Ministrio da Agricultura e do Mar) cuja pgina apresentava
12700 KB ( 12.4MB) uma vez que disponha de um lbum de fotografias em alta resoluo.
Esta uma tendncia que se verifica nos nove stios de maior tamanho, ou seja, apresentam
todos eles uma falta de redimensionamento ou de compresso de imagens.
A otimizao de CSS (indicador 4.4) o segundo indicador deste critrio que melhores
resultados obtm. Apenas 20 stios (15,39%) no apresentam problemas e por isso obtiveram classificao mxima, 106 stios (81,54%) obtiveram classificao parcial e apenas quatro
stios no obtiveram classificao neste domnio: a Direo-Geral da Qualificao dos Trabalhadores em Funes Pblicas (INA), a Direo-Geral de Recursos de Defesa Nacional, a
Marinha e a Inspeo-Geral da Administrao Interna. As classificaes parciais foram atribudas sobretudo devido quantidade de recursos externos de CSS usados, havendo espao
para serem combinados entre si, aumentando a eficincia das pginas.
O javascript um recurso cada vez mais usado, pois possibilita criar interatividade e
at tornar os stios mais eficientes ao permitindo, por exemplo, a atualizao de apenas
partes dos stios (no sendo necessrio carregar pginas completas). No que diz respeito
otimizao de javascript (indicador 4.5), a maioria dos stios (105, a que corresponde cerca
de 80,77%) obteve classificao parcial, 15 (11,54%) obtiveram classificao mxima e 10
(7,69%) no obtiveram qualquer classificao.
Quanto verificao dos pedidos HTTP e DNS (indicador 4.6), constatou-se que 76 stios
(58,46%) no obtiveram classificao, 15 stios (11,54%) obtiveram classificao parcial e
39 stios (30%) alcanaram classificao mxima. O pior desempenho do Estado-Geral
(nenhuma entidade obteve classificao) e o melhor exemplo o Ministrio da Economia,
cuja maioria dos stios obteve classificao.
No que diz respeito tcnica que permite aumentar a eficincia das cpias locais (cache)
dos stios Web (indicador 4.7), verificou-se que maioria dos stios no a usa (98 stios, o que
corresponde a 75, 38%), 28 stios usa parcialmente (28,54%) e apenas 4 usam na totalidade
(3%). So eles o Instituto de Gesto Financeira e Equipamentos da Justia, I.P., a Direo
Geral dos Assuntos Consulares e das Comunidades Portuguesas, o Instituto dos Mercados
Pblicos, do Imobilirio e da Construo, I.P e os Servios Sociais da Administrao Pblica.
Este trata-se do pior indicador de eficincia analisado. Uma especial ateno neste campo

74

permitira poupanas de largura de banda (e de custos) e uma melhoria da experincia do

utilizador.
Na verificao da ordem pela qual os elementos CSS e javascript so carregados (indicador 4.8), dez stios Web (7,69%) obtiveram classificao mxima, dez stios Web (7,69%)
obtiveram a classificao parcial e 110 stios Web (84,62%) no obtiveram qualquer classificao. Os departamentos estatais Estado-Geral, Ministrio dos Negcios Estrangeiros, Justia
e Sade no obtiveram qualquer classificao neste indicador. Trata-se do pior indicador no
mbito deste critrio.
O uso da tcnica de compresso gzip (indicador 4.9) permite reduzir o trfego transmitido
e aumentar o velocidade de carregamento das pginas. Infelizmente, do universo analisado,
apenas 33 stios Web (25,38%) usavam esta tcnica. De todas as tcnicas analisadas esta
porventura a mais fcil de implementar porque apenas exige uma ligeira mudana do
ambiente de configurao do lado do servidor. O facto de esta tcnica no estar generalizada
s pode ser interpretado como falta de sensibilizao das entidades que gerem os stios Web
do Estado.
O tempo de resposta do servidor (indicador 4.10) apresenta dos melhores resultados
deste critrio: os servidores onde esto alojados 68 stios (52,31%) respondem de uma forma
rpida, 25 (19,23%) tm espao para melhorar e 37 (28,46%) respondem de uma forma lenta.
De salientar que estes resultados so complementares ao do indicador 2.3 (Carregamento
at 2 segundos). Embora este ltimo mea o tempo total de carregamento das pginas, o
indicador 4.10 apenas indica se o servidor de alojamento est otimizado para responder de
forma rpida. Assim, embora um servidor possa responder de forma rpida, isso no quer
dizer que as pginas iro carregar rapidamente, porque este influenciado por outros fatores,
como vimos anteriormente.

4.5

Sntese dos resultados por classificao final

As classificaes finais foram calculadas articulando as classificaes e os pesos dos indicadores previstos na tabela 3.1. Na tabela 4.13 observam-se os resultados das classificaes
por departamento estatal, distribudas por escales.
Os resultados seguem uma distribuio normal, conforme pode ser observado na figura
4.7. A classificao mdia alcanada pelos stios Web foi de 45%, a mediana foi de 44% e a
moda de 39%. Dada a grande amplitudes de valores, o desvio padro de 0,10. Apenas 31
stios obtiveram classificao global positiva (igual ao superior a 50%).
Os resultados por organismo podem ser encontrados resumidos no apndice A e detalhados no apndice E. O departamento Estado-Geral obteve uma classificao mdia de 58%,
o Ministrio dos Negcios Estrangeiros 55%, o Ministrio da Educao e Cincia 52%, o
Ministrio da Solidariedade, Emprego e Segurana Social 47%, a Presidncia do Conselho de
Ministros 46%, o Ministrio das Finanas 45%, o Ministrio da Administrao Interna 43%,
75

Departamento

1
2
3
4
5
6
7
8
9
10

13
13
2
4
2
1
2
10
13
2

Organismo

Classificao Final

Fundao para a Cincia e a Tecnologia, I.P.

Direo-Geral da Educao
Direo-Geral do Patrimnio Cultural
Direo-Geral dos Assuntos Consulares e das C. Portuguesas
Secretaria Geral do Conselho de Ministros
Presidncia da Repblica
Comisso para a Cidadania e a Igualdade de Gnero
Direo-Geral da Segurana Social
Direo-Geral de Estatsticas da Educao
Centro de Gesto da Rede Informtica do Governo

85%
80%
73%
73%
71%
69%
68%
66%
66%
63%

Tabela 4.11: Stios com a melhor classificao final

#
130
129
128
127
126
125
124
123
122
121

Departamento
2
9
9
2
8
11
9
11
2
3

Organismo

Classificao Final

Direo Regional da Cultura do Centro

Direo Regional de Agricultura e Pescas do Algarve
Direo-Geral de Alimentao e Veterinria
Gabinete de Estratgia, Planeamento e Avaliao Culturais
Direo-Geral do Consumidor
Instituto Nacional de Sade Doutor Ricardo Jorge, I.P.
Direo-Geral de Agricultura e Desenvolvimento Rural
Direo-Geral da Sade
Direo Regional da Cultura do Alentejo
Inspeo-Geral de Finanas

25%
26%
29%
31%
31%
31%
33%
33%
33%
34%

Tabela 4.12: Stios com a pior classificao final

o Ministrio da Justia 43%, o Ministrio do Ambiente, Ordenamento do Territrio e Energia
43%, o Ministrio da Defesa Nacional 41%, o Ministrio da Economia 41%, o Ministrio da
Agricultura e Mar 40% e finalmente, o Ministrio da Sade 40%.
Os dez stios Web com a melhor classificao final podem ser observados na tabela 4.11,
da mesma forma que os que obtiveram a pior classificao podem ser observados na tabela
4.12.

76

1 Estado - Geral
2 Presidncia do Conselho de Ministros
3 Finanas
4 Negcios Estrangeiros,
5 Defesa Nacional
6 Administrao Interna
7 Justia
8 Economia
9 Agricultura e do Mar
10 Solidariedade, Emprego e Segurana Social
11 Sade
12 Ambiente, Ordenamento do Territrio e Energia
13 Educao e Cincia
Organismos

1
6
4

7
3
1
2
3
2
4
7
1
7
2
2

5
3
7
7
4
4
7
4
3

41

55

1
3
4
1

2
2

90-100%

80-89%

70-79%

60-69%

50-59%

40-49%

30-39%

20-29%

10-19%

0-9%

Departamento/Classificao Finais

4
21
11
3
7
7
9
12
16
7
14
7
12

2
1

1
1
3
1

1
4

19

2
3

Totais

130

Tabela 4.13: Classificaes finais por departamento e escalo

60
Nmero de organismos (Quantidade)

55
50
41
40

30
19

20

10

7
0
0-9

3
3
2
0
0
10-19 20-29 30-39 40-49 50-59 60-69 70-79 80-89 90-100
Classificaes Finais (%)
Figura 4.7: Sntese das classificaes finais por escalo

77

78

Captulo 5

Propostas apresentadas
Be a yardstick of quality. Some people arent used to an environment where excellence is expected."

Steve Jobs

No sentido de melhorar a Web dos organismos pblicos e com base nas evidncias e dados
recolhidos neste estudo, apresentam-se seguidamente propostas com o objetivo de aumentar
a transparncia, melhorar a experincia de utilizao dos cidados e reduzir custos para o
Estado.

1. Processo de Verificao de Qualidade. Sugere-se a criao de um processo uniformizado, transversal e vinculativo de verificao de qualidade dos stios da Administrao Pblica junto da Agncia para a Modernizao Administrativa1 ou de outra
entidade que se julgar apropriada para o efeito. Este estudo prope um modelo de avaliao que pode servir de base a este processo. Todavia, o modelo de avaliao agora
proposto dever acompanhar o desenvolvimento da tecnologia e ser revisto periodicamente. Este processo tambm dever ser articulado com outros documentos criados
no mbito do PGETIC - Plano Global Estratgico de Racionalizao e Reduo de
Custos das TIC na Administrao Pblica (AMA, 2015) e ser feito anualmente a todos os stios Web da Administrao Pblica. Cada anlise deve originar um relatrio
detalhado com a identificao dos problemas e com propostas de resoluo.
2. Referncia a normas em contratos de prestao de servios. Bevan (2009)
refere que as normas relacionadas com a Usabilidade so mais eficazes (e tm maior
aplicabilidade prtica) quando so vertidas em contratos comerciais. Com base no
trabalho de Bevan, sugere-se a referncia s normas de qualidade, usabilidade e acessibilidade nos modelos dos contratos de prestao de servios entre organismos pblicos
1

A sugesto da AMA feita uma vez que esta entidade tem sido responsvel pelo desenvolvimento de
muitos programas de governo eletrnico e promoo das TIC no estado.

79

e as empresas de consultoria. Por exemplo, possvel que os contratos exijam que a

conceo e o desenvolvimento dos stios Web sejam realizados em harmonia com as normas ISO/IEC 25010 (qualidade de software), ISO 9241-11 (ergonomia e usabilidade) e
ISO 9241-210, (conceo centrada no utilizador), abordadas no captulo 2.
3. Visto prvio. Para garantir o cumprimento dos requisitos de qualidade e da legislao, prope-se a implementao de sistema de atribuio de vistos prvios aquando
da criao de novos stios Web de organismos da Administrao Pblica. Este visto
prvio funcionaria como um selo de qualidade de forma a garantir a conformidade de
cada novo stio Web, incluindo microstios e stios temticos. Para a atribuio deste
visto prvio, usar-se-ia os processo de verificao de qualidade referidos nos nmeros
anteriores. S depois de emitido um visto prvio favorvel, o stio poderia ser publicado
e o servio de consultoria pago (considerando que stios contratados ao exterior). Este
tipo de verificao prvia realizado atualmente em grandes empresas, integrados nos
seus processos de qualidade ou de melhoria contnua.
4. Portal com classificao dos stios Web. Uma vez que o procedimento de vistos
prvios descrito no ponto anterior seria aplicado apenas a novos stios, torna-se necessrio complementar essa medida com outras para garantir uma monitorizao contnua,
dando incentivos de melhoria aos organismos. Assim, sugere-se a criao de um portal
Web pblico com os resultados das anlises peridicas a cada stio e a publicao de
ranking global permanentemente atualizado. Para alm dos resultados das anlises,
este portal poderia publicar guias de boas prticas de desenvolvimento para a Web,
exemplificar casos de sucesso e prover a participao da cidadania ativa. Os cidados
poderiam fazer sugestes de melhoria que seriam registadas e encaminhadas para os
organismos.
5. Formao em Acessibilidade. Como referido na seo 4.4.3, foi verificado que muitas das falhas de Acessibilidade encontradas nos stios Web tinham sido introduzidas
por atualizaes de contedos e no constavam do projeto inicial do stio. Isso leva a
crer que apesar de alguns stios terem sido concebidos de acordo com as diretrizes de
Acessibilidade, os profissionais responsveis pela manuteno dos stios, nomeadamente
pela insero de contedos, no esto suficientemente sensibilizados para a adequao
dos contedos aos requisitos de acessibilidade. Por exemplo, grande parte das imagens
recentemente carregadas nos stios Web no apresentam legenda. Assim, necessrio
garantir que os profissionais responsveis pela manuteno dos stios recebem a formao adequada em matrias de acessibilidade. Por outro lado, os prprios sistemas
de gesto de contedos tm que ser concebidos para ajudar os profissionais a cumprir
estes requisitos2 .
6. Endereos Uniformizados. Sugere-se a criao de um manual de regras no sentido
de uniformizar os endereos dos stios Web (URLs) para lhes dar coerncia, identidade
e previsibilidade. Muitos stios Web usam domnios de topo, outros usam domnios
2

Os sistemas de gesto de contedos devem ser concebidos de acordo com as diretrizes Authoring Tool
Accessibility Guidelines (ATAG) apresentadas na seo 2.3.2.

80

legados3 e outros optam ainda pelo domnio gov.pt. Dentro de cada departamento
estatal tambm no existe uniformidade. Por exemplo, os endereos dos stios Web
das Direes Regionais de Cultura no seguem uma regra comum:
http://www.culturanorte.pt/
http://www.culturacentro.pt/
http://www.cultura-alentejo.pt/
http://www.cultalg.pt/
O mesmo acontece com a escolha de domnios e de subdomnios. Por exemplo, nos
organismos sob tutela do Ministrio da Agricultura e do Mar so atualmente usados
trs domnios diferentes (min-agricultura.pt, mamaot.pt e mam.gov.pt):
Direo-Geral de Alimentao e Veterinria

http://www.dgv.min-agricultura.pt/

Direo-Geral de Agricultura e Desen. Rural

http://www.dgadr.mamaot.pt/

Direo-Geral de Poltica do Mar

http://www.dgpm.mam.gov.pt/

7. Generalizao do domnio gov.pt. Dos 130 stios analisados neste estudo, apenas
20 (15,39%) usavam endereos com o domnio .gov.pt. A utilizao de domnios gov.pt
pode ser feita por todos os organismos governamentais e uma oportunidade para
reduzir custos. Por outro lado, evitaria o uso de domnios de topo .pt que ficaro
desatualizados em caso de reformulao futura do departamento a que pertence o
organismo, alis, como tem acontecido nos ltimos anos.
8. Disponibilizao obrigatria dos autores na Ficha tcnica. Os stios pblicos
devem ser assinados pelas empresas que os conceberam e implementaram. Esta informao deve constar numa pgina do stio intitulada de Ficha Tcnica com o objetivo
de aumentar a transparncia e a presso sobre as empresas que prestam servios de consultoria ao Estado. Se todos os stios Web do estado estiverem assinados pelos autores,
ser possvel comparar resultados de qualidade por autor, o que motivar as empresas de consultoria a melhorar os seus procedimentos de desenvolvimento, reforando a
qualidade dos seus servios.
9. Otimizao de alojamento e melhoria de resposta dos servidores. Como visto
no captulo 4, 28,46% dos stios esto alojados em servidores com tempos de resposta
elevados. Os stios analisados tambm esto dispersos por cerca de 30 empresas diferentes de hosting. No mbito do PGETIC, recomenda-se um trabalho conjunto com
os prestadores de servios de hosting, no sentido de se tornarem todas as medidas
necessrias para o aumento do tempo de resposta dos servidores4 .

3
Com a reorganizao de entidades surgem novos nomes e siglas. Os novos domnios continuam por vezes
a usar os domnios anteriores reformulao, podendo gerar confuso nos utilizadores.
4
Grande parte destas medidas so configuraes relativamente fceis de implementar e que no acarretam
custos.

81

82

Captulo 6

Concluses e Trabalho Futuro

If you cant explain it to a six year old, you dont understand it yourself."

Albert Einstein

Neste ltimo captulo, enumeram-se as principais concluses deste estudo (seco 6.1)
dando tambm sugestes para trabalhos futuros (seco 6.2).

6.1

Concluses

Passam-se agora a enumerar as principais concluses deste estudo:

A literatura consultada em Portugus sobre boas prticas de Usabilidade e da Acessibilidade Web de stio da Administrao Pblica est datada e, por isso, tornou-se
necessrio propor e testar um novo modelo de avaliao baseado nas boas prticas propostas recentemente pela literatura. O ltimo grande estudo de anlise aos stios web
da Administrao Pblica fora realizado em 2003 pela Accenture (Accenture, 2003) e
apresentava indicadores obsoletos e que estavam focados na anlise de contedos em
detrimento de outros indicadores importantes que foram privilegiados neste estudo.
Atravs da consulta das leis orgnicas dos vrios Ministrios, foram identificados 218
organismos, dos quais 130 foram alvo de anlise, depois de aplicados os critrios de
incluso e excluso evidenciados na seo 4.1 e 3.3.2. Por no serem entidades de
administrao direta ou indireta, 59 organismos foram considerados fora de mbito e
por isso no analisados. No foram analisados os stios Web de 26 organismos uma vez
que estes partilhavam os seus stios Web num portal unificado com outras entidades
(nomeadamente o Portal do Governo e o Portal da Segurana Social, estes sim alvos
de anlise) e de outras trs entidades que no dispunham de stio Web (devido a
restruturaes e fuses de organismos).
83

 O nmero de organismos analisado neste estudo (130) inferior ao valor analisado em

2003 (370). Esta reduo explicada por trs fatores: (i) no foram includos neste
estudo os organismos do setor pblico empresarial, (ii) nos ltimos anos houve uma
reduo do nmero de organismos do Estado, devido a restruturaes e reorganizao
de servios e dos recursos a eles afetos e (iii) alguns organismos consolidaram a sua
presena na Web, usando portais partilhados (como visto no ponto anterior).
Os departamentos de informtica dos organismos pblicos no tm tcnicos especializados em questes de Usabilidade e Acessibilidade, o que dificulta a adoo de boas
prticas nestes domnios. Por outro lado, as reas de especializao dos tcnicos que
desenvolvem e fazem a manuteno dos stios conduz a que a insero de contedos se
realize habitualmente sem ter em conta objetivos de comunicao nem as caractersticas
dos pblicos-alvo(Suarez, 2005).
No que diz respeito aos resultados obtidos atravs da aplicao do modelo de avaliao
proposto neste estudo, a classificao global mdia alcanada pelos stios Web foi de
45%, a mediana foi de 44% e a moda de 39%. O desvio padro foi 0,10. De um universo
de 130 stios, apenas 31 (23,85%) obtiveram classificao global mdia positiva, isto ,
igual ao superior a 50%.
Dos quatro critrios analisados, os Contedos obtiveram a melhor classificao global
mdia (72%), seguidos da Usabilidade (52%), Eficincia (36%) e da Acessibilidade
(19%). Os critrios de Usabilidade e Eficincia foram usados pela primeira vez num
estudo deste gnero.
As anlises automticas de acessibilidade necessitam sempre de uma reviso humana
uma vez que alguns dos problemas de acessibilidade no so descobertos automaticamente porque os stios conseguem iludir a ferramenta usada. Da mesma forma, as
ferramentas por vezes geram alertas sobre problemas que no o so na realidade.
Genericamente, os contedos obrigatrios esto publicados, embora nem sempre devidamente atualizados. O principal problema encontrado neste critrio diz respeito
falta de aviso aos utilizadores aquando do uso de cookies. Das entidades analisadas,
apenas 10 (7,7%) colocam um aviso de cookies, embora este mecanismo seja usado por
todas. De salientar que 85 stios usam o Google Analytics para recolher e analisar
dados dos visitantes sem que obtenham qualquer permisso para tal.
Quanto disponibilizao de contedos noutros idiomas, apenas 22 organismos (16,92%)
disponibilizam stios totalmente traduzidos num outro idioma e 14 organismos (10,77%)
disponibilizam stios com alguns contedos disponveis num outro idioma. O ingls
adoptado por todos eles. Para alm deste, o francs est disponvel em quatro organismos e o espanhol em dois (stios trilingues).
Quanto Usabilidade, constatou-se que a maioria dos stios Web apresentam um design
e uma navegao consistente. Apenas 17 organismos no obtiveram qualquer pontuao neste indicador. Constatou-se que apenas 22 stios (16,9%) usam a tcnica de
84

design adaptvel para garantirem uma melhor experincia de utilizao em todos os

dispositivos, sobretudo nos mveis, como telemveis e tablets.
No que diz respeito velocidade de carregamento das pginas, 53 stios Web (40,7%)
foram carregados totalmente em menos de 2 segundos, 47 stios Web (36,15%) foram
carregados totalmente entre 2 a 4 segundos e os restantes 30 demoraram mais do
que 4 segundos. O tempo mdio de carregamento das pginas iniciais do conjunto
das entidades analisadas de 3,51 segundos. A pgina mais rpida carregou em 0,55
segundos e mais lenta demorou 33,2 segundos carregar. O tempo de carregamento
influenciado por um grande conjunto de fatores. Concluiu-se que um maior tamanho
das pginas (em KB), por si s, no determina um maior tempo de carregamento (em
segundos).
As polticas pblicas relativas Acessibilidade dos stios Web tm sido redefinidas nos
ltimos anos. Desde 2012 que o Regulamento Nacional de Interoperabilidade Digital
(RNID) obriga todos os stios da Administrao Pblica a cumprir um nvel mnimo
de Acessibilidade A (WCAG 2.0) para os stios informativos e nvel AA para stios que
disponibilizam servios on-line (transacionais). Neste estudo concluiu-se que apenas
14 stios Web cumprem o requisito de nvel A (10% do universo analisado) e destes,
apenas nove stios os requisitos de nvel AA. Os stios que no afixaram qualquer tipo
de smbolo de conformidade de acessibilidade (40) alcanaram, em mdia, um ndice
AccessMonitor superior aos que o tinham feito: 5,25 (sem afixao) contra 5,13 (com
afixao). Conclui-se que a afixao de um smbolo de acessibilidade em nada garante
que foi realizado um esforo real no sentido de tornar os stios mais acessveis.
Analisando os resultados por departamento, o Estado-Geral obteve uma classificao
global mdia de 58%, o Ministrio dos Negcios Estrangeiros 55%, o Ministrio da
Educao 54%, o Ministrio da Solidariedade, Emprego e Segurana Social 47%, a
Presidncia do Conselho de Ministros 46%, o Ministrio das Finanas 45%, o Ministrio
da Administrao Interna 43%, o Ministrio da Justia 43%, o Ministrio do Ambiente,
Ordenamento do Territrio e Energia 43%, o Ministrio da Defesa Nacional 41%, o
Ministrio da Economia 41%, o Ministrio da Agricultura e Mar 40% e Finalmente o
Ministrio da Sade 40%.
O stio com melhor classificao foi o da Fundao para a Cincia e a Tecnologia, I.P.,
com 85% e o pior o da Direo Regional da Cultura do Centro com 25%.
Deste estudo concluiu-se que a falta de consistncia dos stios dos organismos da Administrao Pblica muito elevada. Por isso, semelhana do que acontece em algumas
empresas privadas, nomeadamente na PT Portugal onde existe um departamento de
qualidade & usabilidade , prope-se que caiba AMA (Agncia para a Modernizao
Administrativa) uma pr-aprovao de stios Web, realizada por pareceres vinculativos
realizados por tcnicos formados em Usabilidade/Acessibilidade e de Arquitetura da
Informao.

85

6.2

Trabalho Futuro

Este estudo deve ser encarado com uma primeira iterao de um processo de melhoria
contnua. No seguimento das propostas apresentadas, a anlise aos stios Web dever ser
realizada periodicamente. Isto permitir analisar a evoluo da qualidade dos stios Web da
Administrao Pblica.
Ser conveniente alargar os critrios de incluso (ver seco 4.1) no sentido de analisar
stios Web de outros organismos do Estado que ainda no foram alvo de nenhuma anlise
deste gnero (como tribunais, hospitais e escolas, por exemplo) e ainda microstios e stios
temticos (orientados a programas) produzidos por cada organismo. Da mesma forma far
sentido alargar a anlise a organismos das administraes regionais das regies autnomas
da Madeira e dos Aores.
Um outro trabalho interessante ser testar a Usabilidade e Acessibilidade de aplicaes
especficas e que tm grande impacto na vida dos cidados, como por exemplo as aplicaes
da Autoridade Tributria e Aduaneira ou da Segurana Social.

86

Bibliografia
21, V. (2008). Relatrio vector21 sobre acessibilidade web em portugal. Acedido a 13 de
dezembro de 2014 de http://www.vector21.com/?idc=27&idi=4953
Accenture. (2003). Relatrio final: Avaliao externa de web sites dos organismos da administrao directa e indirecta do estado (segunda ed.). Lisboa: Unidade de Misso
Inovao e Conhecimento da Presidncia do Conselho de Ministros.
Acesso, U. (2015a). Bateria de testes accessmonitor (verso beta). Acedido a 20 de agosto
de 2015 de http://www.acessibilidade.gov.pt/accessmonitor/bateria.php
Acesso, U. (2015b). Nota tcnica do accessmonitor. Acedido a 20 de agosto de 2015 de
http://www.acessibilidade.gov.pt/accessmonitor/nota_tecnica.html#n12
Akamai. (2009). Akamai reveals 2 seconds as the new threshold of acceptability for ecommerce web page response times. URL: http://uk.akamai.com/html/about/press/
releases/2009/press_091409.html
AMA. (2015). Plano global estratgico para a racionalizao e reduo de custos com as
tecnologias de informao e de comunicao, na administrao pblica. Acedido a 20
de setembro de 2015 de https://www.tic.gov.pt/
Amaral, L., Santos, L., & Oliveira, J. (2003). Mtodo de avaliao dos web sites dos
organismos da administrao directa e indirecta do estado.
Antnio, N., & Teixeira, A. (2007). Gesto da qualidade: De deming ao modelo de excelncia
da efqm. Lisboa: Edies Slabo.
Atkinson, B. F. W., Bennett, T. O., Bahr, G. S., & Nelson, M. W. (2007). Multiple heuristic
evaluation table (mhet). Acedido a 2 de abril de 2013 de http://research.fit.edu/
carl/documents/MHET.pdf
Aviso 255/2010. (2010). Dirio da Repblica n.o 182, de 17 de setembro de 2010.
Beck, S. (1997). Evaluation criteria. the good, the bad & the ugly: or, why its a good ideia
to evaluate web sources. URL: http://lib.nmsu.edu/instruction/evalcrit.html
Bevan, N. (1995). Usability is quality of use. Proceedings of the 6th International Conference
on Human Computer Interaction.
Bevan, N. (1999). Quality in use: Meeting user needs for quality. Acedido a 14 de agosto
de 2014 de http://www.usabilitynet.org/papers/qiuse.pdf
Bevan, N. (2009). International standards for usability should be more widely used. Journal
of Usability Studies, 4 (3), 106-113.
Blackmon, M. H., Polson, P. G., Kitajima, M., & Lewis, C. (2002). Cognitive walkthrough
for the web. In Proceedings of the SIGCHI conference on human factors in computing
systems: Changing our world, changing ourselves (pp. 463470). Minneapolis, Minnesota, USA: ACM. URL: http://portal.acm.org/citation.cfm?id=503459 doi:
10.1145/503376.503459
Booth, P. A. (1989). An introduction to human-computer interaction.
Borsci, S., Kurosu, M., Federici, S., & Mele, M. L. (2013). Computer systems experiences of
users with and without disabilities: An evaluation guide for professionals. CRC Press.

87

Brajnik, G. (2004). Using automatic tools in accessibility and usability assurance. Acedido
a 2 de agosto de 2014 de http://link.springer.com/chapter/10.1007/978-3-540
-30111-0_18
Brooke, J. (1996). Sus: a "quick and dirty"usability scale : Usability evaluation in industry.
(P. W. Jordan, B. Thomas, & B. A. Weerdmeeste, Eds.). Taylor and Francis.
Card, S. K., Moran, T. P., & Newell, A. (1980). The keystroke-level model for user performance time with interactive systems. Commun. ACM , 23 (7), 396410. URL:
http://doi.acm.org/10.1145/358886.358895 doi: 10.1145/358886.358895
Card, S. K., Moran, T. P., & Newell, A. (1983). The psychology of human-computer interaction. Taylor & Francis. URL: http://books.google.pt/books?id=30UsZ8hy2ZsC
Carlisle, J. H. (1976). Evaluating the impact of office automation on top management
communication. In Proceedings of the june 7-10, 1976, national computer conference
and exposition (pp. 611616). New York, NY, USA: ACM. URL: http://doi.acm
.org/10.1145/1499799.1499885 doi: 10.1145/1499799.1499885
Carvalho, A. A. A. (2006). Indicadores de qualidade de sites educativos. URL: http://
nautilus.fis.uc.pt/personal/jcpaiva/disc/me/rec/03/04/01/texto1.pdf
Carvalho, R. M. (2008). Nova plataforma informtica do jornal de negcios. Acedido a 6 de
Agosto de 2014 de http://www.ricardomcarvalho.pt/blog/jornal-de-negocios/
Carvalho, R. M. (2013). Histria e origens da interaco pessoa-mquina. Acedido a
6 de maro de 2014 de http://www.ricardomcarvalho.pt/blog/historia-origens
-interaccao-pessoa-maquina/
Castro, J. A. (2010). Testes com utilizadores. Acedido a 26 de julho de 2014 de http://
developers.blogs.sapo.pt/36416.html
Chapanis, A. (1949). Applied experimental psychology: human factors in engineering design.
Wiley.
Chi, E. H., Pirolli, P., & Pitkow, J. (2000). The scent of a site: A system for analyzing
and predicting information scent, usage, and usability of a web site. In Proceedings
of the sigchi conference on human factors in computing systems (pp. 161168). New
York, NY, USA: ACM. URL: http://doi.acm.org/10.1145/332040.332423 doi:
10.1145/332040.332423
Chmiel, N. (Ed.). (2008). An introduction to work and organizational psychology: An
european perspective. Wiley-Blackwell.
Clark, J. (2006). To hell with wcag 2. Acedido a 19 de Fevereiro de 2012 de http://
www.alistapart.com/articles/tohellwithwcag2
ClickZ. (2015). Why mobile web still matters in 2015. Acedido a 20 de julho de
2015 de http://www.clickz.com/clickz/column/2388915/why-mobile-web-still
-matters-in-2015
Cooke, L., & Cuddihy, E. (2005). Using eye tracking to address limitations in think-aloud
protocol. In Professional communication conference, 2005. IPCC 2005. proceedings.
international (pp. 653658). doi: 10.1109/IPCC.2005.1494236
Coyier, C. (2009). Css sprites: What they are, why theyre cool, and how to use them.
Acedido a 2 de junho de 2014 de http://css-tricks.com/css-sprites/
Decreto do presidente da repblica n.o 52/2008. (2008). Dirio da Repblica n.o 145, de 29
de julho de 2008.
Decreto-lei no 102/2013. (2013). Dirio da Repblica n.o 142 de 25 de julho de 2013.
Decreto-lei no 11/2014. (2014). Dirio da Repblica n.o 15 de 22 de janeiro de 2014.
Decreto-lei no 112/2014. (2014). Dirio da Repblica n.o 132 de 11 de julho de 2014.
Decreto-lei no 117/2011. (2011). Dirio da Repblica n.o 239 de 15 de dezembro de 2011.
Decreto-lei no 121/2011. (2011). Dirio da Repblica n.o 249 de 29 de dezembro de 2011.
Decreto-lei no 123/2011. (2011). Dirio da Repblica n.o 249 de 29 de dezembro de 2011.

88

Decreto-lei no 125/2011. (2011). Dirio da Repblica n.o 249 de 29 de dezembro de 2011.

Decreto-lei no 126-a/2011. (2011). Decreto-Lei no 126-A/2011 de 29 de Dezembro.
Decreto-lei no 126-b/2011. (2011). Dirio da Repblica n.o 249 de 29 de dezembro de 2011.
Decreto-lei no 161-a/2013. (2013). Dirio da Repblica n.o 233-Supl de 2 de dezembro de
2013.
Decreto-lei no 167-c/2013. (2013). Dirio da Repblica n.o 253 de 31 de dezembro de 2013.
Decreto-lei no 17/2014. (2014). Dirio da Repblica n.o 24 de 4 de fevereiro de 2014.
Decreto-lei no 173/2014. (2014). Dirio da Repblica n.o 224 de 19 de novembro de 2014.
Decreto-lei no 18/2014. (2014). Dirio da Repblica n.o 24 de 4 de fevereiro de 2014.
Decreto-lei no 183/2014. (2014). Dirio da Repblica n.o 250 de 29 de dezembro de 2014.
Decreto-lei no 200/2012. (2012). Dirio da Repblica n.o 165 de 27 de agosto de 2012.
Decreto-lei no 266-g/2012. (2012). Dirio da Repblica n.o 252 de 31 de dezembro de 2012.
Decreto-lei no 40/2013. (2013). Dirio da Repblica n.o 54 de 18 de maro.
Decreto-lei no 96/2015. (2015). Dirio da Repblica n.o 104 de 25 de maio de 2015.
de Kock, E., van Biljon, J., & Pretorius, M. (2009). Usability evaluation methods: mind
the gaps. In Proceedings of the 2009 annual research conference of the south african
institute of computer scientists and information technologists (pp. 122131). Vanderbijlpark, Emfuleni, South Africa: ACM. URL: http://portal.acm.org/citation
.cfm?id=1632166&dl=GUIDE&coll=GUIDE&CFID=103999337&CFTOKEN=45012833 doi:
10.1145/1632149.1632166
Dingli, A., & Cassar, S. (2014). An intelligent framework for website usability. Advances in
Human-Computer Interaction.
Dingli, A., & Mifsud, J. (2011). Useful: A framework to mainstream web site usability
through automated evaluation. International Journal of Human Computer Interaction
(IJHCI), 2 (1), 10.
Diretiva 2009/136/ce.
(2009, 12).
Jornal Oficial da Unio Europeia L
337/11. URL: http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:L:
2009:337:0011:0036:PT:PDF
Dix, A., Finlay, J., Abowd, G., & Beale, R. (2003). Human-computer interaction (3rd
edition) (terceira ed.). Prentice Hall.
Donahue, G., Weinschenk, S., & Nowicki, J. (1999). Usability is good business. Acedido
a 2 de Maio de 2014 de http://interface.free.fr/Archives/Usability_Is_Good
_Business.pdf
Dumas, J., & Redish, J. (1999). A practical guide to usability testing. Intellect Ltd, Paperback.
Ed H. Chi, G. S. A. W. C. R. C. C. E. R. B. D. J. C. S. C., Adam Rosien. (2003). The
bloodhound project: Automating discovery of web usability issues using the infoscenttm simulator. Proceedings of the ACM SIGCHI Conference on Human Factors in
Computing Systems (CHI 03).
Electronics, E. (1959). Ergonomics for a computer. URL: http://www.idemployee.id.tue
.nl/g.w.m.rauterberg/presentations/shackel-1959.PDF (Acedido a 19 de Julho
de 2009)
Engelbart, D. C., & English, W. K. (1968, Dezembro). A research center for augmenting human intellect. AFIPS Conference Proceedings of the 1968 Fall Joint Computer
Conference, 33 , 395-410.
Factors, E. . H. (2012). Hywel murrell award. Acedido a 20 de julho de 2013 de http://
www.ergonomics.org.uk/awards/hywel-murrell/
FCT. (2015). Accessmonitor: validador automtico para as wcag desenvolvido pela unidade
acesso da fct - fundao para a cincia e a tecnologia, ip. Acedido a 21 de Julho de
2015 de http://www.acessibilidade.gov.pt/accessmonitor/
89

Fernandes, J., & Cardoso, C. (2013). Estudo sobre o estado da acessibilidade dos stios web
dos estabelecimentos de ensino superior.
Fernandes, J., & Cardoso, C. (2014). Acessibilidade dos contedos web dos municpios
portugueses.
Fernandez, A., Insfran, E., & Abraho, S. (2011). Usability evaluation methods for the web:
A systematic mapping study. Information and Software Technology, 53 (8), 789 - 817.
URL: http://www.sciencedirect.com/science/article/pii/S0950584911000607
(Advances in functional size measurement and effort estimation - Extended best papers)
doi: http://dx.doi.org/10.1016/j.infsof.2011.02.007
Fu, L., Salvendy, G., & Turley, L. (2002). Effectiveness of user testing and heuristic evaluation as a function of performance classification. Behaviour & Information Technology,
21 (2), 137-143.
Galitz, W. O. (1993). User-interface screen design (quarta ed.). John Wiley & Sons.
Garcia, A. C. B., Maciel, C., & Pinto, F. B. (2005). A quality inspection method to evaluate
E-Government sites. In M. Wimmer, R. Traunmller, . Grnlund, & K. Andersen
(Eds.), Electronic government (Vol. 3591, pp. 198209). Springer Berlin / Heidelberg.
URL: http://dx.doi.org/10.1007/11545156_19 (10.1007/11545156_19)
Gomes, I. (2005). Prototipagem em papel. Acedido a 22 de abril de 2014 de http://
www.ivogomes.com/blog/prototipagem-em-papel/
Gomes, I. (2007). Wcag samurai. Acedido a 28 de agosto de 2013 de http://www.ivogomes
.com/blog/wcag-samurai/
Gonalves, C. (2003). Enquadramento familiar das pessoas com deficincia: Uma anlise
exploratria dos resultados dos censos 2001. INE .
Gonalves, R., Pereira, J., Martins, J., Martins, J., & Branco, F. (2014). Acessibilidade web:
Ponto de situao das maiores empresas portuguesas 2014.
Google. (2010). Using site speed in web search ranking. Acedido a 20 de julho de 2015
de http://googlewebmastercentral.blogspot.pt/2010/04/using-site-speed-in
-web-search-ranking.html
Google. (2013). Is the web getting faster? Acedido a 14 de agosto de 2014 de http://
analytics.blogspot.pt/2013/04/is-web-getting-faster.html
Google. (2015a). About pagespeed insights. Acedido a 20 de Julho de 2015 de https://
developers.google.com/speed/docs/insights/about
Google. (2015b). Avoid plugins. Acedido a 20 de julho de 2015 de https://developers
.google.com/speed/docs/insights/AvoidPlugins?hl=en
Google. (2015c). Enable compression. Acedido a 20 de julho de 2015 de https://developers
.google.com/speed/docs/insights/EnableCompression
Google. (2015d). Improve server response time. Acedido a 20 de julho de 2015 de https://
developers.google.com/speed/docs/insights/Server
Google. (2015e). Mobile analysis in pagespeed insights. Acedido a 8 de abril de 2015 de
https://developers.google.com/speed/docs/insights/mobile
Google. (2015f). Remove render-blocking javascript. Acedido a 20 de julho de 2015 de
https://developers.google.com/speed/docs/insights/BlockingJS
Google. (2015g). Use legible font sizes. Acedido a 20 de Julho de 2015 de https://
developers.google.com/speed/docs/insights/UseLegibleFontSizes
Grassian, E. (2000). Thinking critically about world wide web resources. Acedido a 4 de
abril de 2014 de http://www.mscare.org/?page=Article0002
Griffiths, R. T. (2002). Chapter two: From arpanet to world wide web em history of the
internet, internet for historians (and just about everyone else). Acedido a 9 de maro
de 2013 de http://www.let.leidenuniv.nl/history/ivh/chap2.htm
Groote, S. L. D., & Dorsch, J. L. (2001, October). Online journals: impact on print journal

90

usage. Bulletin of the Medical Library Association, 89 (4), 372378. URL: http://www
.ncbi.nlm.nih.gov/pmc/articles/PMC57966/ (PMID: 11837259 PMCID: 57966)
Group, M. M. (2015). Internet growth statistics. Acedido a 20 de fevereiro de 2015 de
http://www.internetworldstats.com/stats.htm
Hertzum, M., & Jacobsen, N. E. (2003). The evaluator effect: A chilling fact about usability
evaluation methods. International Journal of Human-Computer Interaction, 15 (1),
183. URL: http://www.informaworld.com/10.1207/S15327590IJHC1501_14 doi:
10.1207/S15327590IJHC1501_14
Hewett, T., Baecker, R., Card, S., Carey, T., Gasen, J., Mantei, M., . . . Verplank, W.
(1992). Curricula for human-computer interaction. Acedido a 3 de dezembro de 2014
de http://old.sigchi.org/cdg/cdg2.html
Huberman, B. A., Pirolli, P. L. T., Pitkow, J. E., & Lukose, R. M. (1997). Strong regularities
in world wide web surfing.
INE. (2011). Dificuldades (n.o ) da populao to com dificuldades por local de residncia ( data dos censos 2011), sexo, grupo etrio, tipo de dificuldade e grau de dificuldade; decenal - ine, recenseamento da populao e habitao. Acedido a 4 de
Julho de 2013 de http://censos.ine.pt/xportal/xmain?xpid=CENSOS&xpgid=ine
_censos_indicador&contexto=ind&indOcorrCod=0006371&selTab=tab10
Instone, K. (2010). Navigation stress test. Acedido a 2 de junho de 2014 de http://
instone.org/navstress
ISO. (1998). Iso9241-11: Ergonomic requirments for office work with visual disply terminals
(vdts) - part 11: Guidance on usability [Computer software manual]. Geneva, CH.
URL: www.it.uu.se/edu/course/homepage/acsd/vt10/ISO9241part11.pdf
ISO. (1999). Iso13407: Human centred design processes for interactive systems [Computer
software manual]. Geneva, CH. URL: http://www.iso.org/cate/d21197.html
ISO. (2010). Iso9241-210 human centred design processes for interactive systems [Computer software manual]. Geneva, CH. URL: http://www.iso.org/iso/home/store/
catalogue_tc/catalogue_detail.htm?csnumber=52075
ISO.
(2015).
Iso/dis 9241-11: Ergonomics of human-system interaction part
11: Usability: Definitions and concepts [Computer software manual].
Geneva, CH. URL: http://www.iso.org/iso/home/store/catalogue_ics/catalogue
_detail_ics.htm?csnumber=63500
ISO/IEC. (1991). Iso/iec9126: Software enginnering product quality [Computer software
manual]. Geneva, CH.
ISO/IEC. (1994). Quality management and quality assurance vocabulary [Computer
software manual]. Geneva, CH. URL: http://www.iso.org/iso/iso_catalogue/
catalogue_ics/catalogue_detail_ics.htm?csnumber=20115
ISO/IEC. (2001). Iso/iec9126: Software engineering product quality part1: Quality
model. [Computer software manual]. Geneva, CH.
ISO/IEC. (2011). Iso/iec 25010:2011: Systems and software engineering systems and
software quality requirements and evaluation (square) system and software quality
models [Computer software manual]. Geneva, CH: ISO.
Ivory, M., & Hearst, M. A. (2001). The state of the art in automating usability evaluation
of user interfaces. ACM Computing Surveys (CSUR), 33(4), 470-516.
Ivory, M. Y., & Chevalier, A. (2002). A study of automated web site evaluation tools (Tech.
Rep.). University of Washington. URL: ftp://ftp.cs.washington.edu/tr/2002/
10/UW-CSE-02-10-01.pdf
Ivory, M. Y., & Hearst, M. A. (2001, December). The state of the art in automating
usability evaluation of user interfaces. ACM Comput. Surv., 33 (4), 470516. URL:
http://doi.acm.org/10.1145/503112.503114 doi: 10.1145/503112.503114

91

Ivory, M. Y., Mankoff, J., & Le, A. (2003a). Using automated tools to improve web site
usage by users with diverse abilities. Human-Computer Interaction Institute, 117.
Ivory, M. Y., Mankoff, J., & Le, A. (2003b). Using automated tools to improve web site
usage by users with diverse abilities. IT&SOCIETY , 1 (3), 195-236.
Jeffries, R., Miller, J. R., Wharton, C., & Uyeda, K. (1991). User interface evaluation
in the real world: a comparison of four techniques. In Proceedings of the SIGCHI
conference on human factors in computing systems: Reaching through technology (pp.
119124). New Orleans, Louisiana, United States: ACM. URL: http://portal.acm
.org/citation.cfm?id=108862 doi: 10.1145/108844.108862
Jordan, P. W. (1998). An Introduction To Usability. CRC (1998), Edition: 1, Paperback,
136 pages.
Juran, J. (1995). A history of managing for quality: The evolution, trends, and future
directions of managing for quality. Milwaukee: ASQC Press.
Kadlec, T. (2012). Implementing responsive design: Building sites for an anywhere,
everywhere web (voices that matter) (New Riders ed.). Berkeley.
Karat, C., Campbell, R., & Fiegel, T. (1992). Comparison of empirical testing and walkthrough methods in user interface evaluation. In Proceedings of the SIGCHI conference
on human factors in computing systems (pp. 397404). Monterey, California, United States: ACM. URL: http://portal.acm.org/citation.cfm?id=142750.142873
doi: 10.1145/142750.142873
King, A. B. (2008). Website optimization: Speed, search engine & conversion rate secrets
(primeira ed.). OReilly Media.
Krishnamurthy, S. (2002). E-Commerce management: Text and cases. South-Western
College Pub.
Krug, S. (2005). Dont Make Me Think: A Common Sense Approach to Web Usability
(segunda ed.). New Riders Press.
Kurosu, M. (2007). Concept of usability revisited. In J. Jacko (Ed.), Human-computer
interaction. interaction design and usability (Vol. 4550, p. 579-586). Springer Berlin
Heidelberg.
Landauer, T. K. (1996). The trouble with computers: Usefulness, usability, and productivity.
The MIT Press.
Lei n.o 3/2004. (2004). Dirio da Repblica de 15 de Janeiro de 2004. Lisboa.
Lei n.o 36/2011. (2011). Dirio da Repblica n.o 118 de 21 de Junho de 2011. Lisboa.
Lei n.o 46/2012. (2012). Dirio da Repblica n.o 167 de 29 de agosto de 2012. Lisboa.
Lei n.o 66-b/2007. (2004). Dirio da Repblica no 250 de 28 de dezembro de 2007. Lisboa.
Lei no 67/2013. (n.d.). Dirio da Repblica n.o 165 de 28 de agosto de 2013.
Levi, M. D., & Conrad, F. G. (2008). Usability testing of world wide web sites. Acedido a 9
de Dezembro de 2014 de http://stats.bls.gov/ore/htm_papers/st960150.htm
Lewis, C., & Rieman, J. (1993). Task-centered user interface design: A practical introduction.
Acedido a 26 de janeiro de 2014 de http://hcibib.org/tcuid/chap-4.html#4-1
Livari, J., & Livari, N. (2010, maro). Varieties of user-centredness: an analysis of four
systems development methods. Information Systems Journal , 21 (2), 125-153.
Loveday, L., & Niehaus, S. (2007). Web design for ROI: turning browsers into buyers &
prospects into leads. New Riders Press (2007), Paperback, 216 pages.
Mardis, L., & Ury, C. (2003). Make evaluating websites a part of the research process.
Acedido a 6 de agosto de 2014 de http://www.nwmissouri.edu/library/courses/
evaluation/edeval.htm (Northwest Missouri State University, Owens Library)
Martins, J. L. B. (2008). Avaliao de acessibilidade dos stios web das empresas portuguesas
(Unpublished masters thesis). UTAD.
Matera, M., Rizzo, F., & Carughi, G. T. (2006). Web usability: principles and evaluation

92

methods in web engineering. Springer , 143148.

Meister, D. (1999). The history of human factors and ergonomics. Mahwah, N.J.: Lawrence
Erlbaum Associates.
Merholz, P. (2014). Whither "user experience"? Acedido a 20 de julho de 2014 de http://
www.peterme.com/index112498.html
Mich, L., Franch, M., & Gaio, L. (2003). Evaluating and designing web site quality (Tese
de Doutoramento, Trento University, Italy). URL: http://ieeexplore.ieee.org//
xpls/abs_all.jsp?arnumber=1167920
Miller, R. B. (1971). Human ease of use criteria and their tradeoffs. IBM .
Molich, R., Ede, M. R., Kaasgaard, K., & Karyukin, B.
(2004).
Comparative
usability evaluation. Behaviour & Information Technology, 23 (1), 65. URL:
http://www.informaworld.com/10.1080/0144929032000173951
doi: 10.1080/
0144929032000173951
Moreira, P. S. (2014). Acessibilidade dos contedos web no setor da sade.
Morville, P., & Rosenfeld, L. (2006). Information architecture for the world wide web:
Designing large-scale web sites. OReilly Media, Inc. (2006), Edition: 3, Paperback,
526 pages.
Moura, F. (2009). Avaliao da acessibilidade dos stios web das pmes portuguesas (Unpublished masters thesis). UTAD.
NCAM. (n.d.). Web access project - web access symbol. Acedido a 29 de maio de 2014 de
http://ncam.wgbh.org/webaccess/symbolwinner.html
Nielsen, J. (1993). Usability engineering. Morgan Kaufmann.
Nielsen, J. (1995). Severity ratings for usability problems. URL: http://www.useit.com/
papers/heuristic/severityrating.html
Nielsen, J. (1999). Designing Web Usability (primeira, Ed.). Peachpit Press.
Nielsen, J. (2000). Why you only need to test with 5 users. Alertbox . URL: http://
www.useit.com/alertbox/20000319.html
Nielsen, J. (2001). Usability metrics. URL: http://www.useit.com/alertbox/20010121
.html (Acedido a 19 de Julho de 2009)
Nielsen, J. (2003a). Paper prototyping: Getting user data before you code. Alertbox . URL:
http://www.useit.com/alertbox/20030414.html
Nielsen, J. (2003b). Usability 101: Introduction to usability. Acedido a 29 de novembro de 2013 de http://www.nngroup.com/articles/usability-101-introduction
-to-usability/
Nielsen, J. (2006). Prioritizing Web Usability (primeira, Ed.). New Riders Press.
Nielsen, J. (2010). Website response times. URL: http://www.nngroup.com/articles/
website-response-times/
Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability
problems. In Interchi 93: Proceedings of the interchi 93 conference on human factors
in computing systems (pp. 206213). Amsterdam, The Netherlands, The Netherlands:
IOS Press.
Nielsen, J., & Mack, R. (1994). Heuristic evaluation, usability inspection methods. NY,
EUA: John Wiley & Sons.
Nielsen, J., & Molich, R. (1990). Heuristic evaluation of user interfaces. Proc. ACM CHI90
Conf. (Seattle, WA, 1-5 April),, 249-256.
Nielsen, J., & Pernice, K. (2010). Eyetracking web usability. New Riders.
Norman, D. (1986). Cognitive engineering. in: Usercentered design: New perspectives in
humancomputer interaction. Lawrence Erlbaum Associates.
Norman, D. (1998). The invisible computer: Why good products can fail, the personal
computer is so complex, and information appliances are the solution. The MIT Press.

93

Norman, D. (2002). The design of everyday things. Basic Books.

Oliveira, J. N., Santos, L., & Amaral, L. (2003). Guia de boas prticas na construo de
web sites da administrao directa e indirecta do estado.
Olsina, L. (1999). Metodologa cuantitativa para la evaluacin y comparacin de la calidad
de sitios web (Tese de Doutoramento). Universidad Nacional de La Plata, Argentina.
Olson, G., & Olson, J. (2003). Human-computer interaction: Psychological aspects of the
human use of computing. ANNUAL REVIEW OF PSYCHOLOGY , 54 , 491-516.
Paciello, M. G. (2000). Web accessibility for people with disabilities. Focal Press.
Pearrow, M. (2000). Web site usability handbook. Charles River Media.
Pernice, K., & Nielsen, J. (2009). Eyetracking methodology: How to conduct and evaluate
usability studies using eyetracking.
Polson, P., Lewis, C., Rieman, J., & Wharton, C. (1992). Cognitive walkthrough: A method
for theory-based evaluation of user interfaces. International Journal of Man-Machine
Studies, 36 (741-73).
Pordata. (2015). Indivduos que utilizam computador e internet em % do total de indivduos:
por sexo. Acedido a 3 de janeiro de 2015 de http://www.pordata.pt/Portugal/
Ambiente+de+Consulta/Tabela/5690304
Powell, T. (2000). Web design: The complete reference. Osborne/McGraw-Hill,U.S.
Preece, J., Rogers, Y., & Sharp, H. (2002). Interaction design: Beyond Human-Computer
interaction. John Wiley & Sons.
Priberam. (2015a). Significado/definio de acessvel no dicionrio priberam da lngua
portuguesa. Acedido a 28 de setembro de 2015 de http://www.priberam.pt/dlpo/
acess%C3%ADvel
Priberam. (2015b). Significado/definio de usabilidade no dicionrio priberam da lngua portuguesa. Acedido a 19 de julho de 2015 de http://www.priberam.pt/dlpo/
usabilidade
Quesenbery, W. (2001). Using the 5es to understand users. Acedido a 9 de maio de 2010 de
http://www.wqusability.com/articles/getting-started.html
Resoluo da assembleia da repblica n.o 35/2008. (2008). Dirio da Repblica n.o 145, de
29 de julho de 2008.
Resoluo do conselho de ministros n.o 155/2007 (Dirio da Repblica n.o 190 de 2 de
Outubro de 2007 ed.). (2007). Lisboa.
Resoluo do conselho de ministros n.o 22/2001 (Dirio da Repblica n.o 49 de 27 de Fevereiro de 2001 ed.). (2001). Lisboa.
Resoluo do conselho de ministros n.o 91/2012 (Dirio da Repblica n.o 216 de 8 de Novembro de 2012 ed.). (2012). Lisboa.
Resoluo do conselho de ministros n.o 97/1999 (Dirio da Repblica n.o 199 de 26 de
Agosto de 1999 ed.). (1999). Lisboa.
Ribeiro, C. F. L. (2013). Uma abordagem antropocntrica no desenvolvimento de dispositivos
mdicos (Masters thesis, Universidade do Porto). URL: http://hdl.handle.net/
10216/69670
Robins, D., & Holmes, J. (2008). Aesthetics and credibility in web site design. Inf. Process. Manage., 44 (1), 386399. URL: http://portal.acm.org/citation.cfm?id=
1315064
Rosenfeld, L. (2004). Ia heuristics for search systems.
Rubin, J. (1994). Handbook of usability testing: How to plan, design, and conduct effective
tests. Wiley.
Samurai, W. (2008a). Introduction to wcag samurai errata for web content accessibility
guidelines (wcag) 1.0. Acedido a 15 de fevereiro de 2014 de http://www.wcagsamurai
.org/erratas/errata-listing/

94

Samurai, W. (2008b). Wcag samurai errata for web content accessibility guidelines (wcag)
1.0. Acedido a 15 de Fevereiro de 2014 de http://wcagsamurai.org/errata/errata
.html
Santos, L., & Amaral, L. (2012). Presena na internet das juntas de freguesia portuguesas em
2009 : estudo sobre local egovernment em portugal. URL: http://www3.dsi.uminho
.pt/gavea/downloads/EstudoCM2009.pdf
Sauro, J. (2012). How effective are heuristic evaluations? Acedido a 12 de junho de 2015
de http://www.measuringu.com/blog/effective-he.php
SEAP. (2012). Relatrio final do plano de reduo e melhoria da administrao cental
(premac). Acedido a 13 de agosto de 2015 de http://www.portugal.gov.pt/media/
782284/20121128-PREMAC-Balanco-Final.pdf
Shackel, B. (1981). The concept of usability. Poughkeepsie, NY: Proceedings of IBM Software
ans Information Usability Symposium.
Shackel, B. (1986). Ergonomics in design for usability. In Proceedings of the second conference
of the british computer society, human computer interaction specialist group on people
and computers: Designing for usability (p. 44-64). New York, NY, USA: Cambridge
University Press.
Shackel, B. (1991). Usability - context, framework, design and evaluation. In B. S. . S. Richardson (Ed.), Human factors for informatics usability (p. 21-38). Cambridge: Cambridge University Press.
Shneiderman, B. (1986). Designing the user interface: strategies for effective humancomputer interaction. Addison-Wesley Longman Publishing Co., Inc. URL: http://
portal.acm.org/citation.cfm?id=6682
Souders, S. (2007). High performance web sites: Essential knowledge for Front-End engineers
(primeira ed.). OReilly Media.
Souders, S.
(2008).
High-performance web sites.
Communications of ACM ,
51 (12), 36.
URL: http://portal.acm.org/citation.cfm?id=1409360&coll=
ACM&dl=ACM&CFID=101867080&CFTOKEN=87038769
Suarez, A. (2005). Comunicao institucional no ensino superior: usabilidade e visitas
virtuais num estudo de caso (MSc Thesis, Universidade do Porto). URL: http://
bibliotecadigital.ipb.pt/handle/10198/444
Tognazzini, B. (2014). Primeiros princpios do interaction design (revised and expanded). Acedido a 5 de junho de 2014 de http://asktog.com/atc/principles-of
-interaction-design/
Toms, C. (2014). A acessibilidade das plataformas de elearning em instituies de ensino
pblico em portugal: contributos iniciais. URL: http://www.panoramaelearning.pt/
wp-content/uploads/2014/04/AcessibilidadeElearningESPP.pdf
UMIC. (2008). Conformidade dos stios da administrao pblica na internet com o nvel
"a"das wcag 1.0 do w3c. Acedido a 2 de maio de 2014 de http://www.umic.pt/
images/stories/publicacoes2/Rel_Acess_AP_Fev_2008.pdf
Vidigal, L. (2002). A face oculta da governana: Cidadania, administrao pblica e sociedade. Lisboa: INA. (Captulo: A cidadania activa e as novas comunidades virtuais O papel das TIC no relacionamento entre o Estado e o Cidado)
Vise, D. A. (2008). The google story (quarta ed.). Pan.
Vu, K.-P. L., & Proctor, R. W. (2011). Handbook of human factors in web design. California
State University; Prentice Hall (2003).
W3C. (1999). Cool uris dont change. Acedido a 4 de agosto de 2010 de http://www.w3.org/
Provider/Style/URI
W3C. (2012a). Social factors in developing a web accessibility business case for your organization. Acedido a 5 de agosto de 2014 de http://www.w3.org/WAI/bcase/soc

95

W3C. (2012b). W3c web content accessibility guidelines 2.0 approved as iso/iec international
standard. Acedido a 21 de outubro de 2014 de http://www.w3.org/2012/07/wcag2pas
-pr.html
W3C. (2014). Introduo s noes sobre as wcag 2.0. Acedido a 20 de outubro de 2014 de
http://www.acessibilidade.gov.pt/w3/TR/UNDERSTANDING-WCAG20/intro.html
W3C. (2015a). Current members of the world wide web consortium (w3c). Acedido a 5 de
setembro de 2015 de http://www.w3.org/Consortium/Member/List
W3C. (2015b). Mission of the world wide web consortium (w3c). Acedido a 3 de agosto de
2015 de http://www.w3.org/Consortium/mission
W3C. (2015c). Syntax and basic data types: lengths. Acedido a 25 de julho de 2015 de
http://www.w3.org/TR/CSS2/syndata.html#length-units
W3C. (2015d). Web accessibility evaluation tools list. Acedido a 21 de julho de 2015 de
http://www.w3.org/WAI/ER/tools/
WAI. (1999). Web content accessibility guidelines 1.0. Acedido a 19 de outubro de 2014 de
http://www.w3.org/TR/WCAG10/
WAI. (2005). User agent accessibility guidelines (uaag) overview. Acedido a 23 de maro de
2014 de http://www.w3.org/WAI/intro/uaag.php
WAI. (2008). Tcnicas e falhas para as directrizes de acessibilidade para o contedo da web
2.0. Acedido a 21 de outubro de 2014 de http://www.acessibilidade.gov.pt/w3/
TR/WCAG20-TECHS/
WAI. (2011a). Web accessibility initiative (wai). Acedido a 17 de outubro de 2013 de
http://www.w3.org/WAI/gettingstarted/Overview.html
WAI. (2011b). Web accessibility initiative (wai). Acedido a 28 de setembro de 2015 de
http://www.w3.org/WAI/intro/components.php
WAI. (2013). Authoring tool accessibility guidelines 2.0. Acedido a 17 de Maro de 2014 de
http://www.w3.org/WAI/intro/atag.php
WAI. (2014). Diretrizes de acessibilidade para contedo web (wcag) 2.0. Acedido a 20
de outubro de 2014 de http://www.w3.org/Translations/WCAG20-pt-PT/WCAG20-pt
-PT-20141024/
WebAIM. (2009). Webaims wcag 2.0 checklist. URL: http://webaim.org/standards/
wcag/ (6 de Junho de 2014)
Wickens, C. D., Lee, J., Liu, Y., & Becker, S. (2003). An introduction to human factors
engineering (segunda ed.). Prentice Hall.
Williams, E. (2005). Ten rules for web startups. Acedido a 19 de hulho de 2014 de http://
evhead.com/2005/11/ten-rules-for-web-startups.asp
YesWWW. (2015). Why use www? Acedido a 20 de julho de 2015 de https://developers
.google.com/speed/docs/insights/UseLegibleFontSizes
Zahran, D. I., Al-Nuaim, H. A., Rutter, M. J., & Benyon, D. (2014). A comparative
approach to web evaluation and website evaluation methods. International Journal of
Public Information Systems, 2014:1 .

96

Apndices

97

Apndice A

Classificao final dos organismos

analisados, por rea funcional

99

Tempo de carregamento (s)

Pontuao
AcessMonitor

Tamanho pgina
inicial (KB)

rea funcional/Organismo
1 Geral - Estado (valores mdios)
Assembleia da Repblica
Conselho Econmico e Social
Presidncia da Repblica
Provedor de Justia
2 Presidncia do Conselho de Ministros (valores
mdios)
Agncia para a Modernizao Administrativa, I. P.
Alto Comissariado para as Migraes, I.P
Biblioteca Nacional de Portugal
Centro de Gesto da Rede Informtica do Governo
Comisso para a Cidadania e a Igualdade de Gnero
Direo Regional da Cultura do Alentejo
Direo Regional da Cultura do Algarve
Direo Regional da Cultura do Centro
Direo Regional da Cultura do Norte
Direo-Geral das Autarquias Locais
Direo-Geral do Livro, dos Arquivos e das Bibliotecas
Direo-Geral do Patrimnio Cultural
Direco Geral das Artes
Gabinete de Estratgia, Planeamento e Avaliao Culturais
Gabinete Nacional de Segurana
Inspeco-Geral das Actividades Culturais
Instituto do Cinema e do Audiovisual, I. P.

Classificao
Final

Tabela A.1: Classificao final dos organismos analisados, organizados por rea funcional

58%
48%
54%
69%
61%
46%

2.50
1.49
1.65
2.36
4.48
2.90

6.40
5.00
5.80
7.70
7.10
5.86

489
739
325
345
548
2170

48%
51%
34%
63%
68%
33%
41%
25%
41%
46%
39%
73%
49%
31%

0.55
4.35
4.36
1.51
0.90
3.41
0.80
3.13
4.70
4.14
2.91
5.56
4.22
3.80

6.00
4.20
4.10
10.00
7.50
4.00
4.80
3.60
3.80
4.70
6.30
9.80
6.10
3.70

128
2700
247
267
938
2400
4100
4700
10000
12000
1200
2400
410
573

51%
2.85
7.80
679
39%
4.10
4.70
282
35%
1.18
4.00
175
Continua na prxima pgina

100

Tempo de carregamento (s)

Pontuao
AcessMonitor

Tamanho pgina
inicial (KB)

rea funcional/Organismo
Instituto Nacional de Estatstica, I. P.
Instituto Portugus do Desporto e Juventude, I. P.
Portal do Governo
Secretaria Geral do Conselho de Ministros
3 Finanas (valores mdios)
Autoridade Tributria e Aduaneira
Direo-Geral da Administrao e do Emprego Pblico
Direo-Geral da Qualificao dos Trabalhadores em
Funes Pblicas (INA)
Direo-Geral de Proteo Social aos Trabalhadores em
Funes Pblicas (ADSE)
Direo-Geral do Oramento
Direo-Geral do Tesouro e Finanas
Entidade de Servios Partilhados na Administrao Pblica, I.P.
Gabinete de Planeamento, Estratgia, Avaliao e Relaes Internacionais
Inspeo-Geral de Finanas
Secretaria-Geral (Ministrio das Finanas)
Servios Sociais da Administrao Pblica
4 Negcios Estrangeiros (valores mdios)
Cames - Instituto da Cooperao e da Lngua, I.P.
Direo-Geral dos Assuntos Consulares e das Comunidades Portuguesas
Instituto de Investigao Cientfica Tropical, I.P
5 Defesa Nacional (valores mdios)
Direo-Geral de Recursos de Defesa Nacional
Estado-Maior General das Foras Armadas
Exrcito
Fora Area
Instituto Ao Social das Foras Armadas, I.P.
Instituto da Defesa Nacional
Marinha
6 Administrao Interna (valores mdios)
Autoridade Nacional de Proteo Civil
Autoridade Nacional de Segurana Rodoviria
Guarda Nacional Republicana
Inspeo-Geral da Administrao Interna
Polcia de Segurana Pblica
Secretaria-Geral do MAI
Servio de Estrangeiros e Fronteiras
7 Justia (valores mdios)
Direo-Geral da Administrao da Justia

Classificao
Final

Tabela A.1 Continuao da pgina anterior

44%
39%
54%
71%
45%
53%
45%
51%

1.44
1.43
3.00
2.69
3.13
1.51
1.44
3.06

4.50
5.50
5.70
10.00
5.16
7.00
5.70
5.30

449
480
3300
674
848
400
232
950

50%

1.50

5.70

232

38%
43%
50%

1.62
3.19
2.35

4.20
6.10
6.40

2400
1500
1100

39%

14.41

5.10

1000

34%
44%
48%
55%
54%
73%

1.87
1.21
2.32
2.30
2.49
2.49

3.10
4.10
4.10
6.77
5.50
9.90

549
564
405
1226
1700
1700

39%
1.92
4.90
41%
5.16
4.37
35%
1.66
5.70
45%
2.77
5.70
38%
1.50
3.20
45%
3.30
3.00
45%
1.14
4.70
41% 20.95
3.50
40%
4.79
4.80
43%
3.29
3.87
41%
2.46
2.70
48%
3.87
4.20
35%
2.75
4.20
59%
3.47
5.00
35%
4.30
3.30
38%
4.88
4.40
46%
1.29
3.30
43%
3.55
5.57
44%
2.09
4.30
Continua na prxima

278
2446
1900
6300
1800
931
490
3600
2100
4745
1000
8300
7100
2400
2000
12200
214
1022
399
pgina

101

Tempo de carregamento (s)

Pontuao
AcessMonitor

Tamanho pgina
inicial (KB)

rea funcional/Organismo
Direo-Geral da Poltica de Justia
Inpeo-Geral dos Servios de Justia
Instituto de Gesto Financeira e Equipamentos da Justia, I.P.
Instituto dos Registos e do Notariado, I.P
Instituto Nacional da Propriedade Industrial, I.P
Instituto Nacional de Medicina Legal e Cincias Forenses, I.P.
Polcia Judiciria
Secretaria-Geral do MJ
8 Economia (valores mdios)
Agncia para a Competitividade e Inovao (IAPMEI),
I.P.
Autoridade de Segurana Alimentar e Econmica
Autoridade Nacional da Aviao Civil
Direo-Geral das Atividades Econmicas
Direo-Geral do Consumidor
Gabinete de Estratgia e Estudos
Instituto do Turismo de Portugal, I.P.
Instituto dos Mercados Pblicos, do Imobilirio e da
Construo, I.P.
Instituto Portugus da Qualidade, I.P.
Instituto Portugus de Acreditao, I.P
Laboratrio Nacional de Engenharia Civil, I.P.
Secretaria-Geral do ME
9 Agricultura e do Mar (valores mdios)
Direo Regional de Agricultura e Pescas de Lisboa e
Vale do Tejo
Direo Regional de Agricultura e Pescas do Alentejo
Direo Regional de Agricultura e Pescas do Algarve
Direo Regional de Agricultura e Pescas do Centro
Direo Regional de Agricultura e Pescas do Norte
Direo-Geral de Agricultura e Desenvolvimento Rural
Direo-Geral de Alimentao e Veterinria
Direo-Geral de Poltica do Mar
Direo-Geral de Recursos Naturais, Segurana e Servios Martimos
Gabinete de Planeamento, Polticas e Administrao
Geral
Instituto da Conservao da Natureza e das Florestas,
I.P.
Instituto da Vinha e do Vinho, I.P

Classificao
Final

Tabela A.1 Continuao da pgina anterior

46%
39%
48%

2.06
5.88
2.22

6.80
5.00
5.50

240
173
1200

41%
44%
46%

3.49
2.43
4.64

7.10
6.50
6.30

325
289
5600

34%
46%
41%
44%

7.11
1.99
3.70
1.38

3.80
4.80
4.06
4.20

399
574
934
390

40%
38%
40%
31%
44%
35%
45%

2.90
6.20
4.45
5.35
4.63
2.00
3.15

3.40
5.40
4.10
3.90
4.10
4.00
5.10

412
1200
187
964
101
2200
401

36%
40%
60%
41%
40%
41%

4.01
3.72
3.68
2.88
6.00
2.60

3.20
3.60
4.00
3.70
4.69
4.90

1800
690
2700
161
3113
4400

44%
26%
40%
36%
33%
29%
38%
39%

2.62
33.20
16.50
2.19
3.60
2.95
1.80
1.50

6.40
3.10
4.30
3.80
4.80
3.60
4.40
4.10

5900
12700
7000
3000
3700
696
334
322

53%

1.00

5.20

1800

53%

2.24

5.40

4400

36%
1.83
4.30
830
Continua na prxima pgina

102

Tempo de carregamento (s)

Pontuao
AcessMonitor

Tamanho pgina
inicial (KB)

rea funcional/Organismo
Instituto de Financiamento da Agricultura e Pescas,
I.P.
Instituto dos Vinhos do Douro e do Porto, I.P
Instituto Nacional de Investigao Agrria e Veterinria, I.P
Instituto Portugus do Mar e da Atmosfera, I.P.
10 Solidariedade, Emprego e Segurana Social
(valores mdios)
Autoridade para as Condies do Trabalho
Caixa-Geral de Aposentaes, I.P.
Casa Pia de Lisboa, I.P.
Direo-Geral da Segurana Social
Gabinete de Estratgia e Planeamento
Instituto Nacional do Emprego e da Formao Profissional, I.P.
Secretaria-Geral do MSESS
11 Sade (valores mdios)
Administrao Central do Sistema de Sade, I.P.
Administrao Regional de Sade de Lisboa e Vale do
Tejo, I.P.
Administrao Regional de Sade do Alentejo, I.P.
Administrao Regional de Sade do Algarve, I.P.
Administrao Regional de Sade do Centro, I.P
Administrao Regional de Sade do Norte, I.P.
Direo-Geral da Sade
INEM - Instituto Nacional de Emergncia Mdica, I.P.
INFARMED - Autoridade Nacional do Medicamento e
Produtos de Sade, I.P
Inspeo-Geral das Atividades em Sade
Instituto Nacional de Sade Doutor Ricardo Jorge, I.P.
Instituto Portugus do Sangue e da Transplantao, I.P.
Secretaria-Geral do MS
Servio de Interveno nos Comportamentos Aditivos e
nas Dependncias
12 Ambiente, Ordenamento do Territrio e
Energia (valores mdios)
Agncia Portuguesa do Ambiente, I.P
Direo-Geral de Energia e Geologia
Direo-Geral do Territrio
Inspeo-Geral dos Ministrios do Ambiente, Ordenamento do Territrio e da Agricultura e do Mar
Instituto da Habitao e da Reabilitao Urbana, I.P
Laboratrio Nacional de Energia e Geologia, I.P.

Classificao
Final

Tabela A.1 Continuao da pgina anterior

39%

1.18

6.20

470

39%
41%

19.85
0.90

4.30
4.50

2500
809

51%
47%

2.06
2.65

5.70
5.21

954
1295

35%
45%
51%
66%
43%
48%

3.31
1.83
1.40
1.54
1.88
7.66

3.90
6.90
4.60
6.10
5.10
4.60

841
481
2700
636
463
3700

44%
40%
35%
48%

0.90
3.45
2.46
2.66

5.30
4.69
3.70
6.80

244
2304
659
3800

45%
46%
35%
35%
33%
45%
49%

5.22
3.65
3.38
1.92
2.90
2.66
3.63

5.30
6.50
3.60
3.40
3.40
5.00
4.90

9800
1900
1400
525
693
1500
4600

39%
31%
48%
40%
34%

1.86
7.35
2.65
2.00
5.98

3.90
2.90
5.70
4.80
5.70

313
749
3500
913
1900

43%

3.71

4.84

1851

46%
40%
45%
43%

1.91
3.90
12.00
1.52

5.20
4.20
2.90
6.70

1900
507
7500
268

39%
2.20
4.80
384
53%
2.46
5.60
998
Continua na prxima pgina

103

Tempo de carregamento (s)

Pontuao
AcessMonitor

Tamanho pgina
inicial (KB)

rea funcional/Organismo
Secretaria-Geral do MAOTE
13 Educao e Cincia (valores mdios)
Agncia Nacional para a Qualificao e o Ensino Profissional, I.P.
Centro Cientfico e Cultural de Macau, I.P
Direo-Geral da Administrao Escolar
Direo-Geral da Educao
Direo-Geral de Estatsticas da Educao
Direo-Geral do Ensino Superior
Direo-Geral dos Estabelecimentos Escolares
Fundao para a Cincia e a Tecnologia, I.P.
Inspeo-Geral da Educao e Cincia
Instituto de Avaliao Educativa I.P.
Instituto de Gesto Financeira da Educao, I.P.
Secretaria-Geral do MEC
Mdia total

Classificao
Final

Tabela A.1 Continuao da pgina anterior

39%
54%
51%

2.00
1.60
3.34

4.50
5.74
5.90

1400
785
345

38%
45%
80%
66%
40%
38%
85%
55%
54%
50%
48%
45%

1.72
1.39
1.79
1.04
1.56
1.99
1.53
0.80
0.60
1.54
1.94
3.51

4.50
4.60
7.40
8.80
3.70
4.50
8.90
5.30
6.00
4.50
4.80
5.08

163
346
2500
353
290
1300
381
151
253
832
2500
1902

104

Apndice B

Tempos mdios de carregamento

105

1
1

11

10

1
3

1
1
1

1
1

1
4

5
1

1
1

12

16

14

9
1
1
6
1

1
1
1
1
4

7
1
5
1
21

11

12

Total

13 Educao e Cincia

12 Ambiente, Ordenamento do Territrio e Energia

7 Justia

11 Sade

6 Administrao Interna

10 Solidariedade, Emprego e Segurana Social

5 Defesa Nacional

9 Agricultura e do Mar

4 Negcios Estrangeiros

7
1

8 Economia

3 Finanas

2 Presidncia do Conselho de Ministros

1 Estado - Geral

Tempo de carregamento/Local
Alojamento
At 2 segundos
Amesterdo, Pases Baixos
Braga
Lisboa
Londres
Munique, Alemanha
Paris, Frana
Porto
Redmond, EUA
Setbal
Entre 2 e 4 segundos
Braga
Faro
Lisboa
Maia
Munique, Alemanha
New Jersey, EUA
Porto
Mais de 4 segundos
Braga
Lisboa
Tomar
Total

48
1
1
38
1
1
1
3
1
1
53
1
1
46
2
1
1
1
29
1
27
1
130

Tabela B.1: Tempo mdio de carregamento por localizao do centro de dados (datacenter)

106

1
1

2
2
1
1
1

2
2
4
1
1

2
1

1
1
1
4
4

3
3
5
1
2
1

1
1

9
1

2
1
1
4
4
1
1
7
5
1
1

4
2
2
1
3
2

1
1
1

10

107

1
ipdj

2
2
1
1
1
1

20
1
1
1
1
3
2
1
2
1
1

5
4
1
6
1
1
1
1
1
7
5
1

6
2
1
2
2

8
5
1
2

14

13

1
1

1
1

4
3

1
1

4
1

1
1
1

1
1

1
1
1

1
2
1

1
1

1
4

Totais

Vodafone

unidade de tecnologias de informacao de seguranca

Simply Transit

refer telecom

OVH Hosting

onitelecom - infocomunicacoes s.a.

1
nos comunicacoes s.a.

5
3
1
1

ministerio da justica

9
5
2
2
Microsoft

meo - servicos de comunicacoes e multimedia s.a.

lunacloud unipessoal lda

instituto nacional de estatistica i.p

1
1

Instituto de Informatica, IP - Ministerio da Solidariedade e Seguranca Social

instituto de gestao do patrimonio arquitectonico

incapsula inc

ifap - instituto financiamento agricultura e pescas

fundacao para a ciencia e a tecnologia i.p.

eurotux informatica sa

1
1
DigitalOcean

1
entidade de servicos partilhados da administracao publica i.p.

contabo gmbh

claranet portugal

1
1
Ceger

Ar Telecom
caixa geral de depositos sa

1
1
ama agencia para a modernizacao administrativa ip

almouroltec

ACSS - Administracao Central do Sistema de Saude, I.P.

unidade de tecnologias de informacao de seguranca

Tempo de carregamento (s)

e tamanho das
pginas (KB)
0-2 segundos
100-1100
1100-2100
2100-3100
4100-5100
2-4 segundos
100-1100
1100-2100
2100-3100
3100-4100
4100-5100
5100-6100
6100-7100
7100-8100
8100-9100
>4 segundos
100-1100
1100-2100
2100-3100
3100-4100
5100-6100
6100-7100
7100-8100
9100-10100
11100-12100
12100-13100
Totais

48
38
5
4
1
53
26
10
5
4
4
1
1
1
1
29
11
4
4
2
1
1
1
2
1
2
130

Tabela B.2: Tempo mdio de carregamento da pgina inicial por alojamento (quantidade)

4.88

4.88

4.88

4.88
2.13

2.13
2.13
4.48
4.48

2.13
4.59
4.48
4.70
0.55

4.70
4.70
0.55
0.55
2.91

1.62

2.66
2.23

2.91
1.62
3.60
2.60
1.83
1.83
2.71
2.71

20.95
20.95
1.14
1.14

3.27

3.41
3.13
0.80

1.38
1.38

2.80
2.38
3.65

2.00

0.60
0.60

2.00

2.49
2.49

0.80
0.90
0.90
3.48

3.69
2.77
4.35
4.35

1.92
1.92

Total

13 Educao e Cincia

12 Ambiente, Ordenamento do Territrio e Energia

11 Sade

10 Solidariedade, Emprego e Segurana Social

9 Agricultura e do Mar

8 Economia

7 Justia

6 Administrao Interna

5 Defesa Nacional

4 Negcios Estrangeiros

3 Finanas

2 Presidncia do Conselho de Ministros

1 Estado - Geral

Tempo de carregamento/Local
Alojamento
unidade de tecnologias de informacao de seguranca
12100-13100
ACSS - Administracao Central
do Sistema de Saude, I.P.
100-1100
almouroltec
100-1100
9100-10100
ama agencia para a modernizacao administrativa ip
100-1100
Ar Telecom
100-1100
1100-2100
2100-3100
3100-4100
4100-5100
caixa geral de depositos sa
100-1100
Ceger
100-1100
3100-4100
claranet portugal
100-1100
1100-2100
2100-3100
4100-5100
contabo gmbh
1100-2100
4100-5100
DigitalOcean
100-1100
entidade de servicos partilhados da administracao publica
i.p.
100-1100
1100-2100
eurotux informatica sa
100-1100
2100-3100
3100-4100
fundacao para a ciencia e a tecnologia i.p.
100-1100
1100-2100
2100-3100
ifap - instituto financiamento
agricultura e pescas
100-1100
incapsula inc
3100-4100
instituto de gestao do patrimonio arquitectonico
2100-3100

4.79

2.65

4.79
2.65
3.68

2.06

2.19

1.61

2.06

2.46
1.91

1.55

3.68

1.94
1.18
1.18

0.55
2.53
2.23
2.91
1.62
3.60
2.60
1.83
1.83
6.36
2.71
20.95
2.23
1.58
2.83
3.41
3.13
1.65
2.49
0.80
0.90
0.90
3.48

3.69
2.77
3.43
1.92
4.57
2.65
1.98
1.75
1.91
2.81
1.18

3.00
3.00
5.56

1.18
3.00
3.00
5.56

5.56

5.56

Tabela B.3: Tempo mdio de carregamento da pgina inicial por alojamento (s) (1/2)
108

1.22

1.22

1.22

1.22
1.44

1.44
1.44
1.43
1.43
4.64
4.64
4.10

1.51

4.10

1.51

1.50

1.29

4.68

1.29

3.15
6.20

1.50

9.35

2.19

4.12

5.08

1.52

1.79

3.31

7.35
2.66

1.52

1.73
1.99
1.79

1.40
7.66

16.50
5.22
1.80
1.80
3.41
3.58
2.22
1.49
1.49

3.18
2.70

2.58
3.30
1.66

3.01

3.91

4.01
2.00

4.68

12.00

2.66
3.63
2.77
12.00
4.14
2.49

3.99

7.82

3.99
2.49

1.88

3.05

1.88

3.05

2.36
2.36
1.65
1.65
3.37
2.46
4.30
3.47
2.75
3.87

2.50

2.91

3.13

2.30

5.16

109

3.29

3.55

3.70

12.42
1.83
2.24
33.20
6.00

2.65

3.45

3.71

1.44
1.43
1.43
4.64
4.64
3.73
2.74
3.09
1.79
7.66
16.50
5.22
1.80
1.80
3.41
3.58
2.22
3.74
2.55
3.76
2.00
2.66
3.63
2.77
12.00
4.14
4.45
3.55
1.75
19.85
2.62
0.90
0.90
2.36
2.36
1.65
1.65
3.37

1.00
19.85
2.62
0.90
0.90

4.36
4.36

Total

13 Educao e Cincia

12 Ambiente, Ordenamento do Territrio e Energia

11 Sade

10 Solidariedade, Emprego e Segurana Social

9 Agricultura e do Mar

8 Economia

7 Justia

6 Administrao Interna

5 Defesa Nacional

4 Negcios Estrangeiros

3 Finanas

2 Presidncia do Conselho de Ministros

Tempo de carregamento/Local
Alojamento
Instituto de Informatica, IP Ministerio da Solidariedade e
Seguranca Social
100-1100
instituto nacional de estatistica
i.p
100-1100
ipdj
100-1100
lunacloud unipessoal lda
5100-6100
meo - servicos de comunicacoes
e multimedia s.a.
100-1100
1100-2100
2100-3100
3100-4100
6100-7100
9100-10100
Microsoft
100-1100
ministerio da justica
100-1100
1100-2100
nos comunicacoes s.a.
100-1100
1100-2100
2100-3100
3100-4100
4100-5100
6100-7100
7100-8100
11100-12100
onitelecom - infocomunicacoes
s.a.
100-1100
1100-2100
2100-3100
5100-6100
OVH Hosting
100-1100
refer telecom
100-1100
Simply Transit
100-1100
unidade de tecnologias de informacao de seguranca
100-1100
1100-2100
2100-3100
7100-8100
8100-9100
Vodafone
100-1100
4100-5100
12100-13100
Grand Total

1 Estado - Geral

Tabela B.4: Tempo mdio de carregamento da pgina inicial por alojamento (s) (2/2)

1.60

2.46
4.30
3.47
2.75
3.87
10.41
3.10
2.24
33.20
3.51

110

Apndice C

Resultados da ferramenta
AccessMonitor
Tabela C.1: Resultados da ferramenta AccessMonitor

111

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

rea/Organismo
1 Estado - Geral (Valores mdios)
6.40
Assembleia da Repblica
5.00
Conselho Econmico e Social
5.80
Presidncia da Repblica
7.70
Provedor de Justia
7.10
2 Presidncia do Conselho de Minis5.75
tros (Valores mdios)
Agncia para a Modernizao Administra6.00
tiva, I. P.
Alto Comissariado para as Migraes, I.P
4.20
Biblioteca Nacional de Portugal
4.10
Centro de Gesto da Rede Informtica do 10.00
Governo
Comisso para a Cidadania e a Igualdade de
7.50
Gnero
Direo Regional da Cultura do Alentejo
4.00
Direo Regional da Cultura do Algarve
4.80
Direo Regional da Cultura do Norte
3.80
Direo-Geral das Autarquias Locais
4.70
Direo-Geral do Livro, dos Arquivos e das
6.30
Bibliotecas
Direo-Geral do Patrimnio Cultural
9.80
Continua na

Avisos

Indce AccessMonitor
Pgina Interior

Indce AccessMonitor
Pgina Inicial

Erros

6.45
5.20
5.30
7.10
8.20
5.89

4
6
5
2
3
6

0
1
0
0
0
1

1
1
1
0
1
1

10
10
7
11
10
7

2
4
2
1
1
1

1
2
0
1
1
1

7.60

4.10
6.40
10.00

9
11
0

2
3
0

1
1
0

8
6
7

3
3
0

1
0
1

7.40

3.80
4.60
5.20
4.20
6.20

11
6
9
7
5

2
1
1
1
0

2
2
1
1
1

8
7
4
8
6

3
1
2
1
2

1
1
0
0
2

7.80
2
0
prxima pgina

Tabela C.1 Continuao da pgina anterior

112

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

rea/Organismo
Direco Geral das Artes
6.10
Gabinete Nacional de Segurana
7.80
Inspeco-Geral das Actividades Culturais
4.70
Instituto do Cinema e do Audiovisual, I. P.
4.00
Instituto Nacional de Estatstica, I. P.
4.50
Instituto Portugus do Desporto e Juven5.50
tude, I. P.
Portal do Governo
5.70
Secretaria Geral do Conselho de Ministros
10.00
Gabinete de Estratgia, Planeamento e Ava3.70
liao Culturais
Direo Regional da Cultura do Centro
3.60
3 Finanas (Valores mdios)
5.16
Autoridade Tributria e Aduaneira
7.00
Direo-Geral da Administrao e do Em5.70
prego Pblico
Direo-Geral da Qualificao dos Traba5.30
lhadores em Funes Pblicas (INA)
Direo-Geral de Proteo Social aos Tra5.70
balhadores em Funes Pblicas (ADSE)
Direo-Geral do Oramento
4.20
Direo-Geral do Tesouro e Finanas
6.10
Entidade de Servios Partilhados na Admi6.40
nistrao Pblica, I.P.
Gabinete de Planeamento, Estratgia, Ava5.10
liao e Relaes Internacionais
Inspeo-Geral de Finanas
3.10
Secretaria-Geral (Ministrio das Finanas)
4.10
Servios Sociais da Administrao Pblica
4.10
4 Negcios Estrangeiros (Valores m6.77
dios)
Cames - Instituto da Cooperao e da Ln5.50
gua, I.P.
Direo-Geral dos Assuntos Consulares e
9.90
das Comunidades Portuguesas
Instituto de Investigao Cientfica Tropi4.90
cal, I.P
5 Defesa Nacional (Valores mdios)
4.37
Direo-Geral de Recursos de Defesa Naci5.70
onal
Continua na

Avisos

Indce AccessMonitor
Pgina Interior

Indce AccessMonitor
Pgina Inicial

Erros

5.30
7.40
4.20
4.30
4.40
5.50

5
2
7
12
8
6

1
0
1
2
3
0

1
0
0
0
0
1

7
6
6
8
7
5

1
0
1
2
2
0

1
1
1
2
3
1

7.20
10.00
3.70

4
0
12

0
0
0

1
0
1

10
7
4

1
0
0

1
2
0

4.30
5.19
4.90
5.70

10
7
3
5

2
1
1
0

1
1
0
1

6
8
4
12

1
2
0
2

0
1
1
2

6.40

4.30

4.20
5.80
6.40

9
6
3

2
0
0

1
2
2

10
8
8

2
1
1

1
2
1

6.40

11

3.20
6.00
3.80
6.17

13
8
14
3

2
1
2
1

1
1
1
1

5
5
6
10

2
1
2
2

0
0
1
2

5.10

8.50

4.90

11

4.61
5.60

9
5

1
0

1
2

5
5

3
3

2
1

prxima pgina

Tabela C.1 Continuao da pgina anterior

113

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

rea/Organismo
Estado-Maior General das Foras Armadas
5.70
Exrcito
3.20
Fora Area
3.00
Instituto Ao Social das Foras Armadas,
4.70
I.P.
Instituto da Defesa Nacional
3.50
Marinha
4.80
6 Administrao Interna (Valores m3.87
dios)
Autoridade Nacional de Proteo Civil
2.70
Autoridade Nacional de Segurana Rodo4.20
viria
Guarda Nacional Republicana
4.20
Inspeo-Geral da Administrao Interna
5.00
Polcia de Segurana Pblica
3.30
Secretaria-Geral do MAI
4.40
Servio de Estrangeiros e Fronteiras
3.30
7 Justia (Valores mdios)
5.57
Direo-Geral da Administrao da Justia
4.30
Direo-Geral da Poltica de Justia
6.80
Inpeo-Geral dos Servios de Justia
5.00
Instituto de Gesto Financeira e Equipa5.50
mentos da Justia, I.P.
Instituto dos Registos e do Notariado, I.P
7.10
Instituto Nacional da Propriedade Indus6.50
trial, I.P
Instituto Nacional de Medicina Legal e Ci6.30
ncias Forenses, I.P.
Polcia Judiciria
3.80
Secretaria-Geral do MJ
4.80
8 Economia (Valores mdios)
4.06
Agncia para a Competitividade e Inovao
4.20
(IAPMEI), I.P.
Autoridade de Segurana Alimentar e Eco3.40
nmica
Autoridade Nacional da Aviao Civil
5.40
Direo-Geral das Atividades Econmicas
4.10
Direo-Geral do Consumidor
3.90
Gabinete de Estratgia e Estudos
4.10
Instituto do Turismo de Portugal, I.P.
4.00
Continua na

Avisos

Indce AccessMonitor
Pgina Interior

Indce AccessMonitor
Pgina Inicial

Erros

5.70
3.60
3.40
4.60

5
15
14
8

1
2
3
1

1
2
1
0

10
6
3
5

2
3
2
2

1
3
1
0

3.90
5.50
4.31

10
7
11

0
0
2

1
1
2

1
6
7

6
2
2

3
3
1

3.30
4.90

16
8

3
0

2
2

7
8

2
1

1
1

5.00
5.70
3.30
4.60
3.40
5.47
5.10
5.90
5.00
5.40

11
8
14
7
10
5
4
4
5
6

0
2
3
1
2
1
2
0
2
0

2
3
1
1
1
1
2
3
0
1

6
4
6
9
7
7
7
7
4
7

3
4
3
2
2
3
1
2
1
3

2
2
1
2
0
2
2
3
2
3

7.50
6.10

3
5

0
0

2
0

7
9

1
9

0
2

5.70

3.80
4.70
4.25
4.50

8
5
9
8

2
2
2
1

1
1
1
0

10
7
7
8

2
3
2
1

1
2
1
0

3.40

12

6.00
6
0
5.10
9
1
3.90 10
1
4.10
7
3
3.90 11
1
prxima pgina

0
1
0
0
1

12
4
4
6
9

0
2
2
2
3

0
1
1
1
1

Tabela C.1 Continuao da pgina anterior

114

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

rea/Organismo
Instituto dos Mercados Pblicos, do Imobi5.10
lirio e da Construo, I.P.
Instituto Portugus da Qualidade, I.P.
3.20
Instituto Portugus de Acreditao, I.P
3.60
Laboratrio Nacional de Engenharia Civil,
4.00
I.P.
Secretaria-Geral do ME
3.70
9 Agricultura e do Mar (Valores m4.69
dios)
Direo Regional de Agricultura e Pescas de
4.90
Lisboa e Vale do Tejo
Direo Regional de Agricultura e Pescas do
6.40
Alentejo
Direo Regional de Agricultura e Pescas do
3.10
Algarve
Direo Regional de Agricultura e Pescas do
4.30
Centro
Direo Regional de Agricultura e Pescas do
3.80
Norte
Direo-Geral de Agricultura e Desenvolvi4.80
mento Rural
Direo-Geral de Alimentao e Veterinria
3.60
Direo-Geral de Poltica do Mar
4.40
Direo-Geral de Recursos Naturais, Segu4.10
rana e Servios Martimos
Gabinete de Planeamento, Polticas e Ad5.20
ministrao Geral
Instituto da Conservao da Natureza e das
5.40
Florestas, I.P.
Instituto da Vinha e do Vinho, I.P
4.30
Instituto de Financiamento da Agricultura
6.20
e Pescas, I.P.
Instituto dos Vinhos do Douro e do Porto,
4.30
I.P
Instituto Nacional de Investigao Agrria
4.50
e Veterinria, I.P
Instituto Portugus do Mar e da Atmosfera,
5.70
I.P.
10 Solidariedade, Emprego e Segu5.21
rana Social (Valores mdios)
Continua na

Avisos

Indce AccessMonitor
Pgina Interior

Indce AccessMonitor
Pgina Inicial

Erros

6.50

3.20
2.80
3.80

12
10
8

3
3
2

1
1
1

7
4
7

1
2
2

1
1
0

3.80
5.24

12
7

0
1

1
2

7
7

1
2

1
1

5.30

7.90

3.50

11

4.20

10

4.90

10

5.50

3.60
5.20

10
7
7

2
2
2

2
1
2

5
6
6

2
3
1

1
1
0

6.70

5.30

4.20
6.10

10
4

1
0

2
1

8
10

2
1

1
1

4.80

4.50

6.90

5.64

prxima pgina

Tabela C.1 Continuao da pgina anterior

115

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

rea/Organismo
Autoridade para as Condies do Trabalho
3.90
Caixa-Geral de Aposentaes, I.P.
6.90
Casa Pia de Lisboa, I.P.
4.60
Direo-Geral da Segurana Social
6.10
Gabinete de Estratgia e Planeamento
5.10
Instituto Nacional do Emprego e da Forma4.60
o Profissional, I.P.
Secretaria-Geral do MSESS
5.30
11 Sade (Valores mdios)
4.69
Administrao Central do Sistema de
3.70
Sade, I.P.
Administrao Regional de Sade de Lisboa
6.80
e Vale do Tejo, I.P.
Administrao Regional de Sade do Alen5.30
tejo, I.P.
Administrao Regional de Sade do Al6.50
garve, I.P.
Administrao Regional de Sade do Cen3.60
tro, I.P
Administrao Regional de Sade do Norte,
3.40
I.P.
Direo-Geral da Sade
3.40
INEM - Instituto Nacional de Emergncia
5.00
Mdica, I.P.
INFARMED - Autoridade Nacional do Me4.90
dicamento e Produtos de Sade, I.P
Inspeo-Geral das Atividades em Sade
3.90
Instituto Nacional de Sade Doutor Ricardo
2.90
Jorge, I.P.
Instituto Portugus do Sangue e da Trans5.70
plantao, I.P.
Secretaria-Geral do MS
4.80
Servio de Interveno nos Comportamen5.70
tos Aditivos e nas Dependncias
12 Ambiente, Ordenamento do Terri4.84
trio e Energia (Valores mdios)
Agncia Portuguesa do Ambiente, I.P
5.20
Direo-Geral de Energia e Geologia
4.20
Direo-Geral do Territrio
2.90
Continua na

Avisos

Indce AccessMonitor
Pgina Interior

Indce AccessMonitor
Pgina Inicial

Erros

4.40
6.90
5.50
7.00
4.90
5.50

10
3
7
3
5
7

1
0
1
1
2
1

1
0
0
1
2
2

7
8
4
8
12
7

2
1
2
2
0
2

2
2
1
1
0
2

5.30
4.84
5.20

6
8
9

0
1
3

2
1
2

9
8
6

0
2
3

1
2
2

7.00

11

5.10

11

7.80

3.90

12

3.40

10

3.30
5.10

11
8

2
0

0
2

2
8

6
2

5
0

6.40

11

2.90
3.90

11
11

0
2

1
1

5
7

0
2

0
2

4.70

10

4.70
4.40

9
7

0
0

1
1

5
7

3
2

0
1

5.21

6.70
6
0
4.20
9
1
3.30 12
2
prxima pgina

3
1
1

8
4
5

1
2
3

3
1
1

Tabela C.1 Continuao da pgina anterior

116

Indce AccessMonitor
Pgina Interior

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

A (WCAG 2.0)

AA (WCAG 2.0)

AAA (WCAG 2.0)

rea/Organismo
Inspeo-Geral dos Ministrios do Ambiente, Ordenamento do Territrio e da Agricultura e do Mar
Instituto da Habitao e da Reabilitao
Urbana, I.P
Laboratrio Nacional de Energia e Geologia,
I.P.
Secretaria-Geral do MAOTE
13 Educao e Cincia (Valores mdios)
Agncia Nacional para a Qualificao e o
Ensino Profissional, I.P.
Centro Cientfico e Cultural de Macau, I.P
Direo-Geral da Administrao Escolar
Direo-Geral da Educao
Direo-Geral de Estatsticas da Educao
Direo-Geral do Ensino Superior
Direo-Geral dos Estabelecimentos Escolares
Fundao para a Cincia e a Tecnologia, I.P.
Inspeo-Geral da Eduo e Cincia
Instituto de Avaliao Educativa I.P.
Instituto de Gesto Financeira da Educao, I.P.
Secretaria-Geral do MEC
Mdia Gobal

Avisos

Indce AccessMonitor
Pgina Inicial

Erros

6.70

6.00

4.80

5.40

5.60

5.50

4.50
5.74

5.40
5.83

7
5

1
1

3
1

7
8

3
2

2
1

5.90

5.00

4.50
4.60
7.40
8.80
3.70
4.50

4.60
4.90
8.90
8.80
4.70
4.60

8
8
2
1
11
6

0
0
0
0
1
1

1
2
1
1
1
2

6
6
10
13
9
10

1
2
2
2
1
2

2
1
2
1
1
1

8.90
5.30
6.00
4.50

6.80
5.20
6.80
4.10

1
6
4
6

0
1
1
0

0
1
1
2

9
7
4
7

1
1
2
0

1
2
0
1

4.80
5.08

5.60
5.27

6
7

1
1

1
1

6
7

2
2

2
1

Apndice D

Bateria de testes AccessMonitor

O AccessMonitor realiza os seguintes testes (Acesso, 2015a):
Tabela D.1: Bateria de testes AccessMonitor - Validador automtico para as WCAG 2.0
Ocorrncia
Prioridade
Verificou-se que o primeiro link da pgina permite ao utilizador saltar
A
diretamente para o contedo principal
Verificou-se que o primeiro link da pgina no permite ao utilizador saltar
A
diretamente para o contedo principal
No foram encontrados links que permitam saltar pelas diferentes seces
A
da pgina
Foram identificados N links que permitem saltar para diferentes seces
A
da pgina
Foram identificados N casos em que o contedo dos links composto
A
apenas por uma imagem sem qualquer legenda - equivalente alternativo
textual.
No foram localizados quaisquer links na pgina
AA
Foram identificados N casos em que o atributo title do elemento link se
A
limita a repetir o texto existente no link
Foram localizados em N casos a existncia de links adjacentes/colados
A
que apontam para o mesmo recurso
Foram identificados N grupos de links compostos por 5 ou mais links no
A (Aviso)
agrupados por elementos estruturais
Foram identificados N elementos <applet> que se apresentam sem quaisA
quer contedos alternativos
Nos mapas de imagem localizados, todos os elementos <area> - reas
A
activas dos mapas de imagem - tm equivalentes alternativos textuais
Foram identificados N elementos <area> sem equivalentes alternativos
A
textuais
Foram identificados N elementos blink na pgina
A
Foi localizado o valor blink em N propriedades das CSS
A
Foram identificados N sequncias de 3 ou mais elementos <br>, os quais
A (Aviso)
podero estar a ser usados para representar os itens de uma lista
Foram identificadas N regras de CSS em que no se especifica ou a cor AA (Aviso)
de letra ou a cor de fundo
Continua na prxima pgina
117

Tabela D.1 Continuao da pgina anterior

Ocorrncia
Prioridade
Foram localizados N combinaes de cor cuja relao de contraste infeAA
rior a 3:1
Foram identificados N casos em que se especifica um espaamento entre AAA (Aviso)
linhas menor a 1.5. Verifique manualmente quais os que se encontram
aplicados a pargrafos e corrija-os.
No foram localizados erros ao passar o validador W3C pelas CSS
A
Foram detetados N erros de sintaxe gramatical nas CSS
A
Foram encontrados N casos em que se faz uso de manipuladores de eventos
A
rato-dependentes
Foram identificados N casos em que no se faz uso de manipuladores de
A
eventos redundantes
Foram identificados N casos em que se disponibilizam manipuladores de
A
eventos redundantes
Foram identificados N casos em que se associam eventos a elementos no
A
interactivos
Foram localizados N elementos <embed> sem contedo alternativo equiA
valente
Foram localizados no HTML N elementos e/ou atributos de controlo da
A
apresentao do texto
Foram identificados N casos em que se usam unidades de medida expressas
AA
em valores absolutos no tamanho das letras
Constatou-se que todos os formulrios presentes na pgina tm um boto
A
de envio
Foram identificados N formulrios sem o seu correspondente boto de
A
envio
Foram identificados N Frames sem o atributo title
A
Constatou-se que esta pgina usa Frames e que a DTD declarada no se
A
encontra conforme com este tipo de pginas.
Constatou-se que esta pgina no tem os cabealhos marcados
A
Foram identificados N cabealhos - i.e. marcaes com <h1>...<h6>
A
Foram identificados N cabealhos cujo contedo composto apenas por
AA
uma imagem e que a mesma no tem legenda - i.e. equivalente alternativo
textual
Verificou-se em N casos que os cabealhos no respeitam a cadeia hierrAAA
quica a que esto sujeitos
Constatou-se a existncia de N valores repetidos nos atributos ID que se
A
encontram presentes nesta pgina
Foram identificados N elementos <iframe> sem ttulo
A
Constatou-se que todas as imagens fazem uso do atributo alt
A
Foram identificadas N imagens que no dispem de legenda
A
Foram identificadas N imagens em que a legenda um espao em branco
A (Aviso)
Foram identificadas N imagens com uma legenda que no serve como
A
equivalente alternativo textual imagem
Constatou-se que todos os botes grficos tm uma legenda
A
Foram identificados N botes grficos sem legenda
A
Foram identificados N controlos de formulrio sem etiquetas asociadas e
A (Aviso)
sem o atributo title
Foram identificados N controlos de formulrio sem <label> associada
A
Continua na prxima pgina
118

Tabela D.1 Continuao da pgina anterior

Ocorrncia
Prioridade
Constatou-se que todos os controlos de formulrio tm uma etiqueta asA
sociada
Constatou-se que em N casos, se faz uso de texto justificado
AAA
Constatou-se que em N casos, se faz justificao de texto atravs das
AAA
folhas de estilo
Foram identificados N etiquetas sem o atributo for
A
Foram identificados N etiquetas colocadas numa posio incorreta
A
Constatou-se que se identifica o idioma principal da pgina com o cdigo
A
"N"
Constatou-se que o cdigo do idioma "N"est incorreto
A
Constatou-se que h uma falha na marcao do cdigo do idioma principal
A
da pgina. O cdigo no est presente no atributo N
Constatou-se que os atributos lang e/ou xml:lang esto a ser utilizados
A
de forma incorreta
Constatou-se que no se utilizam elementos HTML para controlo da apreA
sentao
Constatou-se que se utilizam N elementos para controlar a apresentao
A
Constatou-se que no se utilizam atributos HTML para controlo da apreA
sentao
Foram identificados N atributos para controlar a apresentao visual
A
Constatou-se em N casos que se utilizam, nas regras de CSS, unidades de
AA
medida expressas em valores absolutos
Foram identificados N atributos longdesc com um valor incorreto
A
Constatou-se que se est a fazer uso do elemento meta http-equiv para
A
actualizar a pgina
Constatou-se que se est a fazer uso do elemento meta http-equiv para
A
redireccionar a pgina
Foram identificados N elementos object sem equivalentes alternativos texA
tuais
Foram identificados N tabelas sem cabealhos mas com um ttulo - eleA
mento <caption> - e/ou com o atributo summary
Foram identificados N tabelas, que configuram ser tabelas de dados, as
A
quais no tm o elemento <caption> nem o atributo summary
Foram identificados N tabelas em que o texto que se encontra no elemento
A
<caption> o mesmo que est afixado no atributo summary
Foram localizadas N tabelas que contm dentro de si outras tabelas
A
Foram localizadas N tabelas sem as clulas de cabealho identificadas
A
Foram localizadas N tabelas de dados em que h vrios cabealhos mas
A
cujas clulas de dados no tm o atributo headers
Foram localizadas N sequncias de caracteres individuais separados por
A
espaos
Foi usado o Tidy para validar a gramtica do cdigo e o mesmo no
A
detetou erros
Foi usado o Tidy e o mesmo localizou N erros ou avisos
A (Aviso)
Constatou-se que esta pgina tem N titulos - i.e. elementos <title>
A
Constatou-se que nesta pgina no se faz uso do elemento <title>
A
Constatou-se que esta pgina no tem qualquer texto no ttulo - i.e. o
A
elemento <title> no tem nenhum texto
Continua na prxima pgina
119

Tabela D.1 Continuao da pgina anterior

Ocorrncia
Constatou-se que o ttulo da pgina contm N caracteres
Ttulo da pgina com sequncias de caracteres no textuais: N
Constatou-se que a pgina tem um ttulo aparentemente correcto
Constatou-se que o ttulo desta pgina igual ao ttulo de outras pginas
do mesmo stio
Constatou-se que em N casos se utilizam, nos atributos HTML, unidades
de medida expressas em valores absolutos
Constatou-se que todas as unidades de medida afixadas nos atributos
HTML se encontram expressas em valores relativos
Constatou-se em N casos que se utilizam, nas regras de CSS, unidades de
medida expressas em valores absolutos
Constatou-se que todas as unidades de medida esto expressas em valores
relativos e que a sua definio est feita exclusivamente nas CSS
Foi utilizado o validador do W3C e este informou que o documento no
tem erros de validao HTML
Foi utilizado o validador do W3C e este informou que localizou N erros
de validao de HTML na pgina
Constatou-se que ao carregar esta pgina, abre-se, de imediato, uma nova
janela por cima dos contedos

120

Prioridade
A (Aviso)
A
A
A
AA
AA
AAA
AAA
A
A
A

Apndice E

Classificaes completas por

organismo e indicador

121

100%
100%
100%
100%
100%

100%

0%

100%

100%

100%

0%

100%

100%

100%
100%
100%

100%
100%
100%

0%
0%
0%

0%
0%
100%

100%

100%

100%

0%

100%
100%
100%
100%
100%

100%
100%
100%
100%
100%

100%
100%
100%
100%
100%

0%
0%
0%
17%
0%

100%

100%

100%

100%

100%

100%

100%

100%

93%
50%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

86%
0%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
94%
100%
100%
100%

100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

21%
0%
0%
50%
0%
0%
100%
0%
36%
50%
50%
50%
0%
0%
0%
100%
28%
50%
50%
0%

100%

0%

100%
100%
0%
100%
100%
0%

100%
100%
100%
100%
100%
100%

0%
0%
0%
0%
0%
0%

100%
0%
0%
0%
100%
100%
0%

100%
100%
100%

100%
100%
100%

100%
100%
100%

100%
100%
100%

100%
50%
0%

0%
100%
100%

100%
100%
100%
100%
100%

100%
100%
100%
100%
100%

100%
100%
100%
100%
100%

100%
100%
100%
100%
100%

0%
0%
0%
100%
0%

100%
100%
100%
100%
100%

100%
100%
100%
100%
100%

100%
100%
100%
100%
100%

100%
100%
100%
100%
100%

100%
100%

100%

100%

100%

100%

100%
100%
100%

100%
100%
100%

100%
100%
100%
100%
100%
100%

0%

0%

100%

48%

50%
0%
0%

0%
0%
0%

0%
0%
0%

100%
0%
100%

51%
34%
63%

50%

0%

50%

0%

100%

100%

68%

50%
100%
100%
0%
50%
50%

0%
0%
100%
0%
0%
0%

0%
0%
0%
0%
0%
0%

0%
0%
0%
0%
50%
0%

0%
0%
0%
0%
0%
0%

50%
100%
100%
100%
100%
50%

33%
41%
25%
41%
46%
39%

50%
50%
50%

50%
100%
50%

0%
100%
50%

0%
50%
0%

0%
50%
0%

100%
0%
0%

50%
0%
0%

73%
49%
31%

50%
50%
50%
50%
50%

50%
100%
100%
50%
50%

50%
50%
50%
50%
0%

100%
100%
0%
0%
0%

0%
0%
0%
0%
0%

0%
100%
0%
0%
0%

0%
0%
100%
0%
0%

100%
100%
100%
100%
100%

51%
39%
35%
44%
39%

0%
50%
36%
100%
50%

100%
50%
50%
50%
50%

100%
50%
55%
50%
50%

0%
50%
9%
0%
0%

0%
0%
18%
0%
0%

50%
0%
5%
0%
0%

100%
0%
36%
0%
0%

100%
100%
68%
100%
100%

54%
71%
46%
53%
45%

50%

0%

0%

0%

100%

0%

51%

100%

100%

0%

50%

0%

100%

50%

50%
50%
50%

0%
0%
0%

50%
0%
50%

0%
0%
0%

100%
0%
100%

0%
100%
50%

38%
43%
50%

50%

50%

0%

0%

0%

0%

50%

39%

50%
50%
50%
50%
50%

50%
50%
50%
50%
50%

0%
0%
0%
33%
0%

0%
0%
100%
50%
50%

0%
0%
0%
0%
0%

0%
0%
100%
33%
100%

50%
100%
100%
67%
100%

34%
44%
48%
55%
54%

50%

50%

50%

0%

100%

0%

0%

0%

73%

50%

50%

50%

100%

0%

0%

0%

100%

39%

29%
0%
50%
50%
50%
0%
0%
50%
21%
50%
0%
0%
50%
0%
0%
50%
44%
50%
50%
50%

36%
0%
50%
50%
50%
50%
50%
0%
50%
50%
50%
50%
0%
50%
50%
100%
50%
50%
50%
50%

50%
0%
50%
50%
100%
50%
50%
50%
36%
50%
0%
50%
50%
50%
0%
50%
50%
50%
50%
50%

36%
0%
0%
50%
0%
100%
100%
0%
21%
50%
0%
0%
0%
0%
0%
100%
50%
100%
100%
100%

0%
0%
0%
0%
0%
0%
0%
0%
29%
50%
50%
0%
0%
50%
50%
0%
17%
0%
0%
0%

14%
0%
0%
50%
0%
0%
50%
0%
14%
0%
50%
0%
0%
0%
50%
0%
0%
0%
0%
0%

43%
0%
0%
100%
100%
0%
0%
100%
0%
0%
0%
0%
0%
0%
0%
0%
11%
0%
0%
0%

57%
0%
100%
100%
0%
100%
100%
0%
57%
50%
50%
100%
50%
0%
50%
100%
39%
50%
0%
100%

41%
35%
45%
38%
45%
45%
41%
40%
43%
41%
48%
35%
59%
35%
38%
46%
43%
44%
46%
39%

50%
0%
0%
100%
100%
14%

25%
0%
0%
100%
0%
14%

38%
0%
0%
50%
100%
33%

50%
50%
50%
50%
50%
55%

38%
0%
50%
50%
50%
36%

50%
50%
50%
50%
50%
60%

50%
50%
50%
50%
50%
57%

100%

0%

100%

50%

0%

0%

50%

50%

50%

50%

100%

100%
100%
100%

100%
0%
0%

0%
0%
0%

0%
0%
100%

0%
0%
100%

0%
0%
100%

50%
100%
50%

50%
50%
50%

0%
50%
50%

50%
50%
50%

50%
50%
50%

0%

100%

100%

100%

100%

0%

0%

100%

100%

50%

50%

0%
0%
0%
0%
100%
0%

100%
100%
100%
100%
100%
100%

0%
0%
0%
0%
100%
0%

0%
100%
100%
100%
0%
100%

0%
0%
0%
0%
0%
50%

0%
0%
0%
0%
0%
0%

0%
0%
0%
0%
0%
0%

0%
50%
0%
50%
0%
50%

50%
50%
50%
50%
50%
50%

0%
0%
50%
0%
0%
50%

50%
50%
100%
50%
50%
50%

100%
100%
0%

0%
0%
0%

0%
0%
100%

100%
100%
100%

100%
0%
0%

100%
50%
0%

100%
0%
0%

100%
0%
0%

50%
50%
0%

50%
50%
50%

50%
50%
50%

100%
100%
100%
100%
100%

0%
0%
0%
100%
0%

0%
0%
0%
0%
0%

100%
0%
100%
100%
100%

0%
0%
0%
0%
0%

100%
100%
0%
100%
100%

100%
0%
0%
0%
50%

0%
0%
0%
0%
0%

0%
0%
0%
0%
0%

0%
0%
0%
0%
0%

50%
50%
50%
50%
100%

50%
50%
41%
50%
0%

100%
100%
100%
100%
100%

100%
100%
45%
100%
0%

0%
100%
18%
100%
0%

100%
100%
82%
0%
100%

0%
0%
9%
0%
0%

100%
100%
64%
100%
100%

50%
100%
27%
50%
50%

0%
100%
0%
0%
0%

0%
100%
0%
0%
0%

50%
50%
9%
50%
0%

50%
50%
55%
50%
50%

50%

50%

100%

0%

0%

100%

100%

100%

50%

0%

0%

0%

100%

0%

0%

100%

0%

100%

100%

0%

100%

0%

100%

0%

0%

0%

0%

50%

50%

100%

100%
50%
50%

100%
100%
50%

100%
100%
100%

0%
0%
100%

0%
0%
0%

100%
100%
0%

0%
0%
0%

100%
100%
100%

0%
50%
50%

0%
0%
0%

0%
0%
0%

0%
0%
0%

50%
50%
50%

0%
50%
50%

50%
50%
50%

100%

0%

100%

100%

0%

0%

100%

0%

0%

50%

0%

0%

0%

50%

0%

100%
100%
100%
33%
0%

100%
100%
50%
67%
50%

0%
0%
0%
50%
50%

100%
100%
100%
100%
100%

0%
100%
100%
100%
100%

0%
100%
0%
33%
100%

100%
100%
100%
67%
0%

0%
0%
0%
67%
100%

0%
0%
0%
100%
100%

0%
0%
0%
50%
50%

0%
0%
0%
33%
0%

0%
0%
0%
17%
0%

0%
50%
0%
83%
100%

50%
50%
50%
67%
50%

50%
0%
50%
33%
0%

100%

50%

100%

100%

100%

0%

100%

100%

100%

100%

100%

50%

100%

100%

0%

100%

0%

100%

100%

0%

100%

0%

100%

0%

0%

0%

50%

50%

79%
50%
100%
0%
100%
100%
100%
100%
86%
50%
100%
100%
100%
100%
100%
50%
83%
100%
50%
100%

57%
100%
50%
100%
50%
100%
0%
0%
43%
50%
50%
50%
50%
0%
0%
100%
50%
100%
100%
0%

43%
50%
100%
50%
0%
50%
0%
50%
36%
50%
50%
0%
50%
50%
50%
0%
17%
0%
0%
0%

100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

43%
0%
0%
0%
100%
100%
100%
0%
86%
100%
100%
0%
100%
100%
100%
100%
44%
100%
100%
0%

14%
0%
0%
0%
0%
100%
0%
0%
14%
0%
100%
0%
0%
0%
0%
0%
11%
0%
100%
0%

57%
100%
100%
0%
100%
0%
100%
0%
86%
0%
100%
100%
100%
100%
100%
100%
67%
0%
100%
100%

57%
100%
100%
0%
100%
100%
0%
0%
29%
0%
100%
0%
100%
0%
0%
0%
11%
0%
0%
0%

57%
100%
0%
100%
100%
100%
0%
0%
86%
100%
100%
100%
100%
100%
0%
100%
67%
100%
0%
100%

21%
50%
50%
0%
0%
0%
0%
50%
14%
0%
0%
0%
100%
0%
0%
0%
28%
0%
50%
0%

0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%

0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%

14%
0%
0%
0%
50%
0%
0%
50%
29%
0%
0%
50%
100%
50%
0%
0%
28%
100%
0%
0%

50%
0%
50%
0%
100%
100%
50%
50%
50%
50%
50%
50%
50%
50%
50%
50%
56%
50%
50%
50%

ID2.7

100%

0%

0%
100%
50%

75%
50%
50%
100%
100%
36%

ID2.6

100%
100%
0%
100%
100%
100%

100%

100%
100%
100%
100%
100%
62%

ID2.5

100%

100%
100%
0%
100%
100%
50%

58%
48%
54%
69%
61%
46%

25%
0%
0%
0%
100%
29%

ID2.4

100%

50%
100%
100%
0%
0%
79%

75%
0%
100%
100%
100%
86%

ID2.3

100%
50%
50%

100%
50%
95%
50%
100%

50%

100%
0%
100%

ID4.10

100%
100%
64%
0%
100%

100%

ID4.9

50%
100%
23%
50%
100%

100%
100%
0%

ID4.8

100%
100%
100%
100%
100%

0%

100%
100%
100%

ID4.7

50%
100%
50%
100%
0%

100%

ID4.6

100%
0%
0%
100%
100%

100%
100%
100%

50%
100%
0%
100%
0%
19%

ID4.5

100%
0%
0%

100%

100%
100%
100%

0%
0%
0%
0%
0%
12%

ID4.4

100%
100%
50%

100%

100%
0%
100%

0%
0%
0%
0%
0%
7%

ID4.3

100%
100%
50%

100%

25%
0%
100%
0%
0%
36%

ID4.2

50%
0%
0%
0%
0%
0%

75%
100%
50%
100%
50%
69%

ID4.1

0%

100%
100%
0%
100%
100%
100%

100%
100%
100%
100%
100%
62%

ID3.3

100%

100%
100%
50%
100%
100%
100%

75%
100%
100%
100%
0%
29%

ID3.2

100%

100%
100%
100%
100%
100%
100%

ID3.1

50%
100%
100%
0%
100%
50%
100%

88%
100%
100%
50%
100%
90%

ID2.10

ID2.1
100%
100%
100%

100%
100%
100%
100%
100%
95%

ID2.9

ID1.10

100%

0%
0%
0%

100%
100%
100%
100%
100%
88%

ID2.8

ID1.9

0%

100%
0%
0%

ID1.7

0%

100%
100%
100%

ID1.6

100%

ID1.5

88%
50%
100%
100%
100%
74%

ID1.3

17%
0%
50%
0%
0%
14%

ID1.2

88%
50%
100%
100%
100%
48%

ID1.1

100%
100%
100%
100%
100%
95%

ID1.4

122

Departamento/Organismo
1 Estado - Geral (Valores mdios)
Assembleia da Repblica
Conselho Econmico e Social
Presidncia da Repblica
Provedor de Justia
2 Presidncia do Conselho de Ministros
(Valores mdios)
Agncia para a Modernizao Administrativa, I.
P.
Alto Comissariado para as Migraes, I.P
Biblioteca Nacional de Portugal
Centro de Gesto da Rede Informtica do Governo
Comisso para a Cidadania e a Igualdade de Gnero
Direo Regional da Cultura do Alentejo
Direo Regional da Cultura do Algarve
Direo Regional da Cultura do Centro
Direo Regional da Cultura do Norte
Direo-Geral das Autarquias Locais
Direo-Geral do Livro, dos Arquivos e das Bibliotecas
Direo-Geral do Patrimnio Cultural
Direco Geral das Artes
Gabinete de Estratgia, Planeamento e Avaliao Culturais
Gabinete Nacional de Segurana
Inspeco-Geral das Actividades Culturais
Instituto do Cinema e do Audiovisual, I. P.
Instituto Nacional de Estatstica, I. P.
Instituto Portugus do Desporto e Juventude, I.
P.
Portal do Governo
Secretaria Geral do Conselho de Ministros
3 Finanas (Valores mdios)
Autoridade Tributria e Aduaneira
Direo-Geral da Administrao e do Emprego
Pblico
Direo-Geral da Qualificao dos Trabalhadores em Funes Pblicas (INA)
Direo-Geral de Proteo Social aos Trabalhadores em Funes Pblicas (ADSE)
Direo-Geral do Oramento
Direo-Geral do Tesouro e Finanas
Entidade de Servios Partilhados na Administrao Pblica, I.P.
Gabinete de Planeamento, Estratgia, Avaliao
e Relaes Internacionais
Inspeo-Geral de Finanas
Secretaria-Geral (Ministrio das Finanas)
Servios Sociais da Administrao Pblica
4 Negcios Estrangeiros (Valores mdios)
Cames - Instituto da Cooperao e da Lngua,
I.P.
Direo-Geral dos Assuntos Consulares e das
Comunidades Portuguesas
Instituto de Investigao Cientfica Tropical,
I.P
5 Defesa Nacional (Valores mdios)
Direo-Geral de Recursos de Defesa Nacional
Estado-Maior General das Foras Armadas
Exrcito
Fora Area
Instituto Ao Social das Foras Armandas, I.P.
Instituto da Defesa Nacional
Marinha
6 Administrao Interna (Valores mdios)
Autoridade Nacional de Proteo Civil
Autoridade Nacional de Segurana Rodoviria
Guarda Nacional Republicana
Inspeo-Geral da Administrao Interna
Polcia de Segurana Pblica
Secretaria-Geral do MAI
Servio de Estrangeiros e Fronteiras
7 Justia (Valores mdios)
Direo-Geral da Administrao da Justia
Direo-Geral da Poltica de Justia
Inpeo-Geral dos Servios de Justia

ID1.8

Tabela E.1: Tabela Resultados Globais

50%
50%
100%
50%
0%
48%

13%
50%
0%
0%
0%
40%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
43%

0%
0%
0%
0%
0%
19%

100%

0%

100%

0%
0%
100%

100%
0%
50%

100%
100%
100%

0%

0%

100%
0%
0%

100%
100%
0%

100%

50%

100%

100%

100%
100%
0%
100%
100%
0%

50%
100%
50%
0%
0%
50%

0%
100%
0%
100%
100%
100%

100%
100%
100%
100%
100%
100%

100%
0%
0%
0%
100%
100%
0%

0%
50%
50%

100%
100%
0%

0%
0%
50%

100%
0%
0%

100%
100%
100%

0%
100%
0%
100%
0%

50%
100%
0%
0%
0%

100%
0%
100%
50%
0%

50%
0%
100%
100%
100%

0%
0%
0%
0%
0%

0%
0%
55%
100%
0%

0%
0%
27%
50%
0%

100%
100%
91%
50%
50%

50%
50%
73%
100%
100%

100%

50%

100%

100%

100%

50%

100%
100%

100%
100%
100%

100%
100%
100%

0%
0%
50%

0%
0%
0%

100%
100%
100%

100%

100%

100%

0%
100%
100%
67%
100%

100%
100%
100%
83%
100%

100%
100%
100%
100%
100%

0%

0%

100%
100%
100%
0%
0%

0%
50%
50%
0%
0%

0%

100%

100%

100%

50%

0%

50%

100%

0%

0%

0%

0%

57%
0%
0%
0%
100%
100%
100%
100%
71%
100%
100%
0%
100%
0%
100%
100%
56%
0%
0%
100%

57%
0%
100%
50%
50%
50%
50%
100%
93%
100%
100%
100%
100%
50%
100%
100%
83%
100%
100%
0%

100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

50%
100%
100%
50%
0%
0%
100%
0%
64%
100%
100%
0%
100%
50%
100%
0%
83%
100%
100%
100%

21%
0%
0%
50%
0%
0%
0%
100%
7%
0%
0%
0%
0%
0%
0%
50%
33%
50%
0%
50%

Continua na prxima pgina

ID1.2

ID1.3

ID1.4

ID1.5

ID1.6

ID1.7

ID1.8

ID1.9

ID1.10

ID2.1

ID2.3

ID2.4

ID2.5

ID2.6

ID2.7

ID2.8

ID2.9

ID2.10

ID3.1

ID3.2

ID3.3

ID4.1

ID4.2

ID4.3

ID4.4

ID4.5

ID4.6

ID4.7

ID4.8

ID4.9

ID4.10

123

Departamento/Organismo
Instituto de Gesto Financeira e Equipamentos
da Justia, I.P.
Instituto dos Registos e do Notariado, I.P
Instituto Nacional da Propriedade Industrial,
I.P
Instituto Nacional de Medicina Legal e Cincias
Forenses, I.P.
Polcia Judiciria
Secretaria-Geral do MJ
8 Economia (Valores mdios)
Agncia para a Competitividade e Inovao
(IAPMEI), I.P.
Autoridade de Segurana Alimentar e Econmica
Autoridade Nacional da Aviao Civil
Direo-Geral das Atividades Econmicas
Direo-Geral do Consumidor
Gabinete de Estratgia e Estudos
Instituto do Turismo de Portugal, I.P.
Instituto dos Mercados Pblicos, do Imobilirio
e da Construo, I.P.
Instituto Portugus da Qualidade, I.P.
Instituto Portugus de Acreditao, I.P
Laboratrio Nacional de Engenharia Civil, I.P.
Secretaria-Geral do ME
9 Agricultura e do Mar (Valores mdios)
Direo Regional de Agricultura e Pescas de Lisboa e Vale do Tejo
Direo Regional de Agricultura e Pescas do
Alentejo
Direo Regional de Agricultura e Pescas do Algarve
Direo Regional de Agricultura e Pescas do
Centro
Direo Regional de Agricultura e Pescas do
Norte
Direo-Geral de Agricultura e Desenvolvimento Rural
Direo-Geral de Alimentao e Veterinria
Direo-Geral de Poltica do Mar
Direo-Geral de Recursos Naturais, Segurana
e Servios Martimos
Gabinete de Planeamento, Polticas e Administrao Geral
Instituto da Conservao da Natureza e das Florestas, I.P.
Instituto da Vinha e do Vinho, I.P
Instituto de Financiamento da Agricultura e
Pescas, I.P.
Instituto dos Vinhos do Douro e do Porto, I.P
Instituto Nacional de Investigao Agrria e Veterinria, I.P
Instituto Portugus do Mar e da Atmosfera, I.P.
10 Solidariedade, Emprego e Segurana Social (Valores mdios)
Autoridade para as Condies do Trabalho
Caixa-Geral de Aposentaes, I.P.
Casa Pia de Lisboa, I.P.
Direo-Geral da Segurana Social
Gabinete de Estratgia e Planeamento
Instituto Nacional do Emprego e da Formao
Profissional, I.P.
Secretaria-Geral do MSESS
11 Sade (Valores mdios)
Administrao Central do Sistema de Sade,
I.P.
Administrao Regional de Sade de Lisboa e
Vale do Tejo, I.P.
Administrao Regional de Sade do Alentejo,
I.P.
Administrao Regional de Sade do Algarve,
I.P.
Administrao Regional de Sade do Centro, I.P
Administrao Regional de Sade do Norte, I.P.
Direo-Geral da Sade
INEM - Instituto Nacional de Emergncia Mdica, I.P.
INFARMED - Autoridade Nacional do Medicamento e Produtos de Sade, I.P
Inspeo-Geral das Atividades em Sade

ID1.1

Tabela E.1 Continuao da pgina anterior

100%

100%

100%

100%

0%

0%

100%

100%

100%

50%

0%

50%

50%

100%

100%

0%

0%

0%

100%

50%

0%

0%

0%

50%

50%

50%

50%

0%

100%

0%

100%

100%

48%

100%
100%

100%
100%

50%
100%

100%
100%

0%
100%

100%
100%

100%
100%

100%
100%

100%
50%

50%
0%

100%
100%

50%
50%

0%
0%

100%
100%

0%
0%

0%
0%

100%
0%

0%
0%

0%
100%

50%
50%

0%
0%

0%
0%

0%
50%

50%
100%

50%
50%

50%
50%

50%
50%

50%
0%

0%
0%

0%
0%

0%
0%

0%
0%

41%
44%

100%

100%

100%

100%

0%

100%

50%

100%

100%

50%

100%

0%

100%

100%

0%

0%

100%

100%

0%

50%

0%

0%

50%

50%

0%

50%

50%

0%

0%

0%

0%

0%

46%

100%
100%
100%
100%

100%
100%
100%
100%

100%
100%
100%
100%

100%
100%
100%
100%

50%
0%
21%
0%

0%
100%
50%
100%

100%
100%
88%
50%

100%
100%
100%
100%

0%
100%
50%
100%

50%
0%
33%
0%

100%
100%
83%
50%

0%
100%
38%
100%

0%
0%
29%
0%

100%
100%
58%
100%

0%
100%
42%
100%

0%
0%
0%
0%

100%
100%
83%
100%

0%
0%
8%
0%

100%
100%
67%
100%

0%
0%
13%
0%

0%
0%
0%
0%

0%
0%
0%
0%

0%
50%
4%
0%

50%
50%
50%
50%

50%
50%
33%
50%

50%
50%
71%
50%

50%
50%
52%
100%

0%
100%
63%
100%

50%
0%
17%
0%

0%
0%
42%
0%

0%
0%
42%
0%

0%
100%
54%
100%

34%
46%
41%
44%

100%

100%

100%

100%

0%

100%

100%

100%

100%

50%

100%

0%

0%

0%

100%

0%

100%

0%

100%

0%

0%

0%

0%

50%

50%

100%

50%

0%

0%

100%

0%

0%

40%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%

0%
0%
0%
50%
50%
50%

0%
0%
0%
0%
0%
0%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%

0%
100%
0%
100%
0%
0%

0%
50%
50%
50%
0%
50%

100%
100%
0%
100%
100%
100%

0%
0%
0%
0%
100%
0%

50%
0%
0%
0%
50%
50%

100%
0%
0%
0%
100%
100%

0%
0%
0%
100%
100%
0%

0%
0%
0%
0%
0%
0%

100%
100%
100%
100%
0%
0%

0%
0%
0%
0%
0%
0%

100%
0%
100%
0%
0%
100%

50%
0%
0%
0%
0%
50%

0%
0%
0%
0%
0%
0%

0%
0%
0%
0%
0%
0%

0%
0%
0%
0%
0%
0%

50%
50%
50%
50%
50%
50%

50%
50%
0%
50%
0%
50%

50%
100%
50%
100%
50%
50%

0%
50%
50%
60%
50%
50%

0%
100%
50%
100%
0%
100%

50%
0%
0%
0%
50%
100%

0%
100%
100%
100%
0%
0%

0%
100%
0%
100%
100%
100%

0%
100%
100%
100%
0%
0%

38%
40%
31%
44%
35%
45%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%

0%
0%
100%
0%
19%
0%

100%
100%
100%
100%
56%
0%

100%
50%
100%
50%
72%
100%

100%
100%
100%
100%
97%
100%

0%
0%
100%
100%
47%
100%

50%
0%
50%
50%
19%
0%

50%
100%
100%
100%
72%
100%

100%
50%
50%
50%
63%
50%

50%
50%
100%
0%
34%
50%

100%
100%
100%
0%
100%
100%

0%
0%
100%
0%
56%
100%

0%
0%
0%
0%
0%
0%

100%
100%
100%
100%
69%
0%

0%
0%
100%
0%
19%
0%

100%
100%
100%
0%
38%
0%

0%
0%
50%
0%
19%
50%

0%
0%
0%
0%
0%
0%

0%
0%
0%
0%
0%
0%

0%
0%
50%
0%
19%
0%

50%
50%
50%
50%
53%
50%

50%
50%
0%
0%
19%
0%

50%
100%
50%
100%
56%
50%

50%
50%
50%
60%
59%
50%

0%
100%
100%
100%
38%
0%

0%
0%
0%
0%
6%
50%

0%
0%
0%
100%
3%
0%

0%
0%
0%
100%
25%
100%

0%
100%
50%
100%
47%
0%

36%
40%
60%
42%
40%
41%

100%

100%

100%

100%

0%

0%

50%

100%

0%

0%

100%

50%

50%

100%

100%

0%

100%

100%

0%

50%

0%

0%

0%

50%

50%

50%

50%

0%

0%

0%

0%

50%

44%

100%

100%

100%

100%

0%

0%

50%

100%

0%

50%

0%

0%

0%

100%

0%

0%

100%

0%

0%

0%

0%

0%

0%

50%

0%

50%

50%

100%

0%

0%

0%

0%

26%

100%

100%

100%

100%

0%

100%

100%

100%

50%

50%

0%

0%

0%

100%

100%

0%

100%

100%

0%

0%

0%

0%

0%

50%

0%

50%

100%

100%

0%

0%

0%

100%

40%

100%

100%

100%

100%

0%

100%

50%

100%

100%

50%

100%

50%

50%

100%

0%

0%

100%

0%

0%

0%

0%

0%

0%

50%

0%

50%

50%

100%

0%

0%

0%

0%

36%

100%

100%

100%

100%

0%

0%

0%

100%

0%

0%

100%

50%

100%

100%

100%

0%

0%

100%

0%

0%

0%

0%

0%

50%

0%

50%

50%

0%

0%

0%

0%

0%

33%

100%
100%
100%

100%
100%
100%

100%
100%
100%

100%
100%
100%

100%
0%
0%

0%
0%
100%

100%
50%
50%

50%
100%
100%

0%
0%
100%

50%
50%
0%

0%
100%
100%

50%
100%
100%

0%
0%
0%

100%
100%
100%

0%
100%
0%

0%
0%
0%

100%
0%
100%

0%
0%
0%

0%
100%
0%

0%
0%
0%

0%
0%
0%

0%
0%
0%

0%
0%
0%

50%
50%
100%

0%
50%
0%

50%
100%
50%

50%
100%
100%

0%
100%
0%

50%
0%
0%

0%
0%
50%

0%
0%
0%

0%
0%
100%

29%
38%
39%

100%

100%

100%

100%

0%

100%

100%

100%

50%

0%

0%

100%

0%

100%

100%

0%

100%

0%

100%

50%

0%

0%

50%

50%

50%

100%

50%

100%

0%

0%

100%

100%

53%

100%

100%

100%

100%

0%

100%

50%

100%

100%

0%

100%

50%

100%

100%

100%

0%

100%

0%

100%

50%

0%

0%

100%

50%

0%

50%

50%

0%

0%

0%

100%

100%

53%

100%
100%

100%
100%

100%
100%

100%
100%

0%
0%

0%
100%

100%
100%

100%
100%

50%
0%

0%
0%

100%
100%

100%
100%

0%
0%

100%
100%

0%
0%

0%
0%

100%
100%

0%
0%

0%
0%

0%
50%

0%
0%

0%
0%

50%
0%

50%
50%

50%
50%

50%
50%

50%
50%

50%
0%

0%
0%

0%
0%

0%
0%

100%
0%

36%
39%

100%
100%

100%
100%

100%
100%

100%
100%

100%
0%

100%
100%

100%
50%

100%
100%

100%
50%

50%
0%

50%
100%

0%
100%

0%
100%

100%
100%

0%
100%

0%
0%

0%
100%

0%
0%

100%
100%

0%
0%

0%
0%

0%
0%

0%
0%

50%
50%

50%
0%

50%
50%

50%
50%

50%
0%

0%
0%

0%
0%

100%
0%

0%
100%

39%
41%

100%
100%

100%
100%

100%
100%

100%
100%

100%
14%

100%
71%

100%
93%

100%
93%

50%
43%

0%
29%

100%
100%

100%
86%

100%
57%

100%
100%

100%
57%

0%
0%

0%
71%

0%
29%

100%
43%

50%
29%

0%
0%

0%
0%

100%
50%

50%
57%

0%
29%

50%
64%

50%
57%

0%
50%

0%
21%

0%
7%

0%
43%

100%
71%

51%
47%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%

0%
100%
0%
0%
0%
0%

0%
100%
100%
100%
0%
100%

100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
50%
100%

50%
0%
100%
100%
0%
50%

0%
0%
0%
0%
50%
100%

100%
100%
100%
100%
100%
100%

50%
100%
100%
100%
100%
50%

50%
50%
50%
100%
50%
100%

100%
100%
100%
100%
100%
100%

0%
0%
100%
0%
100%
100%

0%
0%
0%
0%
0%
0%

100%
0%
100%
100%
100%
100%

100%
0%
0%
0%
0%
100%

0%
0%
100%
100%
100%
0%

0%
50%
0%
100%
0%
0%

0%
0%
0%
0%
0%
0%

0%
0%
0%
0%
0%
0%

50%
0%
50%
100%
50%
50%

50%
50%
50%
100%
50%
50%

0%
50%
100%
0%
0%
0%

50%
50%
100%
100%
50%
50%

50%
50%
50%
50%
100%
50%

0%
0%
100%
100%
100%
0%

50%
0%
50%
50%
0%
0%

0%
0%
0%
50%
0%
0%

0%
100%
0%
100%
0%
100%

0%
100%
100%
100%
100%
0%

35%
45%
51%
66%
43%
48%

100%
100%
100%

100%
100%
100%

100%
93%
100%

100%
100%
100%

0%
0%
0%

100%
43%
0%

50%
79%
100%

100%
96%
100%

0%
50%
50%

50%
39%
0%

100%
82%
100%

100%
50%
50%

0%
54%
50%

100%
100%
100%

100%
36%
100%

0%
0%
0%

0%
86%
100%

0%
43%
0%

0%
36%
100%

50%
21%
0%

0%
0%
0%

0%
0%
0%

50%
21%
0%

50%
54%
50%

50%
29%
0%

50%
54%
50%

50%
39%
50%

50%
14%
0%

0%
14%
0%

0%
0%
0%

0%
14%
0%

100%
46%
0%

44%
40%
35%

100%

100%

100%

100%

0%

0%

100%

100%

100%

100%

100%

50%

0%

100%

0%

0%

100%

100%

0%

50%

0%

0%

50%

50%

0%

50%

50%

0%

0%

0%

0%

100%

48%

100%

100%

100%

100%

0%

0%

100%

100%

100%

100%

100%

0%

50%

100%

100%

0%

100%

100%

0%

50%

0%

0%

0%

50%

0%

50%

0%

0%

0%

0%

0%

0%

45%

100%

100%

100%

100%

0%

0%

50%

100%

100%

100%

100%

50%

0%

100%

100%

0%

100%

100%

100%

50%

0%

0%

0%

50%

0%

50%

50%

0%

50%

0%

0%

0%

46%

100%
100%
100%
100%

100%
100%
100%
100%

100%
100%
100%
100%

100%
100%
100%
100%

0%
0%
0%
0%

100%
0%
100%
100%

50%
0%
100%
100%

100%
100%
100%
100%

0%
0%
50%
100%

50%
100%
0%
0%

100%
100%
0%
100%

50%
100%
50%
50%

100%
100%
50%
0%

100%
100%
100%
100%

0%
0%
0%
100%

0%
0%
0%
0%

0%
100%
100%
100%

0%
0%
0%
0%

0%
0%
0%
0%

0%
0%
0%
50%

0%
0%
0%
0%

0%
0%
0%
0%

0%
0%
0%
100%

50%
50%
50%
50%

50%
50%
0%
50%

50%
50%
100%
50%

50%
50%
50%
0%

50%
0%
50%
0%

50%
0%
0%
0%

0%
0%
0%
0%

0%
0%
0%
0%

50%
100%
0%
50%

35%
35%
33%
45%

100%

100%

0%

100%

0%

0%

100%

50%

50%

100%

100%

50%

100%

100%

100%

0%

100%

100%

100%

50%

0%

0%

50%

50%

50%

50%

50%

0%

0%

0%

0%

50%

49%

100%

100%

100%

100%

0%

100%

100%

100%

0%

0%

0%

100%

50%

100%

0%

0%

100%

0%

0%

0%

0%

0%

0%

100%

50%

50%

50%

50%

0%

0%

100%

100%

39%

Continua na prxima pgina

ID1.4

ID1.5

ID1.6

ID1.7

ID1.8

ID1.9

ID1.10

ID2.4

ID2.5

ID2.6

ID2.7

ID2.8

ID2.9

ID2.10

ID3.1

ID3.2

ID3.3

ID4.1

ID4.2

ID4.3

ID4.4

ID4.5

ID4.6

ID4.7

ID4.8

ID4.9

ID4.10

100%

100%

100%

0%

0%

50%

100%

0%

0%

50%

0%

50%

100%

0%

0%

100%

0%

100%

0%

0%

0%

0%

50%

50%

50%

50%

0%

50%

0%

0%

50%

31%

100%

100%

100%

100%

0%

0%

50%

100%

100%

0%

100%

50%

100%

100%

0%

0%

100%

100%

100%

50%

0%

0%

100%

50%

0%

50%

0%

0%

0%

0%

0%

50%

48%

100%
100%

100%
100%

100%
100%

100%
100%

0%
0%

100%
100%

100%
100%

100%
100%

0%
50%

0%
0%

100%
100%

100%
0%

50%
50%

100%
100%

0%
0%

0%
0%

100%
0%

100%
0%

0%
0%

0%
0%

0%
0%

0%
0%

0%
0%

50%
50%

50%
50%

50%
50%

50%
50%

50%
0%

0%
50%

0%
0%

0%
100%

100%
0%

40%
34%

100%

100%

100%

100%

14%

43%

79%

100%

71%

7%

71%

57%

64%

100%

100%

14%

71%

14%

43%

29%

0%

0%

21%

50%

14%

57%

43%

29%

7%

14%

14%

79%

43%

100%
100%
100%
100%

100%
100%
100%
100%

100%
100%
100%
100%

100%
100%
100%
100%

0%
0%
0%
0%

0%
0%
100%
0%

100%
100%
100%
0%

100%
100%
100%
100%

100%
0%
100%
100%

0%
50%
0%
0%

100%
50%
100%
100%

100%
0%
0%
100%

50%
0%
100%
100%

100%
100%
100%
100%

100%
100%
100%
100%

0%
0%
100%
0%

100%
100%
100%
100%

0%
0%
0%
0%

100%
100%
0%
0%

50%
0%
50%
50%

0%
0%
0%
0%

0%
0%
0%
0%

0%
0%
0%
0%

50%
50%
50%
50%

0%
0%
0%
50%

50%
100%
50%
50%

50%
50%
0%
50%

0%
100%
0%
0%

0%
0%
0%
0%

0%
100%
0%
0%

0%
0%
0%
0%

100%
100%
50%
50%

46%
40%
45%
43%

100%

100%

100%

100%

0%

100%

100%

100%

100%

0%

0%

50%

50%

100%

100%

0%

0%

0%

100%

0%

0%

0%

50%

50%

50%

50%

50%

0%

0%

0%

0%

100%

39%

100%

100%

100%

100%

100%

100%

100%

100%

50%

0%

100%

50%

100%

100%

100%

0%

100%

0%

0%

50%

0%

0%

100%

50%

0%

50%

50%

100%

0%

0%

0%

100%

53%

100%
100%
100%

100%
100%
100%

100%
92%
100%

100%
100%
100%

0%
33%
100%

0%
100%
100%

50%
83%
100%

100%
92%
100%

50%
42%
50%

0%
25%
50%

50%
100%
100%

100%
96%
50%

50%
71%
0%

100%
100%
100%

100%
83%
0%

0%
0%
0%

0%
100%
100%

100%
25%
0%

0%
42%
100%

0%
42%
50%

0%
25%
0%

0%
17%
0%

0%
17%
0%

50%
58%
50%

0%
37%
50%

50%
62%
100%

50%
63%
50%

0%
54%
0%

50%
21%
0%

0%
25%
100%

100%
25%
0%

50%
83%
100%

39%
54%
51%

100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

0%
100%
100%
100%
100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%
100%
100%
100%
0%

100%
0%
0%
0%
0%
0%
100%
100%
0%
100%

100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

50%
100%
100%
50%
50%
100%
100%
100%
50%
100%

0%
100%
100%
100%
100%
100%
100%
100%
100%
100%

0%
0%
100%
50%
0%
50%
100%
50%
0%
0%

0%
50%
0%
0%
0%
100%
0%
50%
0%
50%

100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

0%
100%
100%
50%
100%
50%
100%
100%
50%
100%

100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

100%
100%
100%
100%
100%
0%
100%
100%
100%
100%

0%
0%
0%
0%
0%
0%
0%
0%
0%
0%

100%
100%
100%
100%
100%
100%
100%
100%
100%
100%

0%
0%
100%
0%
0%
0%
0%
0%
100%
100%

0%
100%
100%
0%
0%
0%
100%
0%
100%
0%

0%
0%
100%
100%
0%
0%
100%
50%
50%
0%

0%
0%
100%
100%
0%
0%
100%
0%
0%
0%

0%
0%
0%
100%
0%
0%
100%
0%
0%
0%

0%
0%
50%
50%
0%
0%
100%
0%
0%
0%

50%
50%
100%
50%
50%
50%
50%
40%
100%
50%

50%
50%
50%
0%
50%
0%
50%
40%
50%
50%

100%
50%
50%
50%
100%
50%
50%
40%
50%
50%

50%
100%
50%
50%
50%
50%
100%
100%
50%
50%

100%
0%
50%
100%
0%
0%
100%
100%
100%
100%

0%
0%
50%
0%
0%
0%
50%
50%
50%
0%

0%
0%
100%
0%
0%
0%
100%
0%
0%
0%

0%
0%
100%
0%
0%
0%
100%
0%
0%
100%

100%
100%
100%
100%
100%
50%
100%
50%
100%
50%

38%
45%
80%
66%
40%
38%
85%
55%
54%
50%

100%
98%

100%
99%

100%
95%

100%
100%

0%
22%

100%
62%

100%
80%

100%
97%

100%
53%

0%
23%

100%
82%

100%
59%

100%
43%

100%
96%

100%
57%

0%
8%

100%
79%

0%
25%

0%
56%

50%
28%

0%
7%

0%
5%

0%
24%

50%
54%

0%
31%

50%
56%

50%
52%

0%
36%

50%
14%

0%
12%

0%
25%

50%
62%

48%
45%

ID2.3

ID1.3

100%

ID2.1

ID1.2

Departamento/Organismo
Instituto Nacional de Sade Doutor Ricardo
Jorge, I.P.
Instituto Portugus do Sangue e da Transplantao, I.P.
Secretaria-Geral do MS
Servio de Interveno nos Comportamentos
Aditivos e nas Dependncias
12 Ambiente, Ordenamento do Territrio e
Energia (Valores mdios)
Agncia Portuguesa do Ambiente, I.P
Direo-Geral de Energia e Geologia
Direo-Geral do Territrio
Inspeo-Geral dos Ministrios do Ambiente,
Ordenamento do Territrio e da Agricultura e
do Mar
Instituto da Habitao e da Reabilitao Urbana, I.P
Laboratrio Nacional de Energia e Geologia,
I.P.
Secretaria-Geral do MAOTE
13 Educao e Cincia (Valores mdios)
Agncia Nacional para a Qualificao e o Ensino
Profissional, I.P.
Centro Cientfico e Cultural de Macau, I.P
Direo-Geral da Administrao Escolar
Direo-Geral da Educao
Direo-Geral de Estatsticas da Educao
Direo-Geral do Ensino Superior
Direo-Geral dos Estabelecimentos Escolares
Fundao para a Cincia e a Tecnologia, I.P.
Inspeo-Geral da Eduo e Cincia
Instituto de Avaliao Educativa I.P.
Instituto de Gesto Financeira da Educao,
I.P.
Secretaria-Geral do MEC
Total (valores mdios)

ID1.1

Tabela E.1 Continuao da pgina anterior

124