%% Antes de processar este arquivo LaTeX (LaTeX2e) deve
%% verificar que o arquivo TEMA.cls estah no mesmo
%% diretorio. O arquivo TEMA.cls pode ser obtido do
%% endereco www.sbmac.org.br/tema.

\documentclass{TEMA}

\usepackage[brazil]{babel}      % para texto em Português
%\usepackage[english]{babel}    % para texto em Inglês

\usepackage[latin1]{inputenc}   % para acentuação em Português
%\input{P-margin.inf}

\usepackage{graphics}
\usepackage{subfigure}
\usepackage{graphicx}
\usepackage{epsfig}


%\usepackage{graphics}

%\usepackage{graphicx}
%\usepackage{epsfig}
%\usepackage{subfigure}
%\usepackage{geometry}
\usepackage{epstopdf}
%\usepackage{epsf}
\usepackage{mathrsfs}
\usepackage{amsmath}
%\usepackage{algorithmic}
%\usepackage{algorithm}
\usepackage{amssymb}

\usepackage{adjustbox}
\usepackage{float}

\usepackage{caption}
%\captionsetup{aboveskip=5pt}

\newcommand{\B}{{\tt\symbol{92}}}
\newcommand{\til}{{\tt\symbol{126}}}
\newcommand{\chap}{{\tt\symbol{94}}}
\newcommand{\agud}{{\tt\symbol{13}}}
\newcommand{\crav}{{\tt\symbol{18}}}

\begin{document}

%********************************************************
\title
    {
    %Index Assignment for Robust VQ Using\\Variable Neighborhood Search Algorithm
    Atribuição de Índices para QV Robusta Usando o Algoritmo \emph{Variable Neighborhood Search} %\thanks{Agradecimentos pelo apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).}
    }

%\author
   % {A. SRI RANGA%
     %\thanks{ranga@ibilce.unesp.br; convidado em 1999 para atuar como
     %editor chefe da série TEMA.}\,,
     %Departamento de Ciências de Computação e Estatística,
     %IBILCE,
    % UNESP - Univ Estadual Paulista, 15054-000 São José do Rio Preto, SP, Brasil
    % \\ \\
     %E. WENDLAND%
     %\thanks{ew@sc.usp.br; convidado em 2010 para atuar como
     %editor chefe da série TEMA.}\,,
     %Departamento de Hidráulica e Saneamento, EESC - USP,
     %Av. Trabalhador Sancarlense, 400, 13566-590 São Carlos, SP, Brasil.}

\criartitulo

%\runningheads {Sri Ranga e Wendland}{Instruções para Preparação de Trabalhos}

\begin{abstract}
{\bf Resumo}. 
Este trabalho aborda o problema da Quantização Vetorial Robusta no cenário de transmissão de imagens por canal binário simétrico. É introduzida uma aplicação do algoritmo Variable Neighorhood Search (VNS) para atribuição de indices para vetores-código do dicionário. Resultados de simulações revelam que o algoritmo VNS, quando comparado ao Simulated Annealing e ao Algoritmo Genético, produz dicionários com a mesma robustez aos erros de canal,  gastando, para tanto, um menor tempo de execução. %A performace dos algoritmos é avaliada através da transmissão de imagens sobre o canal binário simétrico.

{\bf Palavras-chave}. Quantização Vetorial Robusta, Algoritmos de Otimização, Proces\-samento Digital de Imagens.
\end{abstract}


%********************************************************
\newsec{Introdução}

O aumento do acesso à Internet, principalmente em dispositivos móveis, como \emph{smartphones} e \emph{tablets}, proporcionou intensa troca de dados entre usuários. Imagens digitais são cada vez mais frequentemente enviadas por essa rede. Cenários como esse evidenciam a importância das técnicas de Processamento de Digital de Imagens (PDI). Um dos objetivos da área é propor mecanismos para transmissão eficiente de imagens digitais.

O armazenamento também é de grande importância quando se fala de imagens digitais. Neste caso, o alvo das técnicas de compressão de imagens, uma subárea de PDI, é diminuir a quantidade de \emph{bits} necessários para representá-las. Uma técnica de compressão muito utilizada é a Quantização Vetorial \cite{Gersho}.

Um tópico de interesse envolvendo PDI é a robustez na transmissão de imagens digitais. Durante a transmissão das imagens digitais por canais ruidosos, \emph{bits} podem ser invertidos, ocasionando perda da qualidade da imagem reconstruída. Uma técnica para minimizar o impacto dos ruídos do canal em transmissão baseada em quantização vetorial é a organização do dicionário através da atribuição de índices, ou seja, a Quantização Vetorial Robusta \cite{Farvardin,Lima}. Para um dicionário de tamanho $N$, há $N!$ possíveis organizações do dicionário a serem avaliadas. Considerando um dicionário de tamanho $512$, por exemplo, há $512!= 3,47\times10^{1166}$ organizações a considerar. Alternativas à força bruta são os algoritmos de otimização como, por exemplo, Simulated Annealing \cite{Farvardin,Kirkpatrik} e Algoritmo Genético \cite{Hollandd,Pan}.

Este artigo apresenta a utilização do algoritmo \emph{Variable Neighborhood Search} \cite{MladenovicVNS} para a organização de dicionários a partir da atribuição de índices aos vetores-código, com o objetivo de reduzir o impacto dos erros de canal na transmissão de imagens digitais.

O restante deste artigo está organizado desta forma: Seção 2 contempla a Quantização Vetorial e a Quantização Vetorial Robusta (RVQ -- \emph{Robust Vector Quantization}); na Seção 3 o algoritmo Variable Neighborhood Search (VNS) é descrito; a Seção 4 aborda o algoritmo VNS aplicado a RVQ; a metodologia utilizada neste trabalho é apresentada na Seção 5; na Seção 6 são apresentados os resultados das simulações e na Seção 7 são apresentadas as conclusões e trabalhos futuros.


\newsec{Quantização Vetorial}
A Quantização Vetorial (QV) é uma técnica que, no cenário de compressão de sinais, tem por objetivo diminuir a quantidade de \emph{bits} para representá-los \cite{Gersho}.

A QV tem sido usada amplamente como técnica de compressão de voz \cite{ramdas}, vídeo \cite{huang} e imagens digitais \cite{canejo,Tsolakis}. A quantização vetorial de imagens digitais é uma técnica de compressão com perda e tem se destacado por obter elevadas taxas de compressão e pela sua simples estrutura de codificação e decodificação. 

A QV pode ser definida como um mapeamento \emph{Q} de um vetor \emph{x} pertencente ao espaço euclidiano \emph{K}-dimensional, $\mathbb{R}^{K}$, em um vetor pertencente a um subconjunto finito chamado dicionário \emph{W}, ou seja,
\begin{equation}
Q:\mathbb{R}^{\emph{K}}\rightarrow \emph{W}.
\end{equation}

O dicionário $\emph{W}=\{w_{i}:i = 0, 1, ..., N-1\}$ é o conjunto de vetores-código \emph{K}-dimensionais, também chamados de vetores de reconstrução, e \emph{N} é o tamanho do dicionário (número de níveis de quantização), ou seja, a quantidade de vetores-código \cite{Gersho}. Cada vetor-código $w_{i}$ pode ser representado por um índice \emph{i}, associado ao qual existe uma palavra-binária $b_{i}\in\{ 0,1\}^{b}$, em que $b=\log_{2}N$ é o número de \emph{bits}. A taxa de codificação do quantizador vetorial, que mede o número de \emph{bits} por componente do vetor, é definida por $R =  \frac{\log_{2}N}{K}$. 
%\begin{equation}
%R = \frac{\log_{2}N}{K}.
%\end{equation}
Em codificação de imagens, a taxa de codificação (\emph{R}) é expressa em \emph{bits} por pixel (\emph{bpp}) \cite{Gersho}.

\subsection{Quantização Vetorial Robusta}
Os erros do canal, quando não tratados adequadamente, prejudicam o desempenho do quantizador vetorial, ocasionando alterações na reconstrução da imagem e, consequentemente, levando a uma baixa qualidade da imagem reconstruída. 
Uma forma de diminuir a degradação da imagem reconstruída a partir dos índices transmitidos é o uso de \emph{bits} de redundância (codificação de canal). Uma outra forma é a atribuição adequada de índices aos vetores-códigos, ou seja, a Quantização Vetorial Robusta \cite{Farvardin}, \cite{Lima},  \cite{Lopes}.

A Quantização Vetorial Robusta tem como objetivo minimizar a degradação das imagens reconstruídas transmitidas por canais ruidosos. A degradação pode ser minimizada realizando a atribuição de índices de tal maneira que vetores-códigos com grande/pequena distância euclidiana estejam associados a palavras-binárias com grande/pequena distância de Hamming.
Uma maneira de medir o nível de robustez do dicionário aos erros de canal é o índice de desordem \cite{Lima,Lopes},  definido como
\begin{equation}
I_d=\sum_{i=1}^{N}\sum_{j\in H^1(i)}^{}\left \| w_i - w_j \right \|^2 ,
\label{indicedesordem}
\end{equation}
em que \emph{$j \in H^1(i)$} é o conjunto de todos os índices $j$ (palavras-código $b_{j}$) cuja distância de Hamming ao índice $i$ (palavras-código $b_{i}$) é igual a 1 \emph{bit} e $\left \| w_i - w_j \right \|^2 $ denota a distância euclidiana quadrática entre os vetores-código $w_{i}$ e $w_{j}$. Quanto menor o $I_{d}$ maior a robustez inerente do dicionário aos erros de canal.

\newsec{Variable Neighborhood Search}
Algoritmos de busca local são algoritmos de otimização que realizam pesquisas dentro da vizinhança $V(s)$, sendo $s$ a solução local, até encontrar um ótimo local, $s'$, para uma função objetivo \cite{MladenovicVNS}. A cada iteração o algoritmo tenta encontrar uma melhor solução dentro da mesma vizinhança.

Problemas de estagnação são comuns em algoritmos de busca local, os quais podem ficar presos em um mínimo local. Uma estratégia para melhorar o dessempenho e escapar de um mínimo local é aumentar o tamanho da vizinhança de busca~\cite{Ahuja}.

O Variable Neighborhood Search (VNS) \cite{MladenovicVNS,MladenovicVNST} combina a estratégia dos algoritmos de busca local com a mudança dinâmica de vizinhanças, com isso, podendo escapar dos mínimos locais \cite{HansenT,HansenV}. O pseudo-algoritmo do VNS é descrito a seguir:
\begin{description}
\itemsep0pt\parskip0pt 
\item[(1)]Inicialização: selecione uma estrutura de vizinhança $V_{m}$, para $m=1,...,m_{max}$ que será usado como o espaço de busca. Encontre uma solução inicial $s$.
\item[(2)]Faça $m=1;$
\item[(3)]Repetir os seguintes passos enquanto $m\leq m_{max}$:
\item~~~(a) Gere uma solução aleatória $s'$ dentro da $m$--ésima vizinhança de $s$ ($s' \in V_{m}(s)$);
\item~~~~(b) Aplique métodos de busca local com $s'$ sendo a solução inicial. Seja $s''$ o ótimo local;
\item~~~~~(c) Se o ótimo local $s''$ for melhor que a solução $s$, então, $s=s''$  e continue na vizinhança $V_{m=1}$. Caso contrário, $m=m+1$.
\item[(4)]Retorne $s$. 
\end{description}

%Inicialização: Selecione uma estrutura de vizinhança $V_{m}$, para $m=1,...,m_{max}$ que será usado como meu espaço de busca. Encontre uma solução inicial $s$.
%\\(1) Faça $m=1;$
%\\(2) Repitir os seguintes enquanto $m\leq m_{max}$:
%\\(a) Gere uma solução aleatória $s'$ dentro da $m$--ésima vizinhança de $s$ ($s' \in V_{m}(s)$);
%\\(b) Aplique methodos de busca local com $s'$ sendo a solução inicial, seja $s''$ o ótimo local;
%\\(c) Se o ótimo local $s''$ for melhor que a solução $s$, então, $s=s''$  e continue na vizinhança $V_{m=1}$. Caso contrário, $m=m+1$. 

\newsec{VNS na RVQ}
Na atribuição de índices aos vetores-código no processo da RVQ, o algoritmo VNS realiza as permutações entre os vetores-código dentro de uma vizinhança, com isso, o VNS encontra novos índices dos vetores-código com o objetivo de minimizar o índice de desordem, apresentado na Equação \ref{indicedesordem}.

 O tamanho da vizinhança de busca do algoritmo VNS corresponde ao tamanho do dicionário (\emph{N}). O pseudocódigo do VNS aplicado à quantização vetorial robusta é descrito a seguir:
\begin{description}
\itemsep0pt\parskip0pt 
\item[(1)]Inicialização: selecione uma estrutura de vizinhança $V_{m}$, para $m=1,...,N$. Seja $L$ o número de buscas locais.
\item[(2)]Atribua índices ($s$) aos vetores-códigos e calcule o índice de desordem ($I_{d}$) e faça $m=1;$
\item[(3)]Repetir os seguintes passos enquanto $m\leq N$:
\item~~~~(a) Escolha $m$ vetores-códigos e realize permutações dentro da  $m$--ésima vizinhança. Encontre uma sequência de novos índices ($s'$), ou seja, $s' \in V_{m}(s)$;
\item~~~~(b) Faça $L$ buscas locais, ou seja,  permute $m$ vetores-código ao redor de $s'$ e encontre uma nova sequência de indíces $s''$ e calcule o $I_{d}(L)$;
\item~~~~(c) Se a solução $s''$ for melhor que a solução $s$, então, $s=s''$  e continue na vizinhança $V_{m=1}$. Caso contrário, $m=m+1$;
\item[(4)]Retorne a sequência de índices ($s$) do dicionário. 
\end{description}

\newsec{Metodologia}
O algoritmo \emph{Variable Neighborhood Search} (VNS) foi aplicado à atribuição de índices aos vetores-código do dicionários. Os resultados obtidos  do VNS foram comparados com os algoritmos Simulated Annealing  \cite{Farvardin,Kirkpatrik} e Algoritmo Genético \cite{Hollandd,Pan}.

Nas simulações foram utilizados dicionários de tamanho ($N$) igual a 32, 64, 128, 256 e 512 com dimensão ($K$) igual a 16 (blocos de $4×4~pixels$). Para o conjunto treino dos dicionários foram utilizadas as imagens Airplane, Elaine, Goldhill e Peppers (Fig. 1). Todas as imagens utilizadas têm dimensão $512×512~pixels$ e são codificadas em 8 $bpp$ (256 níveis de cinza) no formato PGM. O algoritmo para projeto dos dicionários foi o LBG \cite{Linde} com limiar de distorção $\epsilon=10^{-3}$.

\begin{figure}[h]
\centering
\subfigure[airplane][Airplane.]{\includegraphics[width=3cm]{Capitulo5/airplane.eps}\label{airplane}}
%\quad
\subfigure[elaine][Elaine.]{\includegraphics[width=3cm]{Capitulo5/elaine.eps}\label{elaine}}
%\\
\subfigure[goldhill][Goldhill.]{\includegraphics[width=3cm]{Capitulo5/goldhill.eps}\label{goldhill}}
%\quad
\subfigure[peppers][Peppers.]{\includegraphics[width=3cm]{Capitulo5/peppers.eps}\label{peppers}}
\caption{Imagens utilizadas para projetar os dicionários aplicados a RVQ. }
\label{conjuntotreino}
\end{figure}

A robustez dos dicionários organizados foi avaliada por meio da transmissão de imagens por um canal binário simétrico (BSC -- \emph{Binary Symmetric Channel}).

Os algoritmos foram implementados na linguagem C\# (C sharp) com a interface de desenvolvimento Visual Studio 2010 da Microsoft$^{\textregistered}$ e a configuração dos computadores utilizados foi a seguinte: processador AMD$^{\textregistered}$ FX(tm)-6100 de 3,30 GHz com seis núcleos de processamento, 4 GB de memória RAM DDR3, placa mãe Asus$^{\textregistered}$ M5A78L-M, HD com 500 GB e sistema operacional Windows 7 Profissional$^{\textregistered}$.

\subsection{Configuração do Simulated Annealing}
O algoritmo Simulated Annealing (SA) foi configurado com os parâmetros de temperatura inicial ($T_{0}$), temperatura final ($T_{f}$) e constante de resfriamento ($\alpha$)  utilizados por Lopes \cite{Lopes}. A função de avaliação dos dicionários organizados pelo $SA$ foi o índice de desordem definido na Equação \ref{indicedesordem}. Após realizadas 50 execuções para cada tamanho do dicionário com respectivos parâmetros foi calculada a média dos valores dos índices de desordem obtidos e calculado o percentual de redução de índice de desordem ($\Delta Id$), ou seja, a diferença percentual entre o índice de desordem inicial e o final, conforme a Tabela \ref{tabelaParametrosSA}.

O algoritmo SA reduziu os valores dos índices de desordem dos dicionários %iniciais quando comparado com os dicionários organizados. 
O \emph{SA} obteve melhor desempenho na organização do dicionário de tamanho $N=512$, com $\Delta Id = 71,42\%$, conforme Tabela \ref{tabelaParametrosSA}.

\begin{table}[!h]
\centering
\caption{Parâmetros e percentual de redução do índice de desordem do SA.}
\begin{adjustbox}{max width=\textwidth}
\begin{tabular}{c|c|c|c|c|c}
\hline
\textbf{\emph{$N$}} & \textbf{$t_0$} & \textbf{$t_f$} & {\textbf{$\alpha$}} & \emph{Avaliações}    & \textbf{$\Delta I_d$} \\ \hline \hline
32         & 10.000       & 1           & 0,95    &    180.000                      & 53,57\%                                      \\ \hline
64         & 10.000       & 1           & 0,95   &    180000                        & 56,46\%                                      \\ \hline
128        & 10.000       & 1           & 0,95   &     177.653                      & 61,63\%                                     \\ \hline
256        & 50.000       & 1           & 0,97     &   129.484                      & 69,50\%                                      \\ \hline
512        & 50.000       & 10          & 0,97   &     146.174                     & 71,42\%                                      \\ \hline
\end{tabular}
\end{adjustbox}

\label{tabelaParametrosSA}
\end{table}


\subsection{Configuração do Algoritmo Genético}
O Algoritmo Genético (AG) foi configurado com valores binários e treinado com vários conjuntos de parâmetros. Para o AG, os valores dos parâmetros com tamanho da população ($P$), taxa de cruzamento ($Tc$), taxa de mutação ($Tm$) e quantidade de pontos de cruzamento ($Ps$), que levaram ao melhor desempenho (menor $I_{d}$) para os tamanhos de dicionário considerados, são apresentados na Tabela \ref{tabelaParametrosAG}. O índice de desordem foi utilizado como função \emph{fitness}, para avaliar cada indivíduo da população. O algoritmo foi executado 50 vezes para cada tamanho do dicionário.

O Algoritmo Genético reduziu os valores de índice de desordem de todos os tamanhos de dicionários executados. O melhor desempenho em termos de redução percentual do índice de desordem pode ser observado para $N=512$ com $\Delta Id = 69,54\%$.


\begin{table}[!h]
\centering
\caption{Parâmetros e percentual de redução do índice de desordem do GA.}
\begin{adjustbox}{max width=\textwidth}
\begin{tabular}{c|c|c|c|c|c|c}
\hline
\textbf{$N$} & \textbf{$P$} & \textbf{$Tc$} & \textbf{$Tm$} & \textbf{$Ps$} & \emph{Avaliações}   	  &\textbf{$\Delta I_d$} \\ \hline \hline
32         & 10                 & 90\%                       & 5\%                     & 4               & 70.000                     &  58,71\%            \\ \hline
64         & 8                  & 80\%                       & 0,5\%                   & 4               & 70.000                     &58,98\%               \\ \hline
128        & 8                  & 80\%                       & 0,4\%                   & 4               & 70.000                     &  62,60\%            \\ \hline
256        & 8                  & 90\%                       & 0,5\%                   & 6               & 120.000           	   &  69,24\%              \\ \hline
512        & 8                  & 90\%                       & 0,2\%                   & 4               & 150.000                   &   69,54\%         \\ \hline
\end{tabular}
\end{adjustbox}
\label{tabelaParametrosAG}
\end{table}


\subsection{Configuração do Variable Neighborhood Search}
O algoritmo \emph{Variable Neighborhood Search} (\emph{VNS}) foi configurado conforme mostra a Tabela \ref{tabelaParametrosVNS}, sendo $Vmax$ o tamanho máximo de vizinhanças, $Vpts$ a quantidade de buscas na vizinhança e $Pl$ a quantidade de permutações locais. A função \emph{fitness} utilizada para avaliar os pontos visitados foi o índice de desordem. O VNS foi executado 50 vezes e foram calculados os valores médios dos índices de desordem obtidos. Para o \emph{VNS}, a maior eficiência de organização pode ser vista no dicionário com tamanho 512, com $\Delta Id = 71,59\%$.


\begin{table}[!h]
\centering
\caption{Parâmetros e percentual de redução do índice de desordem do VNS.}
\begin{adjustbox}{max width=\textwidth}
\begin{tabular}{c|c|c|c|c|c}
\hline
\textbf{$N$} & \textbf{$Vmax$} & \textbf{$Vpts$} & \textbf{$Pl$} & \emph{Avaliações}  & \textbf{$\Delta I_d$} \\ \hline \hline
32         & 30            & 50           & 18                 & 22.301                 & 58,84\%        \\ \hline
64         & 10            & 80           & 20                  & 26.191                & 59,14\%        \\ \hline
128        & 15            & 80           & 10                 & 48.801                & 62,74\%        \\ \hline
256        & 10            & 80           & 20                 & 196.878              & 69,79\%        \\ \hline
512        & 10            & 70           & 18                 & 329.883              & 71,59\%        \\ \hline
\end{tabular}
\end{adjustbox}

\label{tabelaParametrosVNS}
\end{table}

\subsection{Configuração do Canal Binário Simétrico}
As probabilidades de erro de bit ($\epsilon$) consideradas para o canal binário simétrico (\emph{BSC}) foram $10^{-4}, 5×10^{-4}, 10^{-3}, 5×10^{-3}, 10^{-2}, 5×10^{-2}, 10^{-1}$. As imagens Mandrill e Peppers (Fig. \ref{ConjuntoTesteBSC}) foram utilizadas como conjunto de teste, transmitidas pelo canal \emph{BSC} 50 vezes para cada probabilidade $\epsilon$.

Os melhores dicionários organizados pelos algoritmos \emph{Simulated Annealing}, Algoritmo Genético e \emph{Variable Neighborhood Search} foram selecionados para reconstruir as imagens após a transmissão pelo canal. Para medir a qualidade das imagens foi utilizado o valor da relação sinal-ruído de pico (\emph{PSNR -- Peak Signal-to-Noise Ratio}) entre a imagem original e a imagem recebida após passar pelo canal \emph{BSC}.


\begin{figure}[!h]
\centering
\subfigure[mandrill][Mandrill.]{\includegraphics[width=3cm]{Capitulo5/mandrill.eps}\label{CanalMandrill}}
\quad
\subfigure[peppers][Peppers.]{\includegraphics[width=3cm]{Capitulo5/peppers.eps}\label{CanalPeppers}}
\caption{Imagens utilizadas como conjunto de teste, transmitidas no \emph{BSC}. }
\label{ConjuntoTesteBSC}
\end{figure}

\newsec{Resultados}
Inicialmente, é importante observar que o algoritmo VNS obteve maior redução dos índices de desordem ($\Delta Id$) quando comparados aos algoritmos SA e GA para todos os tamanhos de dicionários.

Os valores médios de PSNR obtidos para as diversas probabilidades de erro de \emph{bit} ($\epsilon$) na transmissão da imagem Peppers pelo canal BSC com dicionários originais e organizados pelos algoritmos em consideração são apresentados nas Tabelas 4 a 8, onde os melhores resultados estão em negrito. Foi observado que os algoritmos obtiveram valores de PSNR próximos em todas as probabilidades $\epsilon$.



\begin{table}[!h]
\centering
\caption{\emph{PSNR} (dB) médio em relação ao erro ($\epsilon$) do canal com $N=32$.}
\begin{adjustbox}{max width=\textwidth}
\begin{tabular}{c|c|c|c|c|c|c|c|c}
\hline
\textbf{Método} & \textbf{$\epsilon =0,0$} & \textbf{$\epsilon=10^{-4}$}    & \textbf{$\epsilon=5\times10^{-4}$}   & \textbf{$\epsilon=10^{-3}$}   & \textbf{$\epsilon=5\times10^{-3}$}   & \textbf{$\epsilon=10^{-2}$}    & \textbf{$\epsilon=5\times10^{-2}$}           & \textbf{$\epsilon=10^{-1}$} \\ \hline \hline
Original                    & 27,59                  & 27,46                   & 27,00                    & 26,56                   & 23,87                    & 21,88                   & 16,32                    & 13,89                    \\ \hline
SA                          & 27,59                  & \textbf{27,54}          & 27,34                    & 27,12                   & 25,59                    & 24,21                   & 19,29                    & 16,66                    \\ \hline
AG                          & 27,59                  & \textbf{27,54}          & 27,34                    & 27,11                   & 25,58                    & 24,19                   & 19,28                    & 16,65                    \\ \hline
%HS                          & 27,59                  & \textbf{27,54}          & \textbf{27,35}           & \textbf{27,13}          & 25,61                    & 24,26                   & \textbf{19,35}           & \textbf{16,71}           \\ \hline
VNS                         & 27,59                  & \textbf{27,54}          & 27,34                    & 27,12                   & \textbf{25,63}           & \textbf{24,27}          & 19,33                    & 16,70                    \\ \hline
\end{tabular}
\end{adjustbox}

\label{tabelaValoresBSC32}
\end{table}

\begin{table}[!h]
\centering
\caption{\emph{PSNR} (dB) médio em relação ao erro ($\epsilon$) do canal com $N=64$.}
\begin{adjustbox}{max width=\textwidth}
\begin{tabular}{c|c|c|c|c|c|c|c|c}
\hline
\textbf{Método} & \textbf{$\epsilon =0,0$} & \textbf{$\epsilon=10^{-4}$}    & \textbf{$\epsilon=5\times10^{-4}$}   & \textbf{$\epsilon=10^{-3}$}   & \textbf{$\epsilon=5\times10^{-3}$}   & \textbf{$\epsilon=10^{-2}$}    & \textbf{$\epsilon=5\times10^{-2}$}           & \textbf{$\epsilon=10^{-1}$} \\ \hline \hline
Original                    & 28,76                  & 28,60                   & 28,00                    & 27,30                   & 24,04                    & 21,88                   & 16,04                    & 13,64                    \\ \hline
SA                          & 28,76                  & 28,70                   & 28,45                    & 28,16                   & 26,35                    & 24,78                   & 19,53                    & 16,82                    \\ \hline
AG                          & 28,76                  & \textbf{28,71}          & \textbf{28,46}           & \textbf{28,17}          & 26,31                    & 24,79                   & 19,50                    & 16,80                    \\ \hline
%HS                          & 28,76                  & 28,69                   & 28,45                    & 28,16                   & 26,36                    & 24,81                   & 19,56                    & 16,84                    \\ \hline
VNS                         & 28,76                  & 28,70                   & 28,45                    & \textbf{28,17}          & \textbf{26,37}           & \textbf{24,83}          & \textbf{19,57}           & \textbf{16,86}           \\ \hline
\end{tabular}
\end{adjustbox}
%\caption{\emph{PSNR} (dB) médio em relação à probabilidade de erro de \emph{bit} ($\epsilon$) do canal com dicionário de tamanho 64.}

\label{tabelaValoresBSC64}
\end{table}

\begin{table}[!h]
\centering
\caption{\emph{PSNR} (dB) médio em relação ao erro ($\epsilon$) do canal com $N=128$.}
\begin{adjustbox}{max width=\textwidth}
\begin{tabular}{c|c|c|c|c|c|c|c|c}
\hline
\textbf{Método} & \textbf{$\epsilon =0,0$} & \textbf{$\epsilon=10^{-4}$}    & \textbf{$\epsilon=5\times10^{-4}$}   & \textbf{$\epsilon=10^{-3}$}   & \textbf{$\epsilon=5\times10^{-3}$}   & \textbf{$\epsilon=10^{-2}$}    & \textbf{$\epsilon=5\times10^{-2}$}           & \textbf{$\epsilon=10^{-1}$} \\ \hline \hline
Original                    & 29,92                  & 29,69                   & 28,67                    & 27,88                   & 24,30                    & 21,68                   & 15,63                    & 13,43                    \\ \hline
SA                          & 29,92                  & 29,84                   & \textbf{29,59}           & \textbf{29,30}          & 27,23				       & \textbf{25,44}          & \textbf{19,89}           & \textbf{17,27}           \\ \hline
AG                          & 29,92                  & \textbf{28,85}          & 29,45			          & 29,22         			& 27,19                    & 25,31                   & 19,75                    & 17,07                    \\ \hline
%HS                          & 29,92                  & 29,83                   & 29,50                    & 29,15                   & 27,20                    & 25,21                   & 19,74                    & 17,12                    \\ \hline
VNS                         & 29,92                  & \textbf{28,85}          & 29,49                    & 29,24			        & \textbf{27,28} 		   & 25,34 			         & 19,85 			        & 17,14				       \\ \hline

\end{tabular}
\end{adjustbox}
%\caption{\emph{PSNR} (dB) médio em relação à probabilidade de erro de \emph{bit} ($\epsilon$) do canal com dicionário de tamanho 128.}

\label{tabelaValoresBSC128}
\end{table}


\begin{table}[!h]
\centering
\caption{\emph{PSNR} (dB) médio em relação ao erro ($\epsilon$) do canal com $N=256$.}
\begin{adjustbox}{max width=\textwidth}
\begin{tabular}{c|c|c|c|c|c|c|c|c}
\hline
\textbf{Método} & \textbf{$\epsilon =0,0$} & \textbf{$\epsilon=10^{-4}$}    & \textbf{$\epsilon=5\times10^{-4}$}   & \textbf{$\epsilon=10^{-3}$}   & \textbf{$\epsilon=5\times10^{-3}$}   & \textbf{$\epsilon=10^{-2}$}    & \textbf{$\epsilon=5\times10^{-2}$}           & \textbf{$\epsilon=10^{-1}$} \\ \hline \hline
Original                    & 30,82                  & 30,44                   & 29,22                    & 28,05                   & 23,52                    & 21,01                   & 14,95                    & 12,68                    \\ \hline
SA                          & 30,82                  & \textbf{30,72}          & \textbf{30,32}           & \textbf{29,91}          & 27,37                    & 25,45                   & \textbf{19,63}           & \textbf{16,83}           \\ \hline
AG                          & 30,82                  & 30,71                   & 30,28                    & 29,80                   & 27,15                    & 25,20                   & 19,37                    & 16,62                    \\ \hline
%HS                          & 30,82                  & 30,69                   & 30,26                    & 29,75                   & 27,02                    & 25,05                   & 19,18                    & 16,46                    \\ \hline
VNS                         & 30,82                  & \textbf{30,72}          & 30,31                    & 29,86                   & \textbf{27,38}           & \textbf{25,46}          & \textbf{19,63}           & \textbf{16,83}           \\ \hline
\end{tabular}
\end{adjustbox}
%\caption{\emph{PSNR} (dB) médio em relação à probabilidade de erro de \emph{bit} ($\epsilon$) do canal com dicionário de tamanho 256.}

\label{tabelaValoresBSC256}
\end{table}

\begin{table}[!h]
\centering
\caption{\emph{PSNR} (dB) médio em relação ao erro ($\epsilon$) do canal com $N=512$.}
\begin{adjustbox}{max width=\textwidth}
\begin{tabular}{c|c|c|c|c|c|c|c|c}
\hline
\textbf{Método} & \textbf{$\epsilon =0,0$} & \textbf{$\epsilon=10^{-4}$}    & \textbf{$\epsilon=5\times10^{-4}$}   & \textbf{$\epsilon=10^{-3}$}   & \textbf{$\epsilon=5\times10^{-3}$}   & \textbf{$\epsilon=10^{-2}$}    & \textbf{$\epsilon=5\times10^{-2}$}           & \textbf{$\epsilon=10^{-1}$} \\ \hline \hline
Original                    & 31,55                  & 31,09                   & 29,69                    & 28,31                   & 23,53                    & 20,92                   & 14,91                    & 12,76                    \\ \hline
SA                          & 31,55                  & 31,44                   & \textbf{31,00}           & \textbf{30,54}          & \textbf{27,90}           & \textbf{25,94}          & \textbf{20,10}           & \textbf{17,31}           \\ \hline
AG                          & 31,55                  & \textbf{31,45}          & 30,98                    & 30,51                   & 27,76                    & 25,82                   & 19,93                    & 17,17                    \\ \hline
%HS                          & 31,55                  & 31,42                   & 30,90                    & 30,35                   & 27,39                    & 25,32                   & 19,45                    & 16,75                    \\ \hline
VNS                         & 31,55                  & 31,44                   & \textbf{31,00}           & 30,53                   & 27,84                    & 25,93                   & 20,05                    & 17,28                    \\ \hline
\end{tabular}
\end{adjustbox}
%\caption{\emph{PSNR} (dB) médio em relação à probabilidade de erro de \emph{bit} ($\epsilon$) do canal com dicionário de tamanho 512.}

\label{tabelaValoresBSC512}
\end{table}

O tempo médio gasto pelo VNS foi menor que o do SA e do GA na organização dos índices dos dicionários. A Fig. \ref{ResultadoTempoBSC} apresenta o tempo médio dos algoritmos, onde se observa uma economia de tempo médio de aproximadamente 18\% e 32\%, respectivamente, em relação aos algoritmos SA e AG, para $N=256$.

\begin{figure}[H]
\centering
\includegraphics[width=8cm]{Capitulo5/ResultadoTempoBSC.eps}\label{ResultadoTempoBSC}
\caption{Tempo de execução médio gasto pelos algoritmos. }
\label{ResultadoTempoBSC}
\end{figure}

O desempenho dos algoritmos para a transmissão da imagem Peppers, à luz dos valores de PSNR das imagens reconstruídas, pode ser observado nas Fig. \ref{ConjuntoTesteBSC}. Observa-se que a organização dos dicionários (por SA, GA ou VNS) contribuiu para aumentar a robustez aos erros do canal, levando a imagens reconstruídas com PSNR maior que as obtidas com os dicionários originais.

\begin{figure}[!h]
\centering
\subfigure[ResultadoBSC32][$N=32.$]{\includegraphics[width=6.2cm]{Capitulo5/ResultadoBSC32.eps}\label{ResultadoBSC32}}
\subfigure[ResultadoBSC64][$N=64.$]{\includegraphics[width=6.2cm]{Capitulo5/ResultadoBSC64.eps}\label{ResultadoBSC64}}
\subfigure[ResultadoBSC128][$N=128.$]{\includegraphics[width=6.2cm]{Capitulo5/ResultadoBSC128.eps}\label{ResultadoBSC128}}
\subfigure[ResultadoBSC256][$N=256.$]{\includegraphics[width=6.2cm]{Capitulo5/ResultadoBSC256.eps}\label{ResultadoBSC256}}
\subfigure[ResultadoBSC512][$N=512.$]{\includegraphics[width=6.2cm]{Capitulo5/ResultadoBSC512.eps}\label{ResultadoBSC512}}
\caption{Desempenho dos algoritmos por probabilidade de erro de \emph{bit} ($\epsilon$) do canal \emph{BSC}.}
\label{ConjuntoTesteBSC}
\end{figure}


A qualidade das imagens Peppers reconstruídas, com o tamanho dicionário $N = 256$ e BSC com $\epsilon = 10^{-1}$, pode ser observada na Fig. \ref{DesempenhoAlgoritmosPeppersBSC}. Inspeções visuais revelam que as imagens reconstruídas com dicionários organizados pelos algoritmos SA, GA e VNS tiveram praticamente a mesma qualidade.



A Fig. \ref{DesempenhoProbabilidademandrillBSC} apresenta a imagem Mandrill reconstruída com os dicionários organizados pelo VNS para	 $N=512$, após transmissão pelo BSC com  $\epsilon = 10^{-4}, 10^{-3}, 10^{-2}$ e $10^{-1}$. Inspeções visuais revelam que as imagens reconstruídas pelos dicionários organizados pelo VNS apresentam melhor qualidade quando comparadas às imagens reconstruídas com uso do dicionário original.~Desta~forma,~observamos~a~robustez~aos~erros~de~canal~obtida~com~a~atribuição~de~índices~pelo~algoritmo~VNS.


\begin{figure}[!h]
\centering
\subfigure[BSCNaopeppers25601][Não Organizado.]{\includegraphics[width=3cm]
{Capitulo5/NaoPeppers256_0_1.eps}\label{BSCNaoPeppers25601}}
\subfigure[BSCSApeppers25601][SA.]{\includegraphics[width=3cm]{Capitulo5/SAPeppers256_0_1.eps}\label{BSCNaoPeppers25601}}
%\quad \quad \quad \quad
\subfigure[BSCAGpeppers25601][GA.]{\includegraphics[width=3cm]{Capitulo5/GAPeppers256_0_1.eps}\label{BSCAGPeppers25601}}
\subfigure[BSCVNSpeppers25601][VNS.]{\includegraphics[width=3cm]{Capitulo5/VNSPeppers256_0_1.eps}\label{BSCVNSPeppers25601}}
\caption{Imagens reconstruídas com os dicionários organizados pelos algoritmos na transmissão da imagem Peppers com \emph{N}= 256 e pelo canal BSC. }
\label{DesempenhoAlgoritmosPeppersBSC}
\end{figure}


%\begin{figure}[H]
%\centering
%\includegraphics[width=10cm]{Capitulo5/ResultadoBSC32.eps}
%\caption{Desempenho dos algoritmos por probabilidade de erro de \emph{bit} do canal \emph{BSC} para o dicionário de tamanho \emph{N}=32.}
%\label{ResultadoBSC32}
%\end{figure}

%\begin{figure}[H]
%\centering
%\includegraphics[width=10cm]{Capitulo5/ResultadoBSC64.eps}
%\caption{Desempenho dos algoritmos por probabilidade de erro de \emph{bit} do canal \emph{BSC} para o dicionário de tamanho \emph{N}=64.}
%\label{ResultadoBSC64}
%\end{figure}

%\begin{figure}[H]
%\centering
%\includegraphics[width=10cm]{Capitulo5/ResultadoBSC128.eps}
%\caption{Desempenho dos algoritmos por probabilidade de erro de \emph{bit} do canal \emph{BSC} para o dicionário de tamanho \emph{N}=128.}
%\label{ResultadoBSC128}
%\end{figure}

%\begin{figure}[H]
%\centering
%\includegraphics[width=10cm]{Capitulo5/ResultadoBSC256.eps}
%\caption{Desempenho dos algoritmos por probabilidade de erro de \emph{bit} do canal \emph{BSC} para o dicionário de tamanho \emph{N}=256.}
%\label{ResultadoBSC256}
%\end{figure}

%\begin{figure}[H]
%\centering
%\includegraphics[width=10cm]{Capitulo5/ResultadoBSC512.eps}
%\caption{Desempenho dos algoritmos por probabilidade de erro de \emph{bit} do canal \emph{BSC} para o dicionário de tamanho \emph{N}=512.}
%\label{ResultadoBSC512}
%\end{figure}




\begin{figure}[!h]
\subfigure[Nao_mandrill25600001][$\epsilon=10^{-4}$.]{\includegraphics[width=3cm]
{Capitulo5/Nao_mandrill_256_0_0001.eps}\label{Nao_mandrill25600001}}
\subfigure[Nao_mandrill2560001][$\epsilon=10^{-3}$.]{\includegraphics[width=3cm]
{Capitulo5/Nao_mandrill_256_0_001.eps}\label{Nao_mandrill2560001}}
\subfigure[Nao_mandrill256001][$\epsilon=10^{-2}$.]{\includegraphics[width=3cm]{Capitulo5/Nao_mandrill_256_0_01.eps}\label{Nao_mandrill256001}}
\subfigure[Nao_mandrill25601][$\epsilon=10^{-1}$.]{\includegraphics[width=3cm]{Capitulo5/Nao_mandrill_256_0_1.eps}\label{Nao_mandrill25601}}

\subfigure[VNS_mandrill25600001][$\epsilon=10^{-4}$.]{\includegraphics[width=3cm]
{Capitulo5/VNS_mandrill_256_0_0001.eps}\label{HS_mandrill25600001}}
\subfigure[VNS_mandrill2560001][$\epsilon=10^{-3}$.]{\includegraphics[width=3cm]
{Capitulo5/VNS_mandrill_256_0_001.eps}\label{HS_mandrill2560001}}
\subfigure[VNS_mandrill256001][$\epsilon=10^{-2}$.]{\includegraphics[width=3cm]{Capitulo5/VNS_mandrill_256_0_01.eps}\label{HS_mandrill256001}}
\subfigure[VNS_mandrill25601][$\epsilon=10^{-1}$.]{\includegraphics[width=3cm]{Capitulo5/VNS_mandrill_256_0_1.eps}\label{HS_mandrill25601}}
\caption{Imagens reconstruídas com os dicionários não organizados ($a$, $b$, $c$ e $d$) e organizados com o VNS ($e$, $f$, $g$ e $h$) na transmissão da imagem Mandrill com \emph{N}=256 pelo canal \emph{BSC}.}
\label{DesempenhoProbabilidademandrillBSC}
\end{figure}

%\newpage 
\newsec{Conclusão}
O algoritmo \emph{Variable Neighborhood Search} (VNS) foi apresentado como uma alternativa para atribuição de índices na organização de dicionários utilizados na quantização vetorial robusta. Foi realizada uma avaliação comparativa de desempenho com os algoritmos Simulated Annealing (SA) e Genético (AG). Os algoritmos VNS, SA e AG levaram à redução dos índices de desordem em todos os tamanhos de dicionário.

Em relação aos valores de PSNR das imagens reconstruídas, os algoritmos supracitados conseguiram valores muito próximos e na qualidade visual das imagens reconstruídas tiveram praticamente o mesmo desempenho.

O VNS é o algoritmo com melhor desempenho, com menor tempo médio de execução para fins de RVQ e maior redução do índice de desordem dos dicionários, quando comparado aos algoritmos \emph{Simulated Annealing} e Genético.

Como trabalhos futuros, outras técnicas de otimização serão utilizadas na atribuição de índices para minimizar o índice de desordem dos dicionários, como, por exemplo, algoritmos de enxames, como \emph{Particle Swarm Optimization} (PSO) e \emph{Firefly\- Algorithm} (FA). Pretende-se, também, avaliar a robustez dos dicionários organizados em outros tipos de canais de comunicação.

\vspace*{.3cm}

\noindent {\bf {\large Agradecimentos}}\  \\
Agradecimentos pelo apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

\begin{abstract}
{\bf Index Assignment for Robust VQ Using Variable Neighborhood Search Algorithm}

{\bf Abstract}. This work addresses the problem of robust vector quantization in the scenario of image transmission over a binary symmetric channel. The application of the algorithm Variable Neighborhood Search (VNS) is introduced for the purpose of index assignment of codevectors. Simulation results reveal that the algorithm VNS, when compared to Simulated Annealing and Genetic algorithm, produces codebooks with the same robustness to channel erros with the spent of minor time.

{\bf Keywords}. Robust Vector Quantization, Optimization Algorithms, Digital Image Processing.
\end{abstract}

\begin{thebibliography}{8}

%\bibitem{CLBG} C.S.Q. Caldas, J. Limaco, R.K. Barreto, P. Gamboa, About the
%Benjamin-Bona-Mahony equation in domains with moving boundary,
%{\em TEMA - Tend. Mat. Apl. Comput.}, {\bf 8}, No. 3 (2007), 329--339.

\bibitem{Ahuja}	R. K. Ahuja, Ö. Ergun, J. B. Orlin, and A. P. Punnen, A survey of very large-scale neighborhood search techniques, {\em Discret. Appl. Math.}, vol. 123, $n^o$. 1--3, pp. 75--102, 2002.

\bibitem{canejo}M. Canejo, J. Galvão, F. Madeiro, Inserção de marca d'água digital em imagens digitais utilizando quantização vetorial com particionamento do dicionário por PSO, \emph{XII Congresso Brasileiro de Inteligência Computacional}, Curitiba, PR, 2015.

\bibitem{Farvardin}N. Farvardin, A study of vector quantization for noisy channels, \emph{IEEE Trans. Inf. Theory}, vol. 36, $n^o$. 4, pp. 799--809, Jul. 1990.

%\bibitem{galvao}J. Galvão, "Melhoramento de Inserção de Marca D'água e de Transmissão de Imagens Baseadas em Quantização Vetorial", Dissertação de Mestrado em Engenharia de Sistemas, POLI, UPE, Recife, PE, 2014.

\bibitem{huang}B. Huang, F. Henry, C. Guillemot. Mode Dependent Vector Quantization with a rate-distortion optimized codebook for residue coding in video compression, \emph{IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)}, 2015.

\bibitem{Gersho}A. Gersho and R. Gray, Vector quantization and signal compression. \emph{Springer}, 1992.

%\bibitem{gray}R. M. Gray, Vector quantization, \emph{IEEE ASSP Mag.}, vol. 1, $n^o$. 2, pp. 4--29, 1984.

\bibitem{HansenT} P. Hansen and N. Mladenovic, A tutorial on variable neighborhood search, em ``Groupe D'études et de Recherche en Analyse des Décisions'', 2003.

\bibitem{HansenV}P. Hansen, N. Mladenovic, and D. Perez-Britos, Variable neighborhood decomposition search, \emph{J. Heuristics}, vol. 7, $n^o$. 4, pp. 335--350, 2001.

\bibitem{Hollandd}J. H. Holland, ``Adaptation in natural and artificial systems'', The University of Michigan Press, 1975.

\bibitem{Kirkpatrik}S. Kirkpatrik, C. D. Gelatt, and M. P. Vecchi, Optimization by simulated annealing, \emph{Science}, vol. 220, $n^o$. 4598, pp. 671--680, 1983.

\bibitem{Lima}E. A. Lima, G. G. M. Melo, W. T. A. Lopes, and F. Madeiro, Um novo algoritmo para atribuição de índices: Avaliação em quantização vetorial de imagem, \emph{TEMA -- Tendências em Matemática Aplicada e Computacional}, vol. 10, pp. 167--177, 2009.


\bibitem{Linde}Y. Linde, A. Buzo, and R. Gray, An algorithm for vector quantizer design, \emph{IEEE Trans. Commun.}, vol. 28, $n^o$. 1, pp. 84--95, Jan. 1980

\bibitem{Lopes}W. T. A. Lopes, F. Madeiro, J. F. Galdino, B. G. Aguiar, and M. S. Alencar, Diversidade em modulação aplicada a canais de comunicações móveis: Efeito dos erros de estimação de canal na transmissão de imagens, \emph{Revista da Sociedade Brasileira de Telecomunicações}, vol. 19, $n^o$. 1, pp. 1--13, 2004.

%\bibitem{Madeiro}F. Madeiro, W. T. A. Lopes, M. S. Alencar, and B. G. A. Neto, Apredizagem competitiva com consciência aplicada ao projeto de dicionários para quantização vetorial de voz, Congresso Brasileiro de Redes Neurais, Natal, RN, p. 5, 2005.

%\bibitem{Makwana}M. S. V. Makwana, a. B. Nandurbarkar, and K. R. Parmar, Speech compression using tree structured vector quantization, em "2nd International Conference on Devices, Circuits and Systems (ICDCS)", pp. 1--4, 2014.

%\bibitem{Meihua}G. Meihua, Y. Ningmei, Z. Yaolin, and Z. Lei, A novel hybrid VQ based algorithm for video encoding, em ``Second International Symposium on Knowledge Acquisition and Modeling", pp. 45--48, 2009.

\bibitem{MladenovicVNS}N. Mladenovic and P. Hansen, Variable neighborhood search, \emph{Comput. Oper. Res.}, vol. 24, $n^o$. 11, pp. 1097--1100, 1997.

\bibitem{MladenovicVNST}N. Mladenovic, D. Uro\H{s}evic, and S. Hanafi, Variable neighborhood search for the travelling deliveryman problem, \emph{4OR}, vol. 11, $n^o$. 1, pp. 57--73, 2012.

\bibitem{Pan}J. S. Pan, F. R. McInnes, and M. A. Jack, VQ codevector index assignment using genetic algorithms for noisy channels, em "Fourth International Conference on Spoken Language Processing (ICSLP)", vol. 1, pp. 
295--298, 1996.

\bibitem{ramdas}V. Ramdas, D. Mishra, S. S. Gorthi, Speech coding and enhancement using quantized compressive sensing measurements, \emph{IEEE International Conference on Signal Processing, Informatics, Communication and Energy Systems (SPICES)}, pp.1--5, 2015;

\bibitem{Tsolakis}D. Tsolakis, G. E. Tsekouras, and J. Tsimikas, Fuzzy vector quantization for image compression based on competitive agglomeration and a novel codeword migration strategy, \emph{Eng. Appl. Artif. Intell.}, vol. 25, $n^o$. 6 (2012), pp. 1212--1225.

%\bibitem{Yakut}M. Yakut and N. Reisoglu, Fast video vector quantization,  em "23rd International Symposium on Computer and Information Sciences" pp. 1--4, 2008.

%\bibitem{USC} SIPI Image Database, MISC, University of Southen California, online, disponível em http://sipi.usc.edu/database/database.php. [acessado em: 01--Out--2015].



\end{thebibliography}


\end{document}
\newpage
$ \  \  $  \thispagestyle{myheadings}  \markboth{      }{   }
