Before Numbeo was created (April 2009), no other free database about a cost of living (with structured data and indices) existed.
Other cost of living reports had the data behind their research hidden or expensive to purchase.
Their research was very limited in the number of cities included. It is difficult to scale up without a significant increase in expenses since they relied on manually collected data.
Also, there were no insight about the error rate in their manually collected data.
Manual collection of cost of living data is error prone:
- there is a different price during the year - price oscillation (i.e. cheaper fruits and vegetables during the summer; or high fluctuation of potato price because of lack of storage and high moisture)
- in different supermarkets, bars and restaurants prices of items are usually different
- there are different types of milk, cheese, etc. with different prices even in the same supermarket
- the country could face temporary shortages of a given item which could drive the price temporary up (i.e. rice shortages)
- if only one person collects the price, possibility of human error is higher
Reports available before the year 2009 usually include just an index, which is not enough for
a personal estimate since a person is not an average person due to different lifestyles such as:
- the size of a family (number of dependent persons)
- dining out or eating at home
- renting or owning an apartment
- driving or using a public transport
- drinking alcoholic drinks and smoking or not
Other available cost of living sources didn't provide a systematic way to extract custom indices. Numbeo provides a world-class software
for extracting various economic indicators for free (i.e. using our "Basket of goods and services" tool).
Before the Great Recession (World Economic Crysis of 2007-2009) price of properties worldwide tended to look like a crazy to
the founder of this website. The price of a small apartment in a third world country he currently lives in was same as 310 ultra
modern TFT monitors at that time. The wild speculation in property prices suggested that people really needed a tool for a
speculation or to turn their speculation down.
So, that's how Numbeo was born. Numbeo:
- provides free information about prices
- allows a person to estimate their own expenses
- uses the wisdom of the crowd to get as reliable data as possible
- provides a system for various systematic research on our big dataset
Methodology
Collecting and processing data
To collect data Numbeo relies on user inputs and manually collected data from authoritative sources
(websites of supermarkets, taxi company websites, governmental institutions, newspaper articles, other surveys, etc.).
Manually collected data from established sources are reentered twice per year.
We perform automatic and semi-automatic filters to filter out noise data. The simplest filter is working as follows: if, for a particular price in a city,
values are 5, 6, 20 and 4 in a recent time span, the value 20 is discarded as a noise (as it value is more than 4 times than the average value)
Another filter discards ¼ (one quarter) of lowest and highest inputs as borderline cases have a higher probability to be incorrect. Out of remaining entries,
the lowest, highest and mean value are calculated and displayed.
There are more sophisticated filters in use. The filters are performing better when there are more inputs.
One of the advanced filters tries to eliminate bad training data. It digs into discarded data (spam data) and if notices irregularities, it moves them back into the calculation.
To summarize our filters, Numbeo uses heuristic technology to get the data quality. Using the existing data Numbeo periodically discards data which most likely are
incorrect statistically.
Numbeo also archives the values of old data (our default data deprecation policy is 12 months, although we use data up to 18 months old
when we don't have fresh data and indicators suggest that inflation is low in a particular country). The values of old data are preserved
to be used for historical purposes.
Aggregating data for a country
To aggregate data for a country, we use all entries (for all cities) to calculate country average data. Note that it is different from the aggregating calculated data for
all cities in that country (for which we have data in the database). Due to underlying internal formulas used (discarding top and bottom 25% of the data before calculating display values),
sometimes low and high price of an item in one city might look not on par with low and high values of that country. That anomaly appears due to underlying formulas used.
So, in calculations for the country, we are weighting a city by the number of contributors. Since they are the higher number of inputs for a country than for a city,
data showed on a country level, in general, contains lower noise than data showed on a city level.
Currencies
We do use multiple currency feeds including European Central Bank feed to update our internal currency exchange rates almost every hour.
For each entry of the contributors, we do save in our database the value in EUR, USD and currency of the input (using current exchange rate).
When calculating averages, we do reuse one of those entries based on currency stability and predominant currency in the country to try to minimize cross currency comparison errors.
To show historical data, we do use monthly historical exchange rates to calculate data (mid-month currency exchange rate).
If end users choose a custom display currency for displaying historical data in a year, the mid-year currency exchange rate is used to calculate displayed data.
Taxes
Our data about prices shall have GST and VAT included. Our average salary data shall contain the value after income taxes. So we can use these data directly
to estimate local purchases power.
Calculating indices
Cost of Living Index is built based on our best guess of average expenses in a given city for a four-person family. Weights are subject to change over time.
But since the methodology is not hidden, as the moment of writing these weights are as follows:
Antes da criação de Numbeo (Abril de 2009), não existia outra base de dados gratuita sobre custo de vida (com dados estruturados e indicadores).
Outros relatórios sobre custo de vida tinham os dados por detrás das suas receitas escondidos ou demasiados caros para comprar.
A sua investigação era muito limitada no número de cidades incluídas. É difícil de escalar sem um aumento significativo nos custos uma vez que dependem em dados recolhidos manualmente.
Para além disso, não existia perceção sobre a taxa de erro nos seus dados recolhidos manualmente.
Recolha manual de dados sobre custo de vida é sujeito a erros:
- existe uma diferença de preços durante o ano - oscilação do preço (i.e. fruta e vegetais mais baratos durante o verão; ou elevada flutuação do preço da batata devido à falta de armazenamento e elevada humidade)
- em supermercados diferentes, os preços dos itens em bares e restaurantes são normalmente diferentes
- existem diferentes tipos de leite, queijo, etc. com diferentes preços até no mesmo supermercado
- o país pode sofrer a falta temporária dum item específico, o que poderia aumentar temporariamente o seu preço (i.e. escassez de arroz)
- se apenas uma pessoa introduzir o preço, a possibilidade de erro humano será maior
Relatórios disponíveis antes de 2009 normalmente incluem apenas um indicador, o que não é suficiente para
uma estimativa pessoal uma vez que uma pessoa não é uma pessoa comum devidos a diferentes estilos de vida tais como:
- o tamanho da família (número de pessoas dependentes)
- jantar fora ou comer em casa
- arrendar ou possuir um apartamento
- conduzir ou utilizar transportes públicos
- consumir bebidas alcoólicas e fumar ou não
Outras fontes disponíveis sobre o custo de vida não disponibilizaram um modo sistemático de extrair indicadores personalizados. Numbeo disponibiliza um software de excelência
para extrair gratuitamente variados indicadores económicos (i.e. utilizando a nossa ferramenta "Cesto de bens e serviços").
Antes da Grande Recessão (Crise Económica Mundial entre 2007-2009) o preço de propriedades em todo o Mundo aparentou estar maluco para
o fundador deste website. O preço de um pequeno apartamento num país de terceiro mundo como naquele em que atualmente vive era o mesmo que comprar 310
monitores TFT ultra modernos nessa altura. A especulação louca nos preços das propriedades sugeriu que as pessoas realmente necessitavam de uma ferramenta para uma
especulação ou como dimimuir a sua especulação.
Portanto, foi assim que a Numbeo nasceu. Numbeo:
- disponibiliza informações gratuitas sobre preços
- permite a uma pessoa estimar as suas próprias despesas
- utiliza o conhecimento do público para obter o máximo de dados fiáveis quanto possível
- disponibiliza um sistema para consultar vários estudos sistemáticos na nossa imensa base de dados
Metodologia
Recolha e processamento de dados
Para recolher dados a Numbeo baseia-se na introdução de dados pelos utilizados e dados recolhidos manualmente de fontes autoritárias
(websites de supermercados, websites de empresas de táxi, instituições governamentais, artigos de jornais, outros estudos, etc.).
Dados recolhidos manualmente de fontes pré-estabelecidas são re-introduzidos duas vezes por ano.
Realizamos filtragem automática e semi-automática para filtrar dados não fiáveis. O filtro mais simples funciona da seguinte maneira: se, para um preço particular de uma cidade,
os valores forem 5, 6, 20 e 4 num curto espaço de tempo, o valor 20 é descartado como sendo não fiável (pois o seu valor é 4 vezes superior ao valor médio)
Outro filtro descarta ¼ (um quarto) dos valores introduzidos mais baixos e mais altos, pois sendo os valores limite têm maior probabilidade de estarem incorretos. Das restantes entradas,
os valores mais baixo, mais alto e mediano são calculados e mostrados.
Existem mais filtros sofisticados a serem utilizados. Estes filtros têm um melhor resultado quando existe um maior número de dados introduzidos.
Um dos filtros avançados tenta eliminar maus dados de treino. Pesquisa pelos dados descartados (dados de spam) e se encontrar irregularidades, usa-os de novo para os cálculos reais.
Para resumir os nossos filtros, Numbeo utiliza heurísticas para obter dados de qualidade. Utilizando os dados existentes a Numbeo descarta periodicamente os dados que têm maior probabilidade de
estarem incorretos estatisticamente.
A Numbeo também arquiva os valores dos dados antigos (a nossa política de depreciação de dados é 12 meses, apesar de utilizarmos dados com até 18 meses
quando não temos dados recentes e os indicadores sugerem que a inflação é baixa num país específico). Os valores dos dados antigos são preservados
para serem utilizados para fins históricos.
Agregação de dados para um país
Para agregar dados para um país, utilizados todas as entradas (de todas as cidades) para calcular os dados médios do país. Tenha em atenção que isto é diferente de agregar dados calculados para
todas as cidades num país (para os quais já temos dados na nossa base de dados). Devido às fórmulas utilizadas internamente (que descartam os limites 25% superiores e inferiores dos dados antes de calcularem os dados para amostragem),
por vezes os preços baixo e alto de um item numa cidade podem não parecer ao mesmo nível que os valores baixo e alto desse país. Essa anomalia aparece devido às fórmulas subjacentes que são utilizadas.
Portanto, em cálculos para o país, ponderamos o peso da cidade pelo número de contribuidores. Uma vez que correspondem à maior quantidade de dados fornecidos para um país do que para uma cidade,
os dados que são mostrados ao nível do país, em geral, contêm menos ruído que os dados mostrado ao nível da cidade.
Moedas e Câmbio
Utilizamos várias fontes de câmbio incluindo o Banco Central Europeu para atualizar internamente as nossas taxas de câmbio, de hora a hora.
Para cada entrada dos contribuidores, guardamos na nossa base de dados os valores em EUR, USD e na moeda respetiva (utilizando as taxas de câmbio atuais).
Para calcular valores médios, reutilizamos uma dessas entradas baseado na estabilidade da moeda e na moeda predominante no país para tentar minimizar erros de comparação entre moedas.
Para mostrar dados históricos, utilizamos o histórico mensal de taxas de câmbio para calcular os dados (taxa de câmbio do meio do mês).
Se o utilizador final escolher mostrar os valores históricos de um ano numa moeda personalizada, a taxa de câmbio do meio do ano é utilizadas para calcular os dados a serem mostrados.
Impostos
Os nossos dados sobre preços devem ter GST e IVA incluídos. Os nossos dados sobre os salários médios contêm os valores após desconto dos impostos sobre rendimentos. Deste modo podemos utilizar estes dados diretamente
para estimar os poderes de compra locais.
Cálculo de indicadores
O Indicador de Custo de Vida é construído baseado no nosso melhor palpite das despesas média numa determinada cidade para uma família de quatro pessoas. Os pesos estão sujeitos a alterações ao longo do tempo.
Uma vez que esta metodologia não está oculta, ao momento de escrita os pesos são os seguintes:
Data Archiving Policy
Cost of living section uses data entered in the last 12 months ago (in a special case, when there are very low number of entries in a city
and the indicators suggest that inflation in a country is low, we use entries as old as 18 months because we think that those data might
not be changed if no one did edit existing data). Other sections which use the same data set uses the same data archiving policy.
Note that some other sections of the website use different data archiving policies. Each month, old data are moved to archives and can be pulled with our API.
Cartographic Policy
Our cartographic policy is of portraying the world from a de facto point of view; that is, to portray to the best of our judgment the current reality.
Our partners might have different cartographic policy which could be reflected in software at our website.
Política de Arquivamento de Dados
A secção dos custos de vida utiliza dados introduzidos nos últimos 12 meses (num caso especial, quando o número de entradas de uma cidade é muito baixo
e os indicadores sugerem que a inflação do país é baixa, utilizamos dados introduzidos dos últimos 18 meses porque acreditamos que esses dados
podem não ter mudado uma vez que ninguém alterou dados existentes). Outras secções que utilizam o mesmo conjunto de dados utilizam a mesma política de arquivamento de dados.
Tenha em atenção que algumas outras secções do website utilizam políticas diferentes de arquivamento de dados. Todos os meses, os dados mais antigos são movidos para os arquivos e podem ser consultados através da nossa API.
Política Cartográfica
A nossa política cartográfica é a de mostrar o mundo dum ponto de vista atualizado; isto é, mostrar com base no nosso melhor julgamento a realidade atual.
Os nossos parceiros poderão ter políticas cartográficas diferentes o que poderá ser refletido no software do nosso website.
Your use of this service is subject to our