Dizemos que um programa, aplicação, etc. tem um custo computacional muito grande quando esse gasta muito tempo e/ou ocupa muita memória durante sua execução. Quando se implementa uma aplicação deve-se levar em conta esse custo pois isso define se a aplicação é ou não otimizada (ideal) ou não.
Embora o computador e os recursos recorrentes tenham sido criados e desenvolvidos para facilitar a vida das pessoas de alguma forma, uma solução demorada e "pesada" acaba por não ajudar. Por isso devemos sempre levar em consideração esse custo computacional.
Imagine se para fazer um simples cálculo algébrico fosse demorar dias ou horas sendo executado por um computador. Isso faria com que as ferramentas mais rudimentares de cálculos fossem aplicáveis a problemas complexos tornando-os cada vez mais complexos.
Um exemplo simples desse tipo de problema é uma multiplicação de matrizes onde se tem duas matrizes e cada elemento de uma coluna é multiplicado pelo elemento da linha da outra matriz sendo armazenada numa terceira. Para uma matriz 2x2 por exemplo, não faria diferença se o código é otimizado ou não, mas para uma matriz 1000x1000 isso causaria uma tremenda catástrofe fazendo com que duas simples matrizes demorasse horas para serem multiplicadas além do problema de alocação de memória. Logo, de qualquer forma é muito mais aplicável uma aplicação com o custo menor possível.
