Por padrão senão me engado é 8 megas.
Dependendo do seu aplicativo precisa alocar mais memória para esse aplicativo.
para windows crie um script.bat
para linux crie um script.sh
start javaW -Xms10m -Xmx512m -jar seuPrograma.jar
No caso uso o 'W' na frente do Java, pois assim oculta a janela console do script (ex: start javaW), se usar somente (start java) a janela aparece atrás.
