Procurei a um tempo atras também...
Acho que depende bastante do que vc quer substituir do matlab, o que vc tá querendo usar?
Acho o octave muito bom, mas não é um canivete suiço tão completo quanto o matlab, mas é os scripts são compatíveis... Já o scilab eu já vi gente usando bastante, mas eu pessoalmente não acostumei com ele, mas é interessante... Só que ele parecia na época um pouco mais com o maple que com o matlab...
Felipe Provenzano