A few, few используются с исчисляемыми существительными.
A little, little - с неисчисляемыми.
Слово time (время) неисчисляемое.
Разница между a litle, little в том, что little чаще используется в негативном значении - чего-то мало, а a little, наоборот, говорит о том, что чего-то мало, но нам достаточно.