Geralmente não ocorre nenhum problema a não ser que voce esteja com algum arquivo aberto, em gravação, ou mesmo na memoria cache.
Mas essas desgraças quando acontecem quase sempre são com os arquivos mais importantes, dos quais você não tem outra cópia.
Portanto, por segurança, desative qualquer dispositivo conectado em portas USB antes de desconectá-lo, e não apenas os pen drives.