llm-calc.
Calculadora de LLM local: se o modelo cabe na sua GPU, quantos tokens por segundo esperar e quanto custa comparado com alugar a placa ou pagar a API. Em construção.
Um projeto de André Dourado.
Calculadora de LLM local: se o modelo cabe na sua GPU, quantos tokens por segundo esperar e quanto custa comparado com alugar a placa ou pagar a API. Em construção.
Um projeto de André Dourado.