Middle+/Senior ML Engineer

Мы делаем крутые исследовательские проекты командой mil-team.ru, публикуем научные статьи и развиваем продукт compressa.ai по оптимизации инференса LLM моделей. Делаем так, чтобы LLM-ки (и не только они) работали в контуре, дешевле, быстрее. Ищем крутого и инициативного спеца в ключевую команду.

Обязанности:

• Развивать движок инференса LLM моделей (делаем его быстрее, чем vllm);
• Предлагать и доводить до прода улучшения методов компрессии LLM;
• Внедрять SotA технологии инференса и сжатия моделей в платформу.

Твой опыт:

• Использовал и модифицировал фреймворки запуска сеток (ONNX, TensorRT-LLM, llama.cpp, Vllm) + писал кастомные CUDA-ядра;
• Применял и модифицировал методы программной оптимизации LLM, знаешь SotA: спарсификация, квантизация, дистилляция;
• Обучал LoRA-адаптеры или файнтюнил LLM модели.

Условия:

• full-time или part-time (20 часов/неделю), удаленка