"Разработка сервиса автоматического формирования сбытового заказа на основе неструктурированных запросов в дистрибуции HoReCa"

План выступления

1) Постановка задачи и границы применимости генеративных моделей

• Бизнес-процесс: произвольный запрос на входе, формализованный сбытовой заказ на выходе
• Гетерогенность потока: письмо, табличные вложения, PDF, сканы и фотографии
• Почему справочник номенклатуры не помещается в контекст модели
• Стоимость и задержка при обработке
• Языковая модель (LLM) — компонент конвейера, а не решение целиком

2) Архитектура конвейера обработки

• Общая схема потока и границы ответственности сервисов
• Извлечение сущностей: разбор таблиц, конвертация PDF в растр, распознавание изображений
• Структурирование текста генеративной моделью и валидация её ответа
• Идентификация клиента: лексический и векторный поиск, взвешенный коэффициент Жаккара по реквизитам
• Сопоставление позиций: отбор кандидатов, переранжирование, принятие решения
• Количественная верификация: пересчёт единиц и контроль аномалий
• Офлайн-контур справочников и поисковых индексов

3) Комбинированные методы сопоставления

• Почему ни один метод в одиночку не даёт нужного покрытия
• Нормализация, единый токенизатор, доменный лексикон
• Лексическая ветвь: разреженные векторы
• Семантическая ветвь: bi-encoder и косинусная мера
• Слияние ветвей: ранговое и нормализованное объединение скоров
• Cross-encoder: почему более выразительная модель в одиночку ухудшила точность
• Бизнес-признаки и градиентный бустинг поверх текстовых сигналов
• Модель-арбитр: выбор из ранжированного списка, стратегии с порогом уверенности
• Эталонные данные

4) Организация локального вывода модели

• Triton для энкодерных моделей, vLLM для генеративной
• Настройка Triton
• Настройка vLLM
• Локальный и облачный вывод
• Векторная СУБД: фильтрация по ассортименту, переиндексация без простоя

5) Опыт промышленной эксплуатации

• Проблема эталона: почему успешные заказы нельзя брать за истину
• Разметка по комментариям экспертов
• Типовые ошибки
• Коррекция: доменные словари и эвристические фильтры
• Коррекция: дообучение энкодеров и ранкера на собранных негативах

6) Итоги

Спикеры

• Епишков Владислав, ведущий специалист "Ист-Вест Технолоджис". Направление: классические методы ML, анализ естественного языка (NLP). Образование: НИУ МЭИ (Ядерная энергетика и теплофизика), НИУ МФТИ (Прикладная математика и информатика

• Епишков Иван, Разработчик "Ист-Вест Технолоджис". Направление: развёртывание и поддержка ИИ инфраструктуры в компании и оптимизация инференса локальных моделей. Ассистент, каф.42 ГУАП, менторство студентов, преподавание ИТ дисциплин

Дата и время

16 ноября (пн) в 20:00

Формат

Онлайн-лекция (платформа Толк)

• https://atp-fivt.ktalk.ru/kwfpl3l0tc7b Ссылка на конференцию]