Ни кто не реализовывал задачу по выявлению аналогов?
Если упрощенно, то нужно для эталонного(целевого) товара найти во множестве товаров его аналоги.

Есть целевой "Товар А" с определенными характеристиками (Х1, Х2, ...Хn). Нужно проанализировать множество товаров (Т с характиристиками) и найти в нем аналоги "Товара А", опираясь на названия товаров и характеристики.
Как названия товаров, так и названия характеристик могут не соответствовать названиям целевого товара. Но название товара + его характеристики с очень высокой вероятностью определяют искомый товар. Это контекстный анализ текстового окружения анализируемой единицы.

Например, целевой товар "Куртка зимняя пуховая красная" (Товар: "Куртка", Х1: "Зимняя", Х2: "Пуховая", Х3: "Красная"), товар из множества аналогов "Пуховик зимний красный" (Товар: "Пуховик", Х1: "Зимний", Х2: "Красный").

Данных много, задача "в лоб" (на уровне Если-Тогда) не решается. Реализация возможна на любом ЯП, даже лучше, если не на 1С.

Реалистичным способом решения вижу реализацию с использованием машинного обучения, например, с помощью pandas и scikit.

Интересует практический опыт решения подобных задач.

Из этой же области задача: приведение (нормализация) адресов объектов к кладровскому виду.
Например, адрес "НОВОСИБИРСК, КАМЫШЕНСКИЙ 6 ПЕР., 4" нужно привести к виду "630028, Новосибирская обл, Новосибирск г, 6-й Камышенский пер, дом № 4".

(0) Задача однозначно, автоматически не решается. Автоматизировать можно, смотри алгоритмы нечеткого поиска. Но еще раз - это не автоматически.

(1) Не решается. Городов с одинаковыми названиями много. Даже в одной стране, не говоря про мир вообще.

кластеризация?

(3) + Опять же, можно автоматизировать, но автоматически не решается.

(4) Она самая, но не даст однозначного решения.

(6) однозначного не даст. но даст вероятностный (ну, или взвешеный) выбор.

Уважаемые коллеги!
Да, задача из разряда вероятностных.
Да, это кластеризация.

Мне бы послушать чей-нибудь практический опыт.

(3) Ну как не решается? Решается, если анализировать не каждое слово отдельно, а выполняя контекстный анализ текстового окружения.

Проблема справочника номенклатура, в том что там часто содержится полный бред и порой даже пользователь не может сказать, в каком он состоянии находился, когда давал позиции номенклатуры такое название.

Я как то делал сопоставление номенклатуры простым сравнением - сначала "куртка", по всей базе, всем совпавшим +1 к карме, потом "куртк", потом "курт". Потом следующее слово из названия таким же образом. А потом простая сортировка по карме по убыв и наверху были более-менее похожие аналоги.
Но у меня была основная проблема в том, что это была база с автозапчастями, которые заводили обычные девочки бухгалтера, соответственно названия там отображали суть ед. номенклатуры чуть менее, чем никак.

Уточню: направление решения мне понятно, но т.к. задача нетривиальная и делается впервые, не хочется потерять время и упереться на одном из этапов в тупик :)

(8) За практическим - тебе, скорее всего, лучше на хабр.
тут тебе объяснят всю бездонную глупость твоей затеи, предложат организационные мероприятия, потребуют денег, расскажут, что все из-за мяса - но решения не дадут.

(12) ок, ослабляем ограничения - готов прислушаться к разным идеям :)

(13) не, серьезно - тут нужны профильные знания.
я обладателей таковых тут не наблюдаю...

(13) python тут лишний. решается вполне на 1с.
задача разовая или постоянная?
(14) ну я например профильный специалист

Постоянная.

+16 Если б разово, то можно было врукопашную все сделать, с помощью Excel и какой-то матери.

(16) То бишь для нового товара с некоторым заданным набором характеристик вы будете выявлять аналоги?

(15) Задача ведь не академическая - сделать крутой алгоритм и оттащиться от крутой реализации и кучи потраченного времени. Нужно дешевле, используя популярные библиотеки/фреймворки. А на 1с я такого не видел.

(18) Да.

(19) В 1с есть свои неплохие инструменты ) Во всяком случае учебные задачи на них решаются с хорошей точностью.
http://v8.1c.ru/overview/Term_000000271.htm
(20) А какое общее число характеристик?

(21) До 10 характеристик.

(9) Вот... Нужно контекстное окружение. В (0) и в (1) про контекст ничего не сказано :)

(21) Ты заинтересовал идиота, а дальше что? Можешь озвучить реализованные задачи и способы их реализации?

(23) "...Это контекстный анализ текстового окружения анализируемой единицы...." - это из (0)

(0) справочник называется "Номенклатура поставщиков""
если в УТ10 - то регистр Номенклатура поставщиков.

Отвечает за хранение соответствий между разными номенклатурами поставщика к единой номенклатуре компании.

(24) Там только Кластерный анализ подойдет.
(25) В (0) под контекстом перечислено то, что по сути является только малой частью для анализа. По сути, я б еще использовал данные по реализации, сезонности и т.д.

(28) В данном случае товары - это упрощенное описание. На самом деле мне нужно не аналогизировать товары. Но для понимания, уважаемые коллеги, будет понятнее. Пример задачи про адреса реальный, но это низкоприоритетная для меня задача.

(27) Женя, ты зря возбудился. Я не претендую на твою нишу :) У меня совсем другая задача.

(28) Лично меня пугает число кластеров. Лучше, имхо, решить N задач поиска растояния между объектами.

Кстати да, тебе по факту надо всего то считать расстояния между новым объектом и всеми старыми. Если расстояние достаточно мало - вероятность совпадения велика и наоборот.
Вопрос, что взять за метрику.

Разложение наименования на массив слов.

По каждому слову из массива поиск по полному вхождению или не полному (через оператор подобно).

потом соответственно анализ результатов.

Например 5 слов в искомом наименовании. Нашли 4. 2 полных вхождения и 2 неполных.

Таблица результатов - и предложение выбрать наилучший вариант если результат выше какого то процента.

Куртка и куртяшечка и курточка сломают вам все алгоритмы тупого поиска српоставления или итог будет давать большое количество низкорелевантных совпадений

Для товаров можно с большой долей успеха использовать strmatch

У меня таких привязок на основе strmatch вагон и тележка понаписано, из последних успешно работает на сопоставлении всяких аксессуаров для мобтелефонов

(34) можно завести справчоник регулярных выражений. Где такие исключения просто накапливать. назовем его справочником Автозамены слов.

С помощью справочника на первой стадии разложения в массив делаем прогон по справочнику автозамен и сразу заменяем искомые слова.

Дальше уже поиск по базе с учетом автозамен.

Поиск по подстроке не подойдет. Да, куртешки запросто могут быть.
Например, "Пуховик" и "Куртка зимняя на пуху" - аналоги.

(38) заведи справочник автозамен. и пусть юзеры по мере выявления туда вбивают вот такие вещи.
Это своего рода у тебя база данных, где всякие проблематушки будут накапливаться накапливаться и в тоге давать большую автоматизацию.

(39) Первый релиз задачи приведения адресов к кладровскому виду я сделал именно так, у меня получился словарь таких синонимов. Контекст не анализировался. Все-таки это не правильный путь.

(40) а по мне - это стандартный подход. предполагаю что даже поисковые монстры используют базы данных с исправлением(уточнением) в случае если юзер что то криво набрал в поисковой строке.

ВОт например в телефоне ты набираешь текст и срабатывает Т9. Из воздуха то не берутся те слова которые он начинает выдавать.

(40) Дефакто это метрика для данной характеристики/названия с 0 на сработавшей автозамене или совпадении и 1 на несовпадении.
Подход имеет право на жизнь. Но решит задачу достаточно плохо.

Попробуй загнать базу товаров в ElasticSearch и уже им искать.

Единственное что решит задачу - это чтобы поставщики выдавали производственные артикулы или как минимум штрихкоды.

А когда наименования так сильно разнятся и нет критериев. То тут до бесконечности можно искать решения, которых не будет. Или не дадут гарантий 100 процентов.

Ибо если из 100 товаров, он неверно сопоставит номенклатуру. а в 1С это значит цена упадет не на ту позицию. Ее наценят неправильно, продадут неправильно.
А потом получится что продали по цене одно что стоит в себестоимости гораздо дороже.

Уьыток, пересортицы, проблемы до бесконечности.

(45) +100500

И ещё решение может сильно зависеть от предметной области. В автозапчастях есть номера и производители,которые тоже содержат ошибки. В продуктах питания и строй материалах почти всегда есть штрихкоды. А в шмотье хуже всего. Мало того,что ШК редко кто регистрирует, так ещё размеры по-разному интерпретируют: то товарами, то характеристиками.

Хуже всего в компьютерных комплектующих. Особенно когда какие нибудь ноутбку. в которых наименование под 300 символов.

и как начнут в наименовании лепить все из чего этот конкретный ноутбук состоит....

А втозапчастях обычно буква С рус с буквой С анг. И еще пара таких букв.
Нули где то пропущены и тп. Буква спереди не добавлена.

Это про артикулы. наименования в автозапчастях вообще гроша выеденного не стоит.

Кто говорит, что это кластерный анализ - он не прав. Кластерный оперирует математическими терминами, а не формальным словарем. Это вопрос лексического анализа.

Ну классика же. https://basegroup.ru/community/articles/knn

Я только что клиенту решил задачу автоматического поиска в базе на примере

Наименование в прайсе Карт перезапр Epson Pro 3800
В справочнике 1С содержится номенклатура ПЗК для Epson Stylus Pro 3880, 3800 (9х80 мл.)
Алгоритм правильно определяет ключевые слова из загружаемого наименования и производит точный поиск в базе 1С.

(0) Любые алгоритмы которые будешь пытаться делать - делай визуально. Чтобы все результаты выходили на форме. когда будешь понимать что где идет неправильно - будешь методом исключений вырабатывать более точный алгоритм.

Построй свою deep neural сеть.
Самое верное направление

Эх кто бы мне такую задачу поставил, да времени месяц выделил хотя бы

(55) Нейронные сети не нужны. В данном случае. Только помешают.

(56) Потому не ставят. Тут нечего месяц делать. Пара дней на алгоритм. Неделю на тестирование.

(52)+ Все признаки перевести в числа-измерения. Есть слово Пуховой - измерение X1 = 1, иначе X1 = 0.
Каждая номенклатура будет точкой. В сильно многомерном пространстве.
Далее ищем соседние точки. Ближайших соседей. Они и есть аналоги.
Останется исключить ненужные аналоги.
Когда искали "Куртка зимняя пуховая красная". А нашли "Юбка зимняя пуховая красная".

(58) Вот ты практически пишешь нейросеть, просто ты дальше начала не ушел

Давайте начнем с того что касаемо одежды - можно реально описать списко  вещей.

Так уж сложишь что слов у одежды не 1 миллион, и явно даже не 10 000 слов.

Шарф, юдка, куртка, пояс, дубленка, фиговка, и так далее.

Этот список очень даже рально создать. Перечень вещей из словаря.

Эти слова, конкретно орпеделяющие вещь - главные во всем наименовании.

А значит если мы определили это главное слово - то поиск уже можно значительно сузить и искамть далее остальные второстепенные слова.

(59) Боюсь не понимаете принцип работы НС. И их назначение.
Они хороши в ограниченных случаях. Обучения на примерах. С учителем или без.
Встретив незнакомый вид номенклатуры. Вместо куртка или юбка - шарфик. НС впадет в ступор. Выдаст случайный результат.

А если например еще будет вестись справочник производителей.
То главное слово + производитель. Еще более точнее определять и сузят список.

Сужение списка - будет влиять не только на более точные результаты но и корость выборки данных из базы. Так как всем известно что при большом справочнике номенклатуре и большим списке загружаемого прайса поставщика. При нечетком поиск - поиск может уйти в ступор что юзеру можно будет полдня ходить курить.

Надо максимально проанализировать и составить правила.

Первым шагом - нужно сто процентов завести хранимую таблицу перечня слов одежды.

Если у тебя есть слово куртка. Но уже может быть первым запрос где мы выберем только куртки.

(62) Не одну таблицу. Еще нужен словарь синонимов.

(63) Куртка = пуховик?

(65) ок. тогда уточнябющий признак у главного слова с перечнем комбинаций.

Добавь табличную часть у этого справочника с перечнем комбинаций.

Логично что это значительно упростит задачу.

Программа должна понимать какие слова являются сто процентными и заглавными. На которые с высокой степенью до 100 процентов можно опираться.

Останется только искать весь остальной хлам. Но мы уже методом исключений решим этим задачу на 80 процентов.

Дальше уже будешь думать в рамках 20 процентов. И так далее.

(65) см (38) - "Например, "Пуховик" и "Куртка зимняя на пуху" - аналоги."

Те же прилагательные имеют окончание ая, ый и прочее. Тоже можно включить алгоритм.

(68) все это вбиваем в справочник.

Явно касаемо одежды база данных таких расождений не будет огромной.

(69) Словарь синонимов. Он и есть.

Я думаю что для одежды если 1000 наберется подобных ситуаций. то это будет максимумом.

осенняя весення летняя зимняя.

Окончания убираем. тоже всего 4 определяющих слова

осен - весен - летн - зимн

Этого быдет достаточно чтобы определить все комбинации сезонности конкретной одежды.

Опять таки - всего навсего эти 4 слова - сузят диапазон поиска.

В сочетании с перечнем видов одежды.

Итого получаем справочники:

Вид одежды - тут даже можно какой нить стандартный заюзать. Например Ногменклатурные группы.


Далее справочник Сезонности - где 4 слова.

Вот вам уже офигеть не встать 90 процентов.

А по сути если вы с одеждой работаете то в конце сто процентов и такой справчоник как Сеззонность просто всегда необходим.

Того глядишь еще и конфа получится торговля одеждой. какая нибудь.

Справочник цветов.

Вот и все!
За три справчоника полностью решается задача.

Всякие приставки можно игнорировать. Напиши в списке разложения на ключевые слова чтобы все что меньше 3 знаков выбрасывалось.

(61) Обучение сети - тоже что и составление таблицы аналогов.
Все вручную.
Мимо таблицы - промах

если это бквы типа приставок. Их тоже в русском языке всего 10 штук.

1) ВИды одежды - главный справочник перечисления одежды
2) Сезонность - с обрезкой окончания.
3) Цвета
4) Размеры.
Весь остальной мусор выбрасывать при поиске.

Можно без разбора на признаки. Очень быстрый поиск. Гуглить simhash.

От чувака явно требуют решить конкретно в 1С и скорее всего конкретно идет о загрузке данных, приходных и тп.

(82) Маня, ты как всегда мимо кассы. см. (29) - товары приведены здесь в качестве упрощения. Вообще, это нужно не для 1С и не про товары. Но вариант на 1с я тоже приму (см. в нулевом - "Реализация возможна на любом ЯП, даже лучше, если не на 1С. ").

Ну ок мимо значит мимо. задача из того же рода.

(84) "задача из того же рода." - это да.

(12) На хабре один товарищ очень полезные статейки на этот счет написал: https://habrahabr.ru/users/kuznetsovin/

(85) Так о чем задача то изначальная? И самое главное, при чем тут mista, если 1с не надо, от слова совсем )

(87) см (0): "Интересует практический опыт решения подобных задач."

(87) Отвечу по другому: есть фронт, который работает с данными, а анализ и обработка частично реализована в бэке на 1с со словарями и всякими помощниками. Это не удобно. Желательно это перенести из бэка на фронт с минимумом человеческого участия, вмешательство нужно только, если появились новые данные, которых до этого не было в модели.

(89) Так понятно. Если я верно понял, вы хотите задачу чистки данных в бэке уменьшить за счет фронта. Не пробовали использовать регламенты заполнения данных? Например жесткую стандартизацию. Де факто то, что вы описываете в (1)

(89) У нас есть подобная система, которая ищет аналоги для новых товаров, чтобы их не плодить, но она работает очень тупо - мы жестко стандартизируем виды и характеристики товара. И не создаем новую номенклатуру при наличии существующих с аналогичными комбинациями вида и новые характеристики при наличии аналогичных характеристик. Работает хорошо. НО! тк у нас целое стадо разных связанных баз, то в момент смены модели у нас творится иногда полный пиндец, если где то модель не успела обновится(или не успели пересчитаться характеристики по новой модели).

(78) Нет. По алгоритму достаточно добавить запись. В таблицу.
С НС заново нужно обучать. Пройтись по всем сочетаниям. Иначе не поймет.

(92) Ну изменится у вас коэфф между входом "куртка пуховая" и классом "пуховик" с 0 до скажем 0.9. В чем разница?

(93) Не понял. Была обученная сеть. Добавили входов. И не надо переобучать?

(0) Допустимы ли ложные ассоциации?

(94) Полностью нет.

(96) Да ну? Смотря какая сеть. Но соседние с добавленными будут врать. Дико.

Затык первый:
как из "Куртка зимняя пуховая красная" и "Пуховик красный" вычленить характеристики (Товар: "Куртка", Х1: "Зимняя", Х2: "Пуховая", Х3: "Красная")?

(98) Еще раз. Повторю. Словарь.
Поиск слов. И сочетаний слов. Из наименований в словаре.
Или нашли и знаем что это. Или не нашли и спрашиваем. Что это?

(99)+ Для неважных будет признак - выкинь.

(99) Ненужное беспокойство, т.к. у меня именно так и реализовано. Это ТСа нужно на путь направить.

Есть целые конторы, получающие деньги за привязку к канону.

Кстати, хорошо если канон есть.

(98) Тут все просто, пусть каждое слово в названии товара будет считаться характеристикой.