Использование нейросетей в работе

[finsoftrz]

В догонку к предыдущему посту про анализ отчетности. Можно для начала попробовать работу на не критичных по безопасности отчётах, используя веб интерфейс и webview2. Например, в моем случае, анализе работы кассовых узлов в сети супермаркетов. Вешаем кнопку анализ в ai в этом отчете, при нажатии сохраняем текст запроса (управляющий промпт) и данные во временных файлах, запускаем окно с webview2 (или передаем не него фокус, если уже запущено). При получении фокуса, автоматически читаем временные файлы, стартуем новый чат и вставляем в него запрос. Пользователю выводится результат анализа. Все эти телодвижения завертываем в класс+контрол шаблон, как обычно. Это уже можно вживую показывать пользователям и собирать деньги на дальнейшее развитие.

[finsoftrz]

Попробовал анализ табличного отчета. Сохраняем его в csv, как на экране. Создаем промпт со списком вопросов и далее содержимое отчета прямо в том же промпте. Вопросы простые, типа отбери кассы, у которых подходит срок замены ФН (меньше месяца) и отбери кассы, у которых расхождение времени между ккм и компьютером более 5 минут. Эта вся информация есть в анализируемой таблицы.
Результаты такие.
Deepseek отвечает быстро, но несет откровенную чушь. Как я не пробовал перефразировать вопросы, не помогает, ни для быстрого режима, ни для эксперта. Спрашиваешь его после ответа "ты дебил?", извиняется, и выдает правильный ответ или не совсем правильный. На вопрос, а как тебя спрашивать, тоже ничего вразумительного. В общем, на этой задаче, к сожалению, deepseek в пролете.
Qwen отвечает правильно, но думает очень долго. На вскидку, минуты 2.5-3, и в qwen3.7-plus, и в qwen3.7-max моделях. Замучаешься ждать.
Kimi не принимает промпт из-за ограничения строки запроса.
Gemini отвечает быстро и правильно.
Claude отвечает быстро и правильно.
ChatGpt отвечает быстро и правильно. По ощущениям, самый быстрый.

Но Gemini, Claude и ChatGpt доступны только через vpn.
Такие вот результаты для раздумий.

Вид ответа из ChatGpt для наглядности.

ai_test.png (10.66 КБ) 280 просмотров

[finsoftrz]

В догонку. Kimi при повторной попытке принял все таки промпт, переведя его сам в прикрепленный файл. Ответы выдал правильные, но, как и qwen, думал очень долго, что для данной задачи неприменимо.

[finsoftrz]

Тесты на анализ больших таблиц (20 -30 тысяч строк) показали, что абсолютный лидер в этой задаче chatGpt. Анализ занимает несколько секунд, понимает составные заголовки колонок, определяет и пропускает строки с промежуточными и общими итогами.
У gemini ограничения по размеру таблиц. Gemini и Claude работают заметно медленнее, выдают ответы примерно через 1 мин. Китайцы думают больше 2 мин и не всегда выдают корректные ответы даже на маленьких таблицах.

То есть, если браться за включение в софт автоматизации анализа табличных отчетов, то надо выбирать chatGpt, который только облачный и только через vpn.

PS. Для получения завершенной картины глянул еще алису и гигачат, вообще мимо, где-то на уровне дипсика.

[finsoftrz]

В итоге описанный анализ таблиц отчетов трансформировался в концепцию проведения аудита. То есть, это инструмент не столько для пользователей, сколько для себя. Время от времени я смотрю какие-то параметры работы клиентов с целью выявления потенциальных проблем. Обычно это какие-то табличные отчеты. Но недостаточно просто посмотреть, надо еще потом сообщить пользователям о результате, если это требуется. И это является затратным по времени процессом, так как надо написать, в чем проблема, где она показывается и что рекомендуется сделать. Пользователи могут не всегда воспринимать это, а ты тратишь свое время.
Использование AI принципиально все упрощает. Сохраняем таблицу в виде csv, спереди приделываем управляющий промпт с заданием и списком базовых вопросов (промпты можно держать в виде файлов в специальном подкаталоге), сохраняем в файле. Все это делаем полностью автоматически. Полученный файл скармливаем chatGpt и через несколько секунд получаем хорошо оформленный ответ, стилизованный под аудиторскую проверку. Пересылаем его в мессенджер или на электронную почту клиенту.
Можно также наладить автоматическое нарезание наборов файлов в автоматическом режиме, запуская формирование их по расписанию. Делается это, конечно, не каждый день, а объем данных в таблицах умеренный, поэтому скорее всего бесплатного тарифа chatGpt должно хватать. Ограничение, что не надо передавать явно в составе таблиц какую-то чувствительную информацию, в частности, названия контрагентов, фирм и т.п.

В крупных компаниях подобные операции выполняет отдел внутреннего аудита, обычно такой всегда имеется. У наших клиентов наличие даже одного человека для этих целей редкость.

[finsoftrz]

В общем, эксперимент с анализом таблиц через AI окончился отрицательно. Это тоже результат.
Я сделал небольшой класс и кодовый шаблон, как и планировал, опробовал на реальных данных. Шаблон сохраняет постраничный броуз в том виде, как на экране, в csv файл и прикрепляет спереди вопросы для AI в составе управляющего промпта из внешнего файла. Со стороны приложения все норм. Проблемы со стороны AI. При этом таблица маленькая, 30 строк, а вопросов 7.
Оказалось, что при увеличении количества вопросов быстрый chatgpt начинает ошибаться, причем рандомно. Совместно с ним улучшали промпты, без результатов. Аналогично лажают и claude, gemini. Возможно, из-за того, что бесплатные тарифы.
Корректно работает qwen, но думает очень долго.
Реабилитировался Deepseek. Если у него переключиться на режим эксперта и включить глубокие размышления, то он тоже начинает выдавать стабильно правильные ответы. Но время ответа сильно увеличивается, на тесте это составило 2-3 минуты (он сам засекает). Это быстрее, чем qwen. Скорость сильно зависит от нагрузки на их сервера.
После формирования ответа можно попросить преобразовать для вставки в чат телеграмма. Это формат markdown. Странно, все как-то не очень хорошо делают это. Отличный результат выдал только один раз Deepseek - действительно, в телеграм все красиво, с выделением блоков и цветом.

А вопрос напрашивается сам собою. Зачем все это, если на кларионе не сложно написать такой анализ таблиц, он будет работать точно и мгновенно. На выходе сразу оформить в правильный markdown и скопипастить в телеграм.
Была мысль, что с помощью AI можно задавать дополнительные вопросы по таблице, но это довольно сложно, так как для отбора строк нужно очень специфично указывать условия, чтобы не галлюцинировала.
То есть, идея аудита таблиц правильная, это очень мощная функция, но смысла ее реализовывать через AI в настоящее время нет.

[finsoftrz]

Перевёл уже аудит касс на код, все работает отлично - результат мгновенно, сразу в буфер обмена и красиво оформленная вставка в чат Телеграм. И никакого бреда с ai типа “ты аудитор, сделай мне хорошо".

[porutchik]

из свежих анекдотов:
Шеф поручил применить ИИ для выявления наименее эффективных сотрудников. По заключению ИИ минимальную эффективность показал сам шеф. В результате уволили айтишника, отвечавшего внедрение за ИИ.