@elpresidente* ,
Я перенёс мои посты сюда, здесь более в тему
elpresidente* писал(а): ↑Чт авг 15, 2024 10:39 am
В итоге имеем более качественную на небольших обьемах модель GPT-4o и Gemini которая не имеет проблем с размером контекста и выдает полный текст но явно худшего качества.
по состоянию на месяц назад, limit на размер
ответа (for one GPT model call) у Gemini почти такой же как и у GPT-4.
На входе context у Gemini огромный, можно 500 страниц загрузить, но вот выход-то при этом совсем небольшой.
Для многоходового чата with multiple iterations и long history важен размер входного контекста.
А вот если надо сделать большой выходной документ, то требуется сделать several iterations, т.е. several GPT model calls.
Я уже не раз указывал что при каждом таком GPT model call, сама -то модель "не знает" что она участвует в герации кусочков одного большого выходной документа. Т.е. программер как бы должен сам чесать репу как это хорошо сделать.
Если весь большой ответ можно разбить на независимые куски и каждый такой выходной кусок умещается в
limit на размер ответа одного GPT model call, то тогда это достаточно легко.
А вот в противном случае, если нужен большой и
когерентный выход на 50-100 страниц, то задача вовсе не тривиальная, в том числе и потому что заранее неизвестно как будет себя вести GPT model в такой ситуации.
alex_127 писал(а): ↑Пт авг 16, 2024 8:18 am
Че-то не понял, что мешает уже сгенерированные куски добавлять в контекст и объяснять что выход должен быть продолжением вот этого?
естествеенно что так и надо делать. Но это лишь небходимое, но не достаточное условие.
Каждый следующий GPT model call читает ранее сгенерированные и добавленные в контекст куски как бы "в первый раз" .
А на сколько ожидаемо и предсказуемо модель будет работать в таком режиме - неизвестно.
В зависимости от сложности большого выходного документа, возможно потребуется для каждого следующего GPT model call немного менять инструкции (prompt) для GPT.
Т.е. задача разбивается на куски (которые влезают в output limit) и для каждого такого куска надо
вручную писать отдельную инструкцию (prompt) для GPT.
Допустим, задача написать книжку на 200 стр. на заданную тему. Если бы не было ограничения на output limit, то можно было написать один качественый prompt и книжка готова.
При ограничении на output limit, надо дробить работу на мелкие части, типа маленькие главы, и для каждой главы создавать модифицированный prompt
вручную .
Т.е. для каждого такого prompt-а будет недостаточно лишь одной и той же инструкции "уже сгенерированные куски добавлять в контекст и объяснять что выход должен быть продолжением вот этого".
А если книжка будет на 1000 страниц при лимите модели output size 5 страниц. Это получается 1000/5 = 200 кусков и для каждого куска модифицированный prompt нужен.
Можно ли автоматизировать генерацию этих 200 prompt-ов? Чтобы не писать каждый такой prompt вручную.
Иными словами....
Если имеется один качественый глобальный prompt- для написания всей книги целиком (если бы не было ограничения на output limit), то как на основании этого одного глобального prompt-а сгенерировать все 200 локальных prompt-ов?
Сумел я мысль донести? Не уронил по дороге?
