Пожелания и планы на будущее

[elpresidente*]

https://ai.google.dev/pricing

Gemini1.0.pro.png (172.39 КБ) 1207 просмотров

Gemini1.5.pro.png (170.94 КБ) 1207 просмотров

[elpresidente*]

Исходя из сообщения выше получается что, начиная с 2 мая, бесплатного не будет вобще? А будет pay-as-you-go

Free вроде никуда не денется, pay-as-you-go это для тех кто будет использовать в production и не хочет делится своими данными.

Мне не нравится что в варианте REST API https://ai.google.dev/tutorials/rest_quickstart необходимо каждый раз пересылать всю историю (context) что будет проблематичено при обработке больших запросов в случае с 1.5, хотелось бы чтобы они делали сессию и держали весь context у себя

У меня уже есть доступ к 1.5 https://generativelanguage.googleapis.c ... ?key={{key}}

Код: Выделить всё

        {
            "name": "models/gemini-1.5-pro-latest",
            "version": "001",
            "displayName": "Gemini 1.5 Pro",
            "description": "Mid-size multimodal model that supports up to 1 million tokens",
            "inputTokenLimit": 1048576,
            "outputTokenLimit": 8192,
            "supportedGenerationMethods": [
                "generateContent",
                "countTokens"
            ],
            "temperature": 1,
            "topP": 0.95
        },

Причем 1.5 это multimodal модель и она поддерживает conversation context, вот хороший пример


Думаю можно попробовать добавить такого бота на сайт.

[elpresidente*]

Большие media файлы можно закачивать с помощью File API https://ai.google.dev/api/rest/v1beta/files

The File API lets you store up to 20GB of files per project, with each file not exceeding 2GB in size. Files are stored for 48 hours and can be accessed with your API key for generation within that time period. It is available at no cost in all regions where the Gemini API is available.

Prompting with media files https://ai.google.dev/tutorials/prompting_with_media

[kyk]

На данный момент, как соотносятся Gemini 1.5 и ChatGpt-4 API по "уровню интеллекта" если им обоим дать одинаковый контекст, скажем, 32,000 ?

И вот еще интересно:

[kyk]

Мне не нравится что в варианте REST API https://ai.google.dev/tutorials/rest_quickstart необходимо каждый раз пересылать всю историю (context) ..

<skip>
Причем 1.5 это multimodal модель и она поддерживает conversation context, вот хороший пример

"поддерживает conversation context" --это Вы имеете ввиду следущее ? :

Код: Выделить всё

model = genai.GenerativeModel('gemini-pro')
chat = model.start_chat(history=[])

response = chat.send_message("In one sentence, explain how a computer works to a young child.")

response = chat.send_message("Okay, how about a more detailed explanation to a high schooler?")

Т.е. вся историю (context) сохраняется в 'chat.history' при многократном "response = chat.send_message()"

Насколько понимаю, в отличие от Gemini выше, у Claude 3 пока ещё нет опции "Сhat"

Claude 3 : The Messages API is stateless, which means that you always send the full conversational history to the API.

https://docs.anthropic.com/claude/refer ... s-examples

[elpresidente*]

На данный момент, как соотносятся Gemini 1.5 и ChatGpt-4 API по "уровню интеллекта" если им обоим дать одинаковый контекст, скажем, 32,000 ?

Размер контекста важен при обработке запросов но не определят качество модели.

[elpresidente*]

"поддерживает conversation context" --это Вы имеете ввиду следущее ? :

Все API поддерживают conversation context (history).
Пример для Gemini link, Claude и ChatGPT (OpenAPI) имеют практически тот-же самый формат.
Проблема в том что с большими файлами такой подход не будет работать, поэтому Google предлагает использовать File API.
Планирую добавить Gemini 1.5 multi modal с поддержкой больших файлов после того как Discord CDN будет стабильно работать, уже потратил на него несколько выходных, надеюсь доделать в этот викенд.

[kyk]

Все API поддерживают conversation context (history).

Буду говорить только про Python implementation.

In Gemini chat, Gemini appears to remember (сохраняется на их сервере, с которым пользователь связывется через API) all conversation context (history). И это круто!

К сожалению, в случае OpenAi и Сlaude, насколько понимаю, conversation context (history) не сохраняется внутри модели (т.е.не сохраняется на их сервере, с которым пользователь связывется через API).

Пример с OpenAI API

The OpenAI API does support multi-turn conversations using the client.chat.completions.create() method. This function is designed specifically for chat-based interactions, enabling the model to keep track of and respond appropriately within the context of an ongoing conversation.

To properly use this in a multi-turn conversation, you need to manage and pass a sequence of message objects. Each message object represents one turn in the conversation, either by the user or by the system (assistant). You can continue adding new user inputs and receive responses in context by maintaining this list of messages.

Код: Выделить всё

messages = [{"role": "system",
             "content": "You are a data science tutor who provides short, simple explanations."}]

user_qs = ["Why is Python so popular?", "Summarize this in one sentence."]

for q in user_qs:
    print("User: ", q)
    user_dict = {"role": "user", "content": q}
    messages.append(user_dict)
    
    response = client.chat.completions.create(
    model="gpt-4",
    messages=messages
    )
    
    assistant_dict = {"role": "assistant", "content": response.choices[0].message.content}
    messages.append(assistant_dict)
    print("Assistant: ", response.choices[0].message.content, "\n")

В этом примере "messages" хранится и обновляется снаружи, а не внутри модели (т.е. не хранится на их севере).
То же самое, как я понимаю, и с Claude.
@elpresidente* , Вы согласны?

[Mad Hatter]

Отказался от Gemini и вернулся на ChatGPT. Нахрен мне модель (ещё и за деньги) которая постоянно говорит "извиняйте, но это я делать не буду".

[kyk]

Отказался от Gemini и вернулся на ChatGPT.

Попробуй Сlaude Opus 3. Про него говорят, что с одной стороны он работает примерно как ChatGPT-4 (не глупее и ничем не хуже), но при этом лучше исполняет инструкции пользователя, более responsive, т.е. более послушный, чем ChatGPT-4

[elpresidente*]

В этом примере "messages" хранится и обновляется снаружи, а не внутри модели (т.е. не хранится на их севере).
То же самое, как я понимаю, и с Claude.
@elpresidente* , Вы согласны?

Мне трудно что-то прокоментировать в данном случае, мой опыт ограничен использованием их REST API.
Кроме REST API совершенно точно есть другие протоколы, в частности те что используют клиенты для этих AI.
Если вы посмотрите на network traffic когда работает с ними то увидите что там создается сессия и вся история видимо хранится внутри обьекта сессии на их сервере.
В некоторых случаях они могут использовать вашу историю для дообучения модели, надо смотреть на конкретный случай.
Самый простой способ выяснить детали это посмотреть исходный код Python клиента.

[elpresidente*]

Отказался от Gemini и вернулся на ChatGPT. Нахрен мне модель (ещё и за деньги) которая постоянно говорит "извиняйте, но это я делать не буду".

А что именно она отказывалась делать?
Gemini 1.0 сейцас бесплатен, v 1.5 идет с лимитом в 50 сообщений в день но на самом деле там тоже сейцас нет лимита.

[Mad Hatter]

Отказался от Gemini и вернулся на ChatGPT. Нахрен мне модель (ещё и за деньги) которая постоянно говорит "извиняйте, но это я делать не буду".

А что именно она отказывалась делать?
Gemini 1.0 сейцас бесплатен, v 1.5 идет с лимитом в 50 сообщений в день но на самом деле там тоже сейцас нет лимита.

Несколько раз подряд отказался давать ответы, на весьма безобидные промпты, причём в платной версии. Темы были разные, код, анализ резюме и позиции, причём раньше он это делал.

[kyk]

Несколько раз подряд отказался давать ответы

а как Gemini объяснял причину отказа? Типа из этических соображений? Или Privacy?

[Mad Hatter]

Несколько раз подряд отказался давать ответы

а как Gemini объяснял причину отказа? Типа из этических соображений? Или Privacy?

Ответ был: "я просто ллм модель, идите нафиг со своими вопросами"
То есть совершенно generic сообщение.

[kyk]

Ответ был: "я просто ллм модель, идите нафиг со своими вопросами"
То есть совершенно generic сообщение.

Очень странно. А ты уверен, что сам не накосячил? Попробуй задать этот же вопрос to Gemini здесь на форуме

[Mad Hatter]

Ответ был: "я просто ллм модель, идите нафиг со своими вопросами"
То есть совершенно generic сообщение.

Очень странно. А ты уверен, что сам не накосячил? Попробуй задать этот же вопрос to Gemini здесь на форуме

Не хочу

[kyk]

@elpresidente*
@Mad Hatter

Я тут сделал 2 закладки в видео, которое хорошо объясняет концепт "stateless" vs "state-full" in chat. Они говорят про MS Azure OpenAI, но по факту это просто OpenAI. Чувак немец, всё объясняет медленно и качественно (не как индус).

1-ая закладка: "stateless": programmer has to save the chat history and feed to to the next call of client.chat.completions.create(..). Слушать 3 мин:
https://youtu.be/PAyDGtKf9ic?si=X9T10AzVw4PCG5Sr&t=310


2-ая закладка: "state-full": instead of function "client.chat.completions.create(..) ", function "client.beta.assistants.create(...) is used" and the chat history is stored on the OpenAI server during the session, тут вводится понятие "thread" и понятие "run".
Слушать 3 мин.:
https://youtu.be/PAyDGtKf9ic?si=O3qATIYFKtPDtOn6&t=729

[elpresidente*]

@kyk
Это два разных API endpоints.
Первый это chat, это то что используют боты на этом сайте.
Второй это assistants, он был добавлен позже, там весь контекст хранится на сервере в thread обьекте.
Доступ к закачанным фаилам есть только из assistants.

[kyk]

@kyk
Это два разных API endpоints.

Да, именно. Первый как раз и называется 'stateless' (т.е. его 'state' не сохраняется на сервере), а второй - 'state-full' (его state сохраняется на сервере).

Насколько понимаю, у Сlaude Opus 3 есть только первый вариант, т.е. 'stateless'