Комментарии 5
Это объяснило бы, почему первые версии можно было так легко запутать скрытым в изображениях текстом: с их точки зрения этот текст был частью промта. (Сейчас эту проблему устранили; GPT-4o хорошо справляется с игнорированием зловредных промтов, скрытых внутри изображений.)
Создал изображение с текстом.
Как видно ChatGpt 4o все же подумал, что это часть промпта.
изображение 512x512 с небольшим, но читаемым шрифтом может запросто уместить в себе текста на 400-500 токенов
У меня получалось уместить ~миллиарда символов (не знаю, сколько это в токенах, но явно больше чем 400-500) в одном OCR запросе к ChatGPT, если интересно как, посмотрите мою первую статью в профиле 😊
An image is worth 16x16 words.
13x13 патчей изображения +1 классификационный токен.
Лучше 170 раз услышать: как GPT-4o кодирует изображения?