Нейронавт | Нейросети в творчестве

Iris-Z

Генератор изображений от Speridian Labs

Рисует картинку и ее глубину одновременно. Одни веса на Flux 2 делают четыре задачи: промпт в картинку, промпт в картинку с глубиной, фото в глубину и карта глубины обратно в картинку.

- Две версии: 32B и полегче 9B, обе на 512 и 1024
- По точности глубины на стандартных бенчмарках обходит специализированные модели вроде MoGe-3
- При этом генерирует картинки как исходный Flux, не просев по качеству
- Фото в глубину считает за четыре шага и без текстового энкодера
- Есть вывод небо-маски и относительной глубины вместе с раскраской

Версия big требует около 112 ГБ памяти, small помещается в 33. Тянет на RTX 5090 или A100

hf.co/speridlabs/iris-z
github.com/speridlabs/iris-z-sdk

#t2i #depth

MAX

Искра

Принесли мне на тест ИИ-агента.
Браузерными я редко пользуюсь, они у меня быстро тонут во вкладках. А тут в комплекте имеется телеграм-бот, что мне как раз удобно и для оформления постов и для каких-нибудь задач когда нет доступа к десктопу где у меня все удобно настроено.

Оформлять же посты в мобильном ТГ - жутко неудобно, я на это уже жаловался.

Итак, самая частая задача - оформление поста.
Кидаю ссылку, иногда с описанием, иногда голый URL.
Искра открывает источник, читает и укладывает в формат канала - я ей задал правила.

Тут обнаружил две недоработки

1) Бот физически не может отбивать абзацы пустыми строками и теряет форматирование текста. Модель это делает, но парсер бота отдает сплошной комок текста. Частично это решилось маркдаун-разметкой, какое-то форматирование она сохраняет но сделать промежуток между абзацами - шиш

2) Бот не видит ссылки, зашитые в текст средствами Телеграм. Видит только текст в который они зашиты. Поэтому ссылки приходится кидать боту в сыром виде

Но это касается только ТГ. Команде Искры я об этом написал, обещали посмотреть. Помимо ТГ-бота есть WEB-версия, десктоп-клиент на Windows, аппки на iOS и Android. А там приличный воркспейс с проектами, скиллами, памятью.

Есть интеграция с 1С, Битрикс24, Почтой, Диском, CRM и т. д. вплоть до кастомной интеграции своей компании. Есть планировщик заданий. Попробую потом наваять какое-нибудь приложение в ней

Как бытовой персональный ассистент тоже годится.
На выходных гулял с ребенком и решили мы сходить в кино. Раньше можно было открыть приложение киносети, выбрать сеанс и купить билет. Теперь же часть приложений кинопрокатчиков загнулись, остальные работают через пень-колоду. А на афише информация не всегда точная.

Ну я надиктовал задание найти детские сеансы в ближайших трех кинотеатрах. Искра потянула инфу с разных источников, сказала куда можно успеть и где билеты подешевле. Ну, вы поняли.

Под капотом модели семейства Qwen, сейчас в частности Qwen 3.8 Flash

Что приятно, есть реферальная программа

Если хотите попробовать, переходите по ссылке - есть бесплатный тариф.

Платные тарифы от 690 рублей в месяц, а по моему промокоду NEURONAUT30 - 30 дней тарифа Про бесплатно, до 4 декабря Попробовать

Реклама. ООО «Искра», ИНН 1685025044, erid: 2VtzqvBfpWA

Idol

Idol от Speridlabs делает 3D-сплат по одной фотографии предмета, включая стороны, которых на снимке не было. Пара секунд на современной карте. Есть нативная поддержка в #ComfyUI

• Своя обвязка из трех нод: препроцесс, камера, чистка сплата
• Остальное работает на стоковых нодах TripoSplat, KSampler и Render Splat
• Экспорт в ply, spz, ksplat и GLB

• Два режима кропа: synthetic для рендеров и генераций, real для фотографий

Из практики: половина гауссиан выходит почти прозрачной, из-за этого в просмотрщике туман и иглы по краям. Нода чистки с порогом 0.05 убирает их и заодно режет размер файла вдвое. Это влияет на картинку сильнее, чем любые настройки сэмплера.

github.com/speridlabs/idol-sdk
hf.co/speridlabs/idol
github.com/Nynxz/ComfyUI-Idol
hf.co/spaces/speridlabs/idol

Спасибо @m_franz

#image2gaussian #gaussian

MAX

MetaEncoder v1

Meta (запрещено в РФ) выложила единый мультимодальный энкодер для текста, картинок и видео. Работает в три вызова: закодировать содержимое в вектор, найти по нему в корпусе и ответить на вопросы о состоянии.

- Текст, изображение, до восьми кадров видео и смесь этого в одном векторе размера 6656
- Инструкция меняет смысл эмбеддинга: одно вложение складывается по-разному под документ или под запрос
- Одна карта на 80 ГБ держит модель в bf16, весов 28 млрд
- Поддержка видео: больше восьми кадров равномерно прореживаются
- Векторы можно кэшировать и потом многократно искать в сжатом корпусе

Изюминка - метод decide: вместо генерации ответа модель решает закрытые вопросы о сцене, выбирая правильный вариант по сходству. На это тренировали, поэтому горячие вероятности, а не рассуждение.

Требует transformers новее 5.15, веса из Muse Glimmer.

#encoder #desicion #multimodal

MAX

Хуанга смещают с поста CEO NVIDIA

Как видите, не только в этой стране отжимают бизнес у слишком влиятельных людей

#news

MAX

VoxMel

Система синтеза речи без токенизатора: модель напрямую строит мел-спектрограмму через точно обратимое двухосевое вейвлет-преобразование Хаара. Языковый бэкбон с головой flow-matching генерирует грубую мел-карту авторегрессивно.

- Два неавторегрессивных уровня добирают детали по времени и частоте, не засоряя историю генерации
- Английский и китайский, клонирование голоса по короткой референсной записи и ее транскрипту
- Честное разделение: грубая структура и детали считаются раздельно, поэтому длинная генерация не копит ошибок
- Инверсия точная по математике, но не гарантирует безошибочный звук или декодер
- Постобучение с GRPO подняло все четыре метрики Seed-TTS
- Отдельный вокодер Vocos превращает восстановленную спектрограмму в речь

0.3B и 0.6B
Русского нет

hf.co/VoxDance-Lab/VoxMel-0.6B
github.com/VoxDance-Lab/VoxMel

#tts

MAX