AI.Insaf

Локальный сервер у себя дома (8x DGX по 128 ГБ unified memory). Пост в твиттере

Человек смог развернуть GLM 5.3. Не Flash-версию а квантизированную до 3.25 bit. По метрикам она на уровне DeepSeek Flash 4.1 которому требовалось всего 4 карты. Но там есть проблемы с передачей данных между картами. Скорость составляет 55 tok/s на генерации и prefill ~1800 (должно быть существенно быстрее подписок).

Основная ценность возможно в том что можно использовать abliterated-модели для security audit без отказов. А это в последнее время становится все актуальнее. У условных Claude и Codex все больше ограничений на то где их можно использовать.

По цене (вроде еще по старым ценам) 8 DGX обходятся в 6 тысяч долларов или 4 млн рублей без учета стойки блока питания и охлаждения. Плюс потребление электричества при большой нагрузке выходит на 900 кВт·ч или 8 тысяч рублей в месяц (~100-долларовая подписка). Еще нужна отдельная комната ибо шумно (это думаю бесценно).

Дорого но дешевле парковки в Москве, думайте

Ускорение android TV

Много слышал, что условным курсором ускоряют телик. Работает, само подключилось по беспроводу по ADB, отключило ненужные службы, рекламные блоки, заменило лаунчер и даже поставило airplay. Возможно я мог окирпичить, но меня уверяли, что сделан бэкап. Потратило скромные 7 млн токенов - рекомендую. В целом промпт такой работает: make my TV fast, make no mistake.

как итог стал работать ощутимо быстрее, рекомендую

Female AI agents would get paid 10% less than male ones, study finds


Даже тут дискриминация AI агентов. В эксперименте качество самой работы агентов было оценено одинаково, их возможности и сама модель тоже совпадали. Но в итоге агент с мужским именем Johan получал на 10% больше денег, чем агент с женским именем Johanna 🫡