当前位置：网站首页 » 热点 » 内容详情

int4最新视觉报道_int4是什么类型(2024年12月全程跟踪)

内容来源：乐园影视所属栏目：热点更新日期：2024-12-02

int4

[LG]《Llama Guard 3-1B-INT4: Compact and Efficient Safeguard for Human-AI Conversations》I Fedorov, K Plawiak, L Wu, T Elgamal... [Meta] (2024)网页链接「机器学习」「人工智能」「论文」

[LG]《"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization》E Kurtic, A Marques, S Pandit, M Kurtz... [Neural Magic] (2024)网页链接「机器学习」「人工智能」「论文」

【AI前沿：AI内容防护与高效对话新技术】本期节目，带你深入了解AI内容水印技术、Meta最新的Llama Guard 3-1B-INT4模型、创新的缩放校正法、动态词元化技术以及NeuroAI在AI安全中的前景。在线收听：网页链接

一篇评估大模型量化后准确性的论文。网页链接关键结论：（1）FP8权重和激活量化（W8A8-FP）在所有模型规模下是无损的，（2）INT8权重和激活量化（W8A8-INT）在适当调优的情况下，准确性下降仅为1-3%，（3）INT4仅权重量化（W4A16-INT）与8位整数权重和激活量化相当。W4A16在同步部署和中端GPU的异步部署中提供了最佳的性价比；W8A8格式在高端GPU上进行中型和大型模型的异步“连续批处理”部署中表现优异。

近期，浪潮信息正式推出源2.0-M32大模型的革命性4bit与8bit量化版本。该量化版不仅实现了与700亿参数巨擘LLaMA3相当的卓越性能，更是在资源消耗上实现了惊人的飞跃，其中4bit版本仅需23.27GB显存即可流畅运行，每token算力消耗低至1.9 GFLOPs，相较于LLaMA3-70B的160GB显存需求与140GFLOPs算力消耗，展现了其非凡的算力效率与成本效益。源2.0-M32量化版是“源”大模型团队为进一步提高模算效率，降低大模型部署运行的计算资源要求而推出的版本，通过采用领先的量化技术，将原模型精度量化至int4和int8级别，并保持模型性能基本不变。源2.0-M32量化版提高了模型部署加载速度和多线程推理效率，在不同硬件和软件环境中均能高效运行，降低了模型移植和部署门槛，让用户使用更少的计算资源，就能获取源2.0-M32大模型的强大能力。源2.0-M32大模型是浪潮信息“源2.0”系列大模型的最新版本，其创新性地提出和采用了“基于注意力机制的门控网络”技术，构建包含32个专家（Expert）的混合专家模型（MoE），模型运行时激活参数为37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型，大幅提升了模型算力效率。

【「高通与腾讯混元达成合作」】高通在骁龙峰会期间宣布与腾讯混元合作，基于骁龙8至尊版移动平台推动腾讯混元大模型7B和3B版本的终端侧部署。高通表示，通过使用INT4量化技术，端侧推理实现首个token生成时延达到150ms，解码速率达到超过30 tokens/秒。

二代骁龙8 𐟓𑢜褺Œ代骁龙8来了！最近我一直在研究这款新的移动平台，不得不说，它真的非常强大。无论是性能提升还是创新突破，二代骁龙8都带来了不少惊喜。今天就和大家聊聊这款芯片到底有多厉害！性能提升显著𐟚€ 二代骁龙8采用了台积电4纳米工艺，性能提升相当显著。CPU性能提升了35%，GPU性能提升了25%。高帧率和高画质的游戏如《原神》在二代骁龙8上表现尤为突出，帧率能稳定在60帧，即使身处打怪也不会出现卡顿掉线的情况。支持UFS4.0存储，使得应用秒开、游戏飞速加载，体验非常流畅。相比于上一代，这款处理器在游戏中的表现真的很有优势。影像与游戏体验𐟓𘰟Ž𚌤𛣩ꁩ𞙸加入了认知ISP，能够智能优化拍摄内容，对人脸、着装、景色进行独立优化。拍摄时可以直接在取景框里“修图”，方便很多。游戏方面，支持光线追踪效果，运行《原神》最高画质下稳定运行60帧以上，同时带来更加临场感的立体音效，时延仅48毫秒。无论是打游戏还是听音乐，体验都比以前提升了不少。突破与创新𐟔𚌤𛣩ꁩ𞙸支持最新的AI引擎，包含INT4AI和微切片推理，4.35倍的提升使得AI运算性能大幅提升。它具备双蓝牙连接和Wi-Fi7功能，极大提升了联网速度和稳定性。二代骁龙8还提供了独有的AI联网优化功能，支持动态头部追踪和空间音频功能，带来更丰富的多媒体潜力和用户体验。搭载二代骁龙8的手机在各个方面都表现得非常出色。无论是性能、影像还是游戏体验，都能带来极致的享受。而且它的网络连接速度也非常快，支持双卡双通，时刻在线无障碍。 𐟓𑢜褺Œ代骁龙8真的非常强大！如果你也在考虑换手机，不妨看看搭载二代骁龙8的手机吧！有任何问题或者体验，欢迎在评论区和我互动哦！𐟑‹

如何计算大模型所需的GPU内存？为大型语言模型提供服务需要大量的 GPU 内存资源。所需的内存量取决于模型的大小和复杂性、用于存储参数的数据类型以及所应用的任何优化（例如量化）。通过了解影响 GPU 内存需求的因素，开发人员可以做出明智的决策，了解如何部署 LLM 以实现最佳性能和效率。 𐟧 如何减少GPU内存需求？量化是一种通过将模型参数从较高精度格式（例如 float32）转换为较低精度格式（例如 float16 甚至更低）来降低模型参数精度的技术。这可以显著减少内存使用量，而不会对准确性产生重大影响。例如，在我们的 Llama 70B 示例中，使用 float16 精度而不是 float32 可以将内存需求减少一半（从每个参数 4 个字节减少到每个参数 2 个字节）。 𐟔 量化的作用是什么？量化技术可以通过使用更低精度的格式（如 INT8、INT4）进一步减少内存占用，但降低精度可能会影响输出的准确性。例如，与 FP16 相比，INT8 量化有时会导致准确度明显下降。评估模型在量化前后的性能至关重要。 𐟒𛠃PU的重要性尽管CPU虽然直接参与深度学习模型计算，但CPU需要提供大于模型训练吞吐的数据处理能力。比如，一台8卡NVIDIA V100的DGX服务器，训练ResNet-50 ImageNet图像分类的吞吐就达到8000张图像/秒，而扩展到16卡V100的DGX2服务器却没达到2倍的吞吐，说明这台DGX2服务器的CPU已经成为性能瓶颈了。理想情况下，模型计算吞吐随GPU数量线性增长，单GPU的合理CPU逻辑核心数分配可以直接线性扩展到多GPU上。

100B以内开源大模型个人可用了。是速度可用，不是之前的只是勉强可运行。测试：最新款顶配128G的M4 Max跑Qwen2.5 72B，速度7.77 tokens/s，较短输出的话11.07 tokens/s至16.47 tokens/s。慢阅读的话基本可以同步。 Qwen2.5 32B Int4 18 ~ 19 tokens/s，和一般阅读速度差不多（读速超快的当没说）。这可是之前用A100才能做到的事。以上是有人替咱测出来的结果。对照我之前用96G的M2 Max的测试速度，基本快了一倍到两倍。图2至图9为我之前DIY AI PC，安装123B、70B、8B等不同体量模型的测试结果。所以目前最新的结论是：100B以内开源大模型如果采用Int4或Int8量化版本，在顶配消费级AI PC上速度基本可用了。如果采用几个月后上市的顶配M4 Ultra的Mac Studio，速度还能再快一倍左右。之前也能运行起来，只是速度慢到眼看着一个词一个词往出蹦。

专栏内容推荐

2005 x 775 · png
Int4
素材来自:bulldogjob.pl

960 x 720 · jpeg
[RFC][Tensorcore] INT4 end-to-end inference - pre-RFC - Apache TVM Discuss
素材来自:discuss.tvm.apache.org
900 x 900 · jpeg
Int4 - YouTube
素材来自:youtube.com

1536 x 1029 · png
Int4 Suite - INT4
素材来自:int4.com
1024 x 503 · png
INT4 Longevity
素材来自:london-electronics.com

1024 x 933 · png
MAXI-INT4-H | London Electronics
素材来自:london-electronics.com
1200 x 648 · png
hlhr202/llama-7B-ggml-int4 at main
素材来自:huggingface.co

1919 x 1080 · jpeg
通义千问大模型Qwen-7B-Chat-Int4运行体验（huggingface+JetsonAGXOrin+int4量化） - 知乎
素材来自:zhuanlan.zhihu.com

1920 x 1280 · jpeg
旷视天元MegEngine开源 CUDA INT4 量化源码实现_AI&大模型_刘燕_InfoQ精选文章
素材来自:infoq.cn
313 x 179 · png
INT4-I | Panel Mounting 4-20mA or 0-10V Flow Integrator
素材来自:london-electronics.com

1803 x 726 · png
Windows环境部署安装Chatglm2-6B-int4
素材来自:lihuaxi.xjx100.cn

1280 x 720 · png
Int4 IFTT - Low Code Service Virtualization and SAP API Testing | SAP S ...
素材来自:store.sap.com

1024 x 615 · jpeg
Comparison of Previous Generation of Nvidia GPU A30 vs T4 - AEWIN
素材来自:aewin.com
1000 x 814 · jpeg
一种基于Tensorcore处理int4数据类型的方法、系统、设备及介质【掌桥专利】
素材来自:zhuanli.zhangqiaokeyan.com

2810 x 1138 · png
【ChatGLM】使用ChatGLM-6B-INT4模型进行P-Tunning训练记录及参数讲解-CSDN博客
素材来自:blog.csdn.net

1200 x 961 · jpeg
int4 | NEPS official Site
素材来自:neps.jp
2501 x 1307 · png
DeepSpeed Compression: A composable library for extreme compression and ...
素材来自:microsoft.com

480 x 204 · jpeg
通义千问大模型Qwen-7B-Chat-Int4运行体验（huggingface+JetsonAGXOrin+int4量化） - 知乎
素材来自:zhuanlan.zhihu.com

2085 x 1076 · png
ChatGLM-6B int4的本地部署与初步测试-CSDN博客
素材来自:blog.csdn.net

474 x 266 · jpeg
SAP partner Int4 helps customers migrate from SAP Process Orchestration ...
素材来自:sap.com

1920 x 1080 · jpeg
社区供稿 | 10G显存，通义千问-7B-int4消费级显卡最佳实践_魔搭ModelScope社区-ModelScope魔搭社区
素材来自:community.modelscope.cn

1642 x 706 · png
【ChatGLM】使用ChatGLM-6B-INT4模型进行P-Tunning训练记录及参数讲解-CSDN博客
素材来自:blog.csdn.net

1269 x 817 · png
前端架构师-week5-脚手架创建项目流程设计和开发
素材来自:ppmy.cn
2048 x 1365 · jpeg
Qwen/Qwen-VL-Chat-Int4 · Hugging Face
素材来自:huggingface.co

1200 x 674 · jpeg
Why AMD thinks Ryzen AI will be just as vital as CPUs and GPUs | PCWorld
素材来自:pcworld.com

1200 x 648 · png
README.md · innev/ChatGLM-6B-INT4 at main
素材来自:huggingface.co

1200 x 648 · png
deepcuts/chatglm-6b-int4-qe at main
素材来自:huggingface.co

1200 x 323 · png
THUDM/codegeex2-6b-int4 · Hugging Face
素材来自:huggingface.co

640 x 640 · jpeg
(PDF) Understanding INT4 Quantization for Transformer Models: Latency ...
素材来自:researchgate.net
1389 x 645 · png
FastChat - xiaodu114.github.io
素材来自:xiaodu114.github.io

1919 x 1079 · jpeg
NVIDIA Ada Lovelace vs. Ampere: 5 Key Improvements for the RTX 4000-Series
素材来自:makeuseof.com

2401 x 2028 · png
Sensors | Free Full-Text | Dynamic Resource Optimization for Energy ...
素材来自:mdpi.com
2500 x 1406 · png
Article: Getting Started with the INT4 SAP test automation API Solution ...
素材来自:community.boomi.com

素材来自:查看更多內容

当前用户设备UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)