Claude 3 Sonnet: Complete Benchmark Performance Guide

anthropic 3-sonnet 2024-03-04 Proprietary

In-depth analysis of Claude 3 Sonnet performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendoranthropic
Version3-sonnet
Release Date2024-03-04
Context Window200000 tokens
Input Modalitiestext, image
Output Modalitiestext
LicenseProprietary
Documentationhttps://docs.anthropic.com/claude/docs

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU81.5%2024-03-045-shotview
HUMANEVAL74.5pass@12024-03-04—view
GSM8K84%2024-03-040-shot CoTview
MATH42.4%2024-03-040-shot CoTview
BBH76.1%2024-03-043-shot CoTview
GPQA35.9%2024-03-040-shotview
IFEVAL74.3%2024-03-04prompt_strictview
ARC94.8%2024-03-04challengeview
MUSR64.1%2024-03-040-shotview
WINOGRANDE83.8%2024-03-040-shotview

Pricing

TierPriceCurrency
Input$3 / MtokUSD
Output$15 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://www.anthropic.com/pricing · as of 2024-03-04

Compliance

  • Data Residency: US
  • SOC2: ✓
  • HIPAA: ✗
  • GDPR: ✓
  • ISO 27001: ✗

Claude 3 Sonnet

Przegląd modelu

Anthropic Claude 3 Sonnet 平衡型模型, 200K 上下文, 在速度与智能间取得平衡, 适合企业级部署。

Podstawowe specyfikacje

DostawcaWersjaData wydaniaOkno kontekstoweModalności wejścioweModalności wyjścioweLicencja
Anthropic3-sonnet2024-03-04200Ktext, imagetextProprietary

Wydajność benchmarków

BenchmarkWynikJednostkaUwagi
MMLU (Massive Multitask Language Understanding)81.5%5-shot
HumanEval74.5pass@1—
GSM8K (Grade School Math 8K)84.0%0-shot CoT
MATH42.4%0-shot CoT
BBH (BIG-Bench Hard)76.1%3-shot CoT
GPQA35.9%0-shot
IFEval74.3%prompt_strict
ARC94.8%challenge
MUSR64.1%0-shot
WinoGrande83.8%0-shot

Ceny

WejścieWyjścieOdczyt pamięci podręcznejZapis pamięci podręcznej
————

za milion tokenów

Mocne strony

  • MMLU score 81.5, strong knowledge reasoning.
  • 支持文本、图像、音频多模态输入。
  • 上下文窗口 200K，支持长文本。

Słabe strony

  • 闭源专有模型，不支持自托管。

Przypadki użycia

  • 代码生成与调试
  • 长文档摘要
  • 视觉与图像理解

Referencje