Key Specifications

Vendor	google
Version	2.0-flash-thinking
Release Date	2024-12-19
Context Window	1.048576e+06 tokens
Input Modalities	text, image
Output Modalities	text
License	Proprietary
Documentation	https://ai.google.dev/gemini-api/docs

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	86.5	%	2024-12-19	5-shot	view
HUMANEVAL	87.2	pass@1	2024-12-19	—	view
GSM8K	91.3	%	2024-12-19	0-shot CoT	view
MATH	56.6	%	2024-12-19	0-shot CoT	view
BBH	87.9	%	2024-12-19	3-shot CoT	view
GPQA	61	%	2024-12-19	0-shot	view
IFEVAL	82.8	%	2024-12-19	prompt_strict	view
ARC	95	%	2024-12-19	challenge	view
MUSR	70.8	%	2024-12-19	0-shot	view
WINOGRANDE	88.1	%	2024-12-19	0-shot	view

Name: Gemini 2.0 Flash Thinking
Brand: google

Google Gemini 2.0 Flash Thinking 实验版, 1M 上下文, 链式思维推理, 在数学与编码上接近 o1。

Dostawca	Wersja	Data wydania	Okno kontekstowe	Modalności wejściowe	Modalności wyjściowe	Licencja
Google	2.0-flash-thinking	2024-12-19	1048K	text, image	text	Proprietary

Benchmark	Wynik	Jednostka	Uwagi
MMLU (Massive Multitask Language Understanding)	86.5	%	5-shot
HumanEval	87.2	pass@1	—
GSM8K (Grade School Math 8K)	91.3	%	0-shot CoT
MATH	56.6	%	0-shot CoT
BBH (BIG-Bench Hard)	87.9	%	3-shot CoT
GPQA	61.0	%	0-shot
IFEval	82.8	%	prompt_strict
ARC	95.0	%	challenge
MUSR	70.8	%	0-shot
WinoGrande	88.1	%	0-shot

Wejście	Wyjście	Odczyt pamięci podręcznej	Zapis pamięci podręcznej
—	—	—	—

za milion tokenów