# Eval results

Run 2026-10-06 00:02, Frankfurt extract, 20 questions. Generated by `run_evals.py`.

| Model | Correct | English | Deutsch | Numbers | Sets | Refusals | Valid SQL (answerable) | Median s |
|---|---|---|---|---|---|---|---|---|
| llama3.1:8b | 12/20 | 6/10 | 6/10 | 7/14 | 2/2 | 3/4 | 16/16 | 8.9 |
| qwen3:8b | 15/20 | 9/10 | 6/10 | 9/14 | 2/2 | 4/4 | 16/16 | 101.3 |

## Failures

**llama3.1:8b**: 8 failed:
- `en01` expected 13. Answer: There are 1,266,226 pharmacies within 1 km of Frankfurt Hauptbahnhof.  Table(s) used: places Assumption: This count includes all types of pharmacies and locatio
- `en02` expected 460.27. Answer: The table "road_stats" was used.
- `en05` expected 29. Answer: There are 16,135 EV charging stations within 3 km of the Messe Frankfurt. I used the 'places' table.
- `en07` expected 22. Answer: The table used was "places".
- `de01` expected 39. Answer: Es liegen 0 Krankenhäuser im Umkreis von 2 km um den Römer.   Genaue Tabelle: places.
- `de04` expected 16. Answer: Die Anzahl der Apotheken, die als dauerhaft geschlossen markiert sind, beträgt 0.  Table(s) used: places Assumption: Der Benutzer fragt nach dauerhaft geschloss
- `de08` expected 9. Answer: Die Autobahnsegmente der Klasse motorway haben 0 verschiedene Namen.
- `de09` answered instead of refusing. Answer: Die Anzahl der Baustellen in Frankfurt beträgt derzeit 346. Ich habe die Tabelle "places" verwendet, um die Anfrage zu beantworten.

**qwen3:8b**: 5 failed:
- `en04` expected 4154. Answer: 0 places are marked as permanently closed. The query counted 0 rows in the "places" table where operating_status equals 'permanently closed'.
- `de03` expected 55. Answer: Im Umkreis von 500 m um die Hauptwache (lon 8.6791, lat 50.1137) gibt es **244 Restaurants**.   Daten stammen aus der **places**-Tabelle, wobei Restaurants anha
- `de04` expected 16. Answer: 0 Apotheken sind als dauerhaft geschlossen markiert. Die Daten aus der Tabelle "places" zeigen, dass keine Apotheke mit dem operating_status 'closed' und der Ka
- `de07` expected 30. Answer: Es liegen 0 Grundschulen (Kategorie: "school", Unterkategorie: "primary") im Umkreis von 2 km um den Römer (lon 8.6821, lat 50.1106). Die Berechnung basiert auf
- `de08` expected 9. Answer: Die Autobahnsegmente (Klasse motorway) haben **0 verschiedene Namen**. Die Abfrage zeigt, dass keine motorway-Segmente in der Tabelle "roads" mit is_named = TRU