Hmm.. mal ein interessantes Problem. Ich würde da ungefähr so rangehen:
1. Berechne die Geradengleichungen für die 3 Dreieckskanten aus den Eckkoordinaten (macht man in etwa in der 7.Klasse)
2. Bestimme aus dem Radius und Mittelpunkt des Kreises die Gleichung der Kreislinie.
[Bei einem Kreis gilt immer (x-x_m)^2 + (y-y_m)^2 = r^2,
wobei (x_m,y_m) die Koordinaten des Mittelpunkts sind. Das nach y auflösen.]
3. Überprüfe, ob es Schnittpunkte gibt, d.h. setze die Kreisgleichung und die Dreieckskanten gleich, löse nach x auf.
Wenn du diese Formel hast, kannst du mit dem proggen anfangen
Mit dieser Lösungsfromel (muss man sich halt überlegen, wie die genau ausieht) kriegst du Werte, die du dann überprüfen musst, ob sie sinnvoll sind, d.h. ob die Geraden Schnittpunkte mit der Kreislinie in dem Bereich liegen, der zu dem Dreieck gehört. Das geht auch mit ner einfachen Überprüfung über die Eckpunkte.
Ich nehme mal an, das es ausgeschlossen ist, dass eines der beiden Objekte komplett in dem anderen liegt, denn dann klappt das nicht.
Aya