Um dich bei der Suche zu unterstützen: Wenn das System klein ist (vielleicht 10'000 Unbekannte), kannst du versuchen das ganze direkt zu lösen. Dein Gleichungssystem ist ja eigentlich recht dünnbesetzt, weswegen direkte Verfahren für kleinere System durchaus Sinn machen. Grosse Probleme werden häuffig iterativ gelöst. Wie raziel schon gesagt hat gehören zu den einfachsten Verfahren Jacobi/Gauss-Seidel/SOR; wobei Jacobi eher nur akademischen Wert hat, da die Konvergenz recht langsam ist. Es bringt auch schon viel, die Matrizen vorzukonditionieren. Was es auch noch gibt sind Krylov-Subspace Methoden wie CG (konjugierte Gradienten). Davon gibt mindest ein halbes duzend Methoden, die meist nur auf bestimmen Matrizen funktionieren (Symmetrie).
Code kann ich dir keinen geben. Zu den bekannten Lineare-Algebra Packeten gehören Linpack, Blitz++, Numerical Recipes(, Blas). Das sind zwar Fortran bzw. C++-Routinen, vielleicht findest du ja aber Objektfiles oder eine DLL, die du einbinden kannst. Soweit ich weiss benützt Matlab zum grössten Teil diese uralten Fortran/C Routinen.
Sonst kenne ich noch
diese Numerikseite mit PASCAL-Code.
Wie gut der Delphi-Compiler in Sachen Numerik ist, weiss ich nicht. Ich denke eher schlecht (keine Erzeugung von parallelen Floatingpoint Instruktionen, Loop unrolling, etc.)