Erwägungen:
I.
1. Die Beklagte (Y.) ist eine Regionalbank mit Sitz im Kanton St. Gallen. Sie war Aktionärin der RBA-Holding und hatte sich als solche mit den weiteren Aktionären in einem Pool zusammengeschlossen. Die Details wurden in einem Aktionärbindungsvertrag geregelt. Zweck der RBA-Holding und ihrer Tochtergesellschaften war es, den angeschlossenen Regionalbanken bankspezifische Dienstleistungen anzubieten und die Wettbewerbskraft zu steigern.
Die Klägerin (X.) ist eine Tochtergesellschaft der RBA-Holding. Ihre Aufgabe war es, den Poolmitgliedern eine einheitliche Informatiklösung und die damit zusammenhängenden Dienstleistungen bereitzustellen. Zu diesem Zweck bot sie den Mitgliedern die Informationsverarbeitung IBIS (Integriertes-Banken-Informations-System) an. Die Beklagte hatte sich für diese IT-Lösung entschieden. Sie schloss mit der Klägerin im Frühjahr 2000 einen Servicevertrag.
Die Beklagte schied per Ende 2003 aus dem Aktionärspool aus. In der Austrittsvereinbarung von August 2002 wurde vereinbart, dass sie zwischen dem 30. September 2003 und dem 1. Juli 2004 von der Informatikplattform IBIS auf eine externe IT-Lösung wechselt. Soweit die Datenübertragung (sog. Migration) an das neue System erst nach dem 31. Dezember 2003 erfolge, werde die Beklagte bis zum entsprechenden Zeitpunkt, längstens jedoch bis zum 1. Juli 2004, wie ein Poolmitglied behandelt. Die Parteien versicherten, sich bei der Datenauslieferung gegenseitig zu unterstützen und das Projekt professionell und sorgfältig abzuwickeln.
Die Beklagte legte fest, dass die Migration am Pfingstwochenende 2004, also zwischen dem 29. und 31. Mai 2004, stattfinden soll. Die Revisionsstelle der Beklagten bemängelte mit Bericht vom 10. November 2003, dass für den Fall, dass die Migration auf das neue System avaloq fehlschlage, kein „Fallback-Szenario“, also eine Weiterbearbeitung auf der bisherigen IBIS-Plattform, ausgearbeitet und vertraglich fixiert worden sei. Die Parteien konnten sich in der Folge nicht auf eine Fallback-Lösung einigen. Die Beklagte vertrat die Meinung, dass ihr für die Fallback-Lösung keine zusätzlichen Kosten entstehen, weil sie bis 1. Juli 2004 Anspruch auf die Dienstleistungen der Klägerin habe. Die Klägerin hielt entgegen, dass gemäss Austrittsvereinbarung keine Fallback-Lösung geschuldet sei. Sie bestand darauf, für ihre betreffenden Leistungen entschädigt zu werden. Nachdem Vermittlungsversuche der Eidgenössischen Bankenkommission (EBK) gescheitert waren, verfügte diese am 25. Februar 2004:
1. Die RBA-Holding / X. werden verpflichtet, bei einem Scheitern der ordnungsgemässen Migration der IT-Plattform der Y. vom RBA-System IBIS auf avaloq am 31. Mai 2004 der Y. bis zu einer erfolgreichen Migration die für einen einwandfreien Bankbetrieb erforderlichen IT-Dienstleistungen zur Verfügung zu stellen.
2. Die Y. hat die für einen einwandfreien Bankbetrieb erforderlichen IT-Dienstleistungen der RBA-Holding / X. bei einem Scheitern der ordnungsgemässen Migration der IT-Plattform der Y. vom RBA-System IBIS auf avaloq am 31. Mai 2004 bis zu einer erfolgreichen Migration in Anspruch zu nehmen und die RBA-Holding / X. für die Bereithaltung der Kapazitäten und Infrastruktur sowie für den effektiven Aufwand ab Eintritt des Notfalls zu bezahlen.
3. Die IT-Dienstleistungen sind auch zu erbringen, wenn sich die Parteien über den Preis nicht einigen können. Diesbezügliche Streitigkeiten sind vor dem Zivilrichter oder vor einem von beiden Parteien akzeptierten Schiedsgericht auszutragen.
…
Die Migration fand am 31. Mai 2004 statt. Die Beklagte bestätigte am 2. Juni 2004 per E-Mail, dass der „Go-Entscheid“ getroffen worden sei, dass also die Daten erfolgreich auf das neue System transferiert wurden und von jenem ordnungsgemäss verarbeitet werden. Ein Fallback-Szenario trat nicht ein.
Die Klägerin stellte der Beklagten am 20. August 2004 Rechnung für die „Bereitstellung Fallback für Migration“ über gesamthaft Fr. 4’914’077.50. Im Detail verlangte sie für die Erarbeitung und Umsetzung verschiedener Fallbackszenarien Fr. 678’986.50, für den Weiterbetrieb der IT-Umgebung der Beklagten im Fallbackzeitraum Fr. 490’000.–, für die Bereitstellung der Personalressourcen und der Infrastruktur für den Fall des Fallbacks Fr. 3’398’000.– und für Mehrwertsteuern Fr. 347’091.–. Die Beklagte verweigerte die Bezahlung.
2. Die Klägerin klagte am 17. Dezember 2004 vor Handelsgericht St. Gallen gegen die Beklagte auf Bezahlung von Fr. 4’717’169.50 nebst Zins. Die Beklagte verlangte Abweisung der Klage.
[…]
II.
[…]
3. Die Parteien verhandelten erfolglos über einen Vertrag, durch den die Risiken bei einem allfälligen Misslingen der Migration von der IBIS-Plattform auf die avaloq-Informatiklösung abgesichert werden sollten. Mit Verfügung vom 25. Februar 2004 beendete die EBK den vertragslosen Zustand und verpflichtete die Parteien zur Zusammenarbeit in diesem Bereich. Sie wurden durch Verfügung der EBK zur Kontrahierung verpflichtet. Offen gelassen wurde immerhin eine Einigung über die von der Beklagten der Klägerin zu bezahlende Entschädigung (vgl. Ziff. 3 der Verfügung). Darüber zu entscheiden sollte den Parteien bzw. den Zivilgerichten überlassen bleiben.
[…]
b) Die Parteien streiten darüber, ob und in welcher Höhe die Klägerin für ihre Leistungen eine Entschädigung beanspruchen kann.
Die zwischen den Parteien erzwungene Kontrahierung führte zu einem Vertrag, dessen Mindestinhalt durch die Ziffern 1 und 2 der Verfügung definiert ist. Damit gilt als vereinbart, dass die Beklagte die RBA Holding bzw. die Klägerin „… für die Bereithaltung der Kapazitäten und Infrastruktur sowie für den effektiven Aufwand ab Eintritt des Notfalls zu bezahlen“ hat. Ziffer 3 der Verfügung der EBK lässt nurmehr die Einigung über die Höhe der Entschädigung offen, nicht aber darüber, ob im Grundsatz eine Entschädigung geschuldet ist.
4. […]
5. Die Beklagte hat der Klägerin zusammenfassend jenen Aufwand zu entschädigen, der für die Fallback-Sicherung angefallen ist. Dabei ist insbesondere auch den Kosten der Klägerin, die für die Bereithaltung der Kapazitäten und Infrastruktur entstanden sind, Rechnung zu tragen.
6. Der zwischen den Parteien erzwungene Vertrag ist als Werkvertrag zu qualifizieren (Art. 363 ff. OR). Dem Vertrag lag ein unkörperliches Werk zugrunde, das durch den bestimmten Arbeitserfolg „Fallback-Sicherung“ definiert wurde. Aufgabe der Klägerin war es, diesen bestimmten Arbeitserfolg zu erbringen. Nicht blosse Arbeit sondern der Arbeitserfolg war geschuldet (zu den Voraussetzungen des Werkvertrags im Einzelnen vgl. Zindel/Pulver, Basler Kommentar, 2. A., N 4 zu Vorbemerkungen zu Art. 363 OR).
7. Die Parteien konnten sich nicht über die Entschädigung der Klägerin einigen. Gemäss der Verfügung der EBK soll der Bestand des Vertrags davon nicht berührt werden. Die Festlegung der Entschädigung habe im Streitfall auf dem Zivilrechtsweg zu erfolgen. Das ist Gegenstand der vorliegenden Klage.
Die Klägerin verweist zutreffend auf Art. 374 OR (Klage, S. 38). Diese Bestimmung besagt: Ist bei einem Werkvertrag der Preis zum voraus entweder gar nicht oder nur ungefähr bestimmt worden, so wird er nach Massgabe des Wertes der Arbeit und der Aufwendungen des Unternehmers festgesetzt. Wurde, wie im vorliegenden Fall, gar kein Preis festgesetzt, so richtet sich dieser ausschliesslich nach dem Aufwand des Unternehmers. Jener hat Anspruch auf Ersatz des nötigen Personal-, Sach- und übrigen Aufwandes, einem Zuschlag für die Generalunkosten und einem Zuschlag für einen angemessenen Unternehmergewinn (ZINDEL/PULVER, a.a.O., N 12 zu Art. 374 OR; GAUCH, Der Werkvertrag, 4. A., N 946 ff.). Der Unternehmer hat die dem behaupteten Aufwand und den Bemessungsfaktoren zugrunde liegenden Tatsachen zu beweisen (Art. 8 ZGB; ZINDEL/PULVER, a.a.O., N 18 zu Art. 374 OR).
8. […]
9. Die Klägerin macht eine Gesamtentschädigung von Fr. 4’717’169.50 geltend, die sie in der Klage, […], auflistet. Die nachfolgenden Erwägungen folgen dieser Aufstellung:
a) […]
b) Weiterbetrieb der IT-Umgebung der Y. im Fallbackzeitraum (Fr. 490’000.–)
Die Klägerin macht sinngemäss geltend, es sei am 2. Juni 2004 bekannt geworden, dass kein Fallback notwendig werde. Die Beklagte habe deshalb „… die pauschalen Betriebskosten für den Monat Juni 2004…“ zu bezahlen. […]
Der Klägerin ist zuzugestehen, dass sie die EBK verpflichtete, sämtliche Infrastruktur und Kapazitäten bis zur erfolgreichen Migration zur Verfügung zu halten. Es liegt auf der Hand, dass dabei die bereitzuhaltenden Leistungen als Fixkosten nicht schlagartig mit erfolgreicher Migration zu Gunsten der Klägerin frei werden und von ihr verlagert werden können. Sie hatte bis zum definitiven Bescheid, dass die Migration erfolgreich war, mit dem Eintritt eines Fallbacks zu rechnen und die Kapazitäten und Infrastruktur für dieses Ereignis bereitzuhalten. Bis zum Go-Entscheid blieb die Klägerin gebunden und musste für ein No-Go bereit sein. Wäre am Stichtag 2. Juni 2004 ein No-Go-Entscheid gefallen und wäre es zum Fallback gekommen, so hätten mit Sicherheit die Dienstleistungen für den Monat Juni beansprucht werden müssen. Im Falle des Go-Entscheids am 2. Juni 2004 wusste die Klägerin zwar, dass kein Fallback eintreten wird. Ihrerseits bedurfte es aber Zeit, um die freiwerdenden Kapazitäten und Infrastruktur anderweitig einzusetzen und umzulagern. Diese Übergangsphase lässt sich nur schätzen. Das Handelsgericht erachtet in Übereinstimmung mit der Klägerin eine Anpassungsphase von rund einem Monat als angemessen und realistisch. Diese Zeit war zu erwarten, damit die Klägerin betriebsintern umsetzen konnte, dass kein Fallback notwendig wird und die Kapazitäten und die Infrastruktur, die zuvor gebunden waren, anders eingesetzt werden können.
[…]
12. Es hat sich ergeben, dass die Beklagte der Klägerin den Betrag von Fr. 826’132.35 nebst 5% Zins seit 22. Dezember 2004 zu bezahlen hat.
Quelle: http://www.gerichte.sg.ch/home/dienstleistungen/rechtsprechung/kantonsgericht/entscheide_2007/hg_2004_105.html