Bondora zieht den API-Stecker

Zedandi · Anmeldedatum: 02.11.2016 Beiträge: 1486

Auch nach mehrmaligem Lesen der E-Mail bin ich mir nicht 100% sicher, ob die bisherige Zweitmarktabfrage-Methode komplett eingestampft wird oder ob sie nur deutlich gedrosselt wird (auf eine Abfrage pro Stunde) und zusätzlich um die Webhooks ergänzt wird (gab es die eigentlich bisher auch schon? Auf der API-Seite kann man anscheinend schon welche anlegen).

Falls Polling immer noch irgendwie möglich sein sollte, wären meine Programme immer noch lauffähig, wenn auch sehr viel langsamer aber für meine Strategie immer noch akzeptabel (ich habe mich nie am "Wettrennen" um Grüne mit Abschlag beteiligt, mein Bot läuft mit möglichst geringen Stromverbrauch und daher sehr langsam).

Allgemein fand ich Bondoras Lösung gerade bei LoanPart/{id} mit Einzelabfrage schon sehr fragwürdig. Genauso das Polling des Zweitmarktes. Kein Wunder dass bei so viel Ineffizienz irgendwann deren Server in die Knie gingen, was ja mit andauernden Aussetzern der API einherging... Daher wundert mich dieser Schritt nicht, eine ähnliche Lösung nutzt Fellow Finance* schon bereits. Irgendwie graut es mir zwar davor meinen inzwischen rund laufenden Bot wieder anfassen zu müssen aber insgesamt begrüße ich die Änderung, wenigstens gehen sie damit ein echtes Problem an und nicht nur irgendwelche Kosmetik.

Oktaeder · P2P Legende Anmeldedatum: 13.07.2010 Beiträge: 10188 Wohnort: Bei Karlsruhe

Nichst gegen eine Drosselung aber einmal pro Stunde? Mit den webhooks kannst du keine Suchanfragen stellen wenn ich das richtig sehe.
Die parts brauche ich auch nicht. Aber zB Investments für Auswertungen etc. und da brauche ich leider immer mehrere Abfragen. Wenig durchdacht und auch schlecht beschrieben.
_________________
Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 12%/ Investiere per API.
Stand 9/2023

Weitere Anlagen bei Swaper*,peerberry,afranga,lendermarket und estateguru

Werbeunterbrechung / Werbung · P2P Legende

Realarms · Anmeldedatum: 22.03.2017 Beiträge: 241

Sehe ich auch so, das mit dieser Änderung de facto API tot ist...

Zumindest zum Einsammeln von Loans mit extremen Abschlägen. Sad

Zum einen scheint es für WebHooks einen "echten" Webserver zu brauchen, der public reachability hat - also all diejenigen, die via NAT/PAT Homerouter arbeiten, oder DSL alle paar Stunden eine neue public IP bekommen, unbrauchbar... Dann muß man sich wohl den Aufwand antun, hier den Server aufzubauen - für jemand der sowas nicht beruflich macht, ein unkalkulierbares Sicherheitsrisiko (irgendwo in der Config ein Default nicht umgedreht, und man ist offen wie ein Scheúnentor...)

Und wie diese Webhooks nun genau funktionieren sollen, wenn mehr als 1 Treffer pro Stunde kommen, ist auch unklar - bzw ob man dann überhaupt mehrmals pro Stunde eine Kauforder einstellen kann als Reaktion auf einen getriggerten Webhook...

Webhooks wenn man selbst auf dem Secondary verkauft: Schön und gut. Nur wenn ich da einmal pro Stunde einen reinstellen kann, und der triggert dann, sobald der 1. Treffer in dieser Stunde passiert - aber beim 2., der beim manuellen Verkaufen typischerweise einige 10 sec später kommt, bleibt man mit API aussen vor?

Realarms · Anmeldedatum: 22.03.2017 Beiträge: 241

Es ist ja auch Cool, dass so eine massive Änderung mit weniger als 3 Wochen vorlaufzeit verlautbart wird, es de facto keinerlei Dokumentation dazu gibt, aber auch gleichzeitig keine public sandbox, die parallel mal im shadow modus mitläuft, das man existierende Scripte so gut als möglich auf das neue API anpassen kann...

Ziemlich unprofessionell - und ein klares Zeichen, das die etwas professionelleren Investoren mit API nutzung nicht mehr erwünscht sind.

Oktaeder · P2P Legende Anmeldedatum: 13.07.2010 Beiträge: 10188 Wohnort: Bei Karlsruhe

Sehe ich genauso.
Entweder g&g-Dummies oder gleich institutionelle.
_________________
Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 12%/ Investiere per API.
Stand 9/2023

Weitere Anlagen bei Swaper*,peerberry,afranga,lendermarket und estateguru

Zedandi · Anmeldedatum: 02.11.2016 Beiträge: 1486

Oktaeder · P2P Legende Anmeldedatum: 13.07.2010 Beiträge: 10188 Wohnort: Bei Karlsruhe

NUR gedrosselt? 1x pro Stunde? Alles klar...
_________________
Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 12%/ Investiere per API.
Stand 9/2023

Weitere Anlagen bei Swaper*,peerberry,afranga,lendermarket und estateguru

Zedandi · Anmeldedatum: 02.11.2016 Beiträge: 1486

Realarms · Anmeldedatum: 22.03.2017 Beiträge: 241

Also, ich finde es ja auch erst einmal voll cool, das Bondora* nicht vom api.bondora.com server aus seine webhooks macht, sondern von fwfnc02-root-pub.vtnx.net (anscheinend ist filoo deren aktueller hosting provider.

Und dort haben sie kein IPv6 ... Nun gut, der Hoster ist in Deutschland, da ist man immer etwas hinten nach.. Wink

Aber Spaß ohne - den webhook kann man nur via Browser auf api.bondora.com einstellen, und da läuft der anscheinend immer unauthentifiziert - noch nicht mal das OAuth token scheint da mitzukommen, mit dem man einen API Client bei Bondra authentifiziert. Juchee!!!

(Dies hat zwei Probleme: Wenn du deinen Server (zB DSL DHCP neue IP daheim, wer nicht zu Azure oder AWS gehen will um dort sein Geld zu lassen) umziehst, kann man die neue webhook return adresse *NICHT* via API neu einstellen! Und zweitens, wenn sie den Server, der die Webhooks postet übersiedeln, oder mittels Loadbalancer auf multiplen IP Hosts montiert haben, kannst du keine lokale Firewall regeln machen, die das dynamisch mitziehen. Bzw du mußt den bei dir irgendwo public reachable Server komplett aufmachen, dem Framework deines Servers komplett trauen, und dann noch das jeder POST auch tatsächlich von Bondora* kam, weil sie sich ja weder Authentifizieren noch authorisieren... HTTPS hab ich jetzt auf die Schnelle mal nicht überprüft.

Und gleich der nächste Unfug:

Anstatt das nun in einem einzelnen POST eine Table mit allen Änderungen (auf die man seinen WebHook registriert hat) kommt, basteln die da multple posts - einen pro LoanPart, der in den Sekundärmarkt gestellt wird.

What can possibly go wrong?

(Hinweis: Genau das gleiche wie mit den singulären Detail-Abfragen pro Loanpart, nur diesmal halt in POST von deren Server... Rolling Eyes

)

Mal gucken, ob wenigstens persistent sessions gemacht werden (würde mich nicht wundern, wenn da jeder einzelne POST mit einer eigenen HTTP(S) Session passiert...

So sieht das dann aus, wenn jemand offensichtlich manuell einzelne LoanParts mit 1% Aufschlag einstellt:

Realarms · Anmeldedatum: 22.03.2017 Beiträge: 241

Realarms · Anmeldedatum: 22.03.2017 Beiträge: 241

Jetzt noch in den Trace reingeguckt. Irgendwer hat auf dem Linux Server dort schon mal ECN aktiviert (lustig), aber wie vermutet, jeder POST läuft zwar mit HTTP 1.1, aber die session wird sofort geschlossen, anstatt für den nächsten Post in der gleichen MilliSekunde (!) weiter zu verwenden...

(Minimale zeit zwischen zwei TCP Handshakes hier im kurztest 0,92 Millisekunden - also praktisch gleichzeitig, anstatt das beide Einträge in einem gemeinsamen POST versendet werden - sehr viel ineffizienter geht wohl nicht mehr... Typischerweise kommen diese Posts - wenn ein Burst von gemeinsamen Secondary Sales passiert, mit ca. 2 millisekunden versatz...

Frame 616: 66 bytes on wire (528 bits), 66 bytes captured (528 bits)
Encapsulation type: Ethernet (1)
Arrival Time: May 2, 2019 23:27:59.443847000 W. Europe Daylight Time
[Time delta from previous displayed frame: 0.000920000 seconds]
Internet Protocol Version 4, Src: 5.28.40.126, Dst: x.x.x.x
Transmission Control Protocol, Src Port: 61222, Dst Port: x, Seq: 0, Len: 0

Mein primitiv-Server bietet ganz brav HTTP 1.1 session an, und Bondoras Server behauptet auch, eine Keep-Alive (persistent) Session machen zu wollen:

POST /webhook HTTP/1.1
Content-Type: application/json
Host: x.x.x.x : x
Content-Length: 1577
Expect: 100-continue
Connection: Keep-Alive

HTTP/1.1 100 Continue

{"Payload":
{"Id":"45556f5b-b3fd-4344-a613-aa420007a7df", "LoanPartId":"a73746fe-70fb-4767-b8cf-aa3400c8b169", "Amount":1.0000000000, "AuctionId":"bbe90c03-ccb1-43cc-85bc-caaeff11897b", "AuctionName":null, "AuctionNumber":1061388, "AuctionBidNumber":103602738, "Country":"FI", "CreditScore":null, "Rating":"F", "Interest":59.73, "UseOfLoan":-1, "IncomeVerificationStatus":4, "LoanStatusCode":2, "LoanStatusActiveFrom":"2019-04-19T12:13:05", "LatestDebtManagementStageType":null, "LatestDebtManagementDate":null, "UserName":"BO529A297", "Gender":1, "DateOfBirth":"1964-07-15T00:00:00", "SignedDate":"2019-04-19T12:10:38", "ReScheduledOn":null, "DebtOccuredOn":null, "DebtOccuredOnForSecondary":null, "NextPaymentNr":1, "NextPaymentDate":"2019-06-06T00:00:00", "NextPaymentSum":0.0808410000, "NrOfScheduledPayments":60, "LastPaymentDate":null, "PrincipalRepaid":0.0000000000, "InterestRepaid":0.0000000000, "LateAmountPaid":0.0000000000, "PrincipalRemaining":1.0000000000, "PrincipalLateAmount":0.0000000000, "InterestLateAmount":0.0000000000, "PenaltyLateAmount":0.0000000000, "LateAmountTotal":0.0000000000, "PrincipalWriteOffAmount":0.0000000000, "InterestWriteOffAmount":0.0000000000, "PenaltyWriteOffAmount":0.0000000000, "DebtServicingCostMainAmount":0.0000000000, "DebtServicingCostInterestAmount":0.0000000000, "DebtServicingCostPenaltyAmount":0.0000000000, "Price":1.0300000000, "Fee":0.0, "TotalCost":1.0300000000, "OutstandingPayments":3.1859455447, "DesiredDiscountRate":3.0000, "Xirr":77.75, "ListedOnDate":"2019-05-03T00:27:59"}, "EventId":"db8a5db9-efad-411e-b075-aa420007afe7", "EventType":"secondmarket.published"}
HTTP/1.0 200 OK
Content-Type: text/html; charset=utf-8
Content-Length: 0
Server: Werkzeug/0.11.11 Python/2.7.8
Date: Thu, 02 May 2019 21:27:59 GMT

Aber dann, gleich vom Bondora* Server:

Frame 646: 60 bytes on wire (480 bits), 60 bytes captured (480 bits)
Encapsulation type: Ethernet (1)
Arrival Time: May 2, 2019 23:27:59.501689000 W. Europe Daylight Time
[Time since reference or first frame: 0.057842000 seconds]
Frame Number: 646
Frame Length: 60 bytes (480 bits)
Capture Length: 60 bytes (480 bits)
Transmission Control Protocol, Src Port: 61222, Dst Port: x, Seq: 1731, Ack: 181, Len: 0
Sequence number: 1731 (relative sequence number)
Acknowledgment number: 181 (relative ack number)
0101 .... = Header Length: 20 bytes (5)
Flags: 0x011 (FIN, ACK)
Window size value: 1025

Mit anderen Worten, anstatt hier mittels persistent Sessions wirklich mit geringer Latenz und hohem Durchsatz - bei geringem CPU Last - zu arbeiten, wie in deren Marketing Email versprochen, wird hier extrem ineffizient gearbeitet: Alle 2 millisekunden eine neue Session, inder über ~60 ms jeweils nur ein einzeler Hinweis für einen LoanPart übertragen wird, mit einem Informationsgehalt, der ident mit dem jetzt im Polling übertragenen Infos ist.

Ein einzelner API User bindet so mal schnell 30 bis 40 HTTP Sessions für sich, wenn jemand eine größere Menge an Loans gleichzeitig einstellt (auf "Confirm" drückt beim manuellen verkaufen, oder mehrere Loans gleichzeitig per API auf den Markt wirft). Und das ganze multipliziert mit der Anzahl der API User, die sich den Aufwand mit WebHooks antun wollen - ich vermute mal, das ich da mit meinem test wohl immer noch einer von sehr wenigen Usern war...

So wie die das treiben, skaliert das einfach nicht.

Und wenn am 20.5. alles anderes ist, dann braucht man jetzt ja noch nix gegen diese schlechte Infrastruktur zu testen, oder...

Twisted Evil

Zedandi · Anmeldedatum: 02.11.2016 Beiträge: 1486

Zedandi · Anmeldedatum: 02.11.2016 Beiträge: 1486

Realarms · Anmeldedatum: 22.03.2017 Beiträge: 241

Self-signed Certificates scheint Bondora* auch nicht zu fressen, wenn man den webhook via https machen will...

Und meine IP hier hat leider keinen DNS Eintrag (den man mit letsencrypt nutzen könnte)...

Oh mann...