P2P-Kredite.com Foren-Übersicht
 FAQFAQ   SuchenSuchen   MitgliederlisteMitgliederliste   BenutzergruppenBenutzergruppen   RegistrierenRegistrieren 
 ProfilProfil   Einloggen, um private Nachrichten zu lesenEinloggen, um private Nachrichten zu lesen   LoginLogin 
P2P Kredite Anbieter Vergleich
Bondora zieht den API-Stecker  
Gehe zu Seite 1, 2, 3, 4, 5, 6, 7, 8  Weiter
 
Neues Thema eröffnen   Neue Antwort erstellen    P2P-Kredite.com Foren-Übersicht -> Bondora / Isepankur
Vorheriges Thema anzeigen :: Nächstes Thema anzeigen  
Autor Nachricht
Oktaeder



Anmeldedatum: 13.07.2010
Beiträge: 7041
Wohnort: Bei Karlsruhe

BeitragVerfasst am: 02.05.2019, 19:00    Titel: Bondora zieht den API-Stecker Antworten mit Zitat

Zitat:
Hi,

Beginning 20th May, we’re sunsetting our old and clunky API to make way for the new and improved version – API Slingshot.

Here’s everything you need to know.

Secondmarket/investments queries cooldown to 1 hour

We’re limiting queries to once per hour. Why?

Less disruptions
Faster services
Decreased load
...
LoanPart/{id} and Secondmarket/{id} are the main functionalities affected by the 1 hour cooldown

Wenn ich das richtig sehe, funktioniert dann kein einziges der bisherigen Tools mehr. Bedankt euch bei Bondora.
_________________
Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 18%/ Investiere per API.
Stand 1/2019

Weitere Anlagen bei Swaper, Estateguru, Ablrate, moneything, Flender, Crowdestate in absteigender Summe
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Zedandi



Anmeldedatum: 02.11.2016
Beiträge: 689

BeitragVerfasst am: 02.05.2019, 19:53    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Auch nach mehrmaligem Lesen der E-Mail bin ich mir nicht 100% sicher, ob die bisherige Zweitmarktabfrage-Methode komplett eingestampft wird oder ob sie nur deutlich gedrosselt wird (auf eine Abfrage pro Stunde) und zusätzlich um die Webhooks ergänzt wird (gab es die eigentlich bisher auch schon? Auf der API-Seite kann man anscheinend schon welche anlegen).

Falls Polling immer noch irgendwie möglich sein sollte, wären meine Programme immer noch lauffähig, wenn auch sehr viel langsamer aber für meine Strategie immer noch akzeptabel (ich habe mich nie am "Wettrennen" um Grüne mit Abschlag beteiligt, mein Bot läuft mit möglichst geringen Stromverbrauch und daher sehr langsam).

Allgemein fand ich Bondoras Lösung gerade bei LoanPart/{id} mit Einzelabfrage schon sehr fragwürdig. Genauso das Polling des Zweitmarktes. Kein Wunder dass bei so viel Ineffizienz irgendwann deren Server in die Knie gingen, was ja mit andauernden Aussetzern der API einherging... Daher wundert mich dieser Schritt nicht, eine ähnliche Lösung nutzt Fellow Finance schon bereits. Irgendwie graut es mir zwar davor meinen inzwischen rund laufenden Bot wieder anfassen zu müssen aber insgesamt begrüße ich die Änderung, wenigstens gehen sie damit ein echtes Problem an und nicht nur irgendwelche Kosmetik.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Oktaeder



Anmeldedatum: 13.07.2010
Beiträge: 7041
Wohnort: Bei Karlsruhe

BeitragVerfasst am: 02.05.2019, 20:06    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Nichst gegen eine Drosselung aber einmal pro Stunde? Mit den webhooks kannst du keine Suchanfragen stellen wenn ich das richtig sehe.
Die parts brauche ich auch nicht. Aber zB Investments für Auswertungen etc. und da brauche ich leider immer mehrere Abfragen. Wenig durchdacht und auch schlecht beschrieben.
_________________
Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 18%/ Investiere per API.
Stand 1/2019

Weitere Anlagen bei Swaper, Estateguru, Ablrate, moneything, Flender, Crowdestate in absteigender Summe
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Realarms



Anmeldedatum: 22.03.2017
Beiträge: 223

BeitragVerfasst am: 02.05.2019, 21:45    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Sehe ich auch so, das mit dieser Änderung de facto API tot ist...

Zumindest zum Einsammeln von Loans mit extremen Abschlägen. Sad


Zum einen scheint es für WebHooks einen "echten" Webserver zu brauchen, der public reachability hat - also all diejenigen, die via NAT/PAT Homerouter arbeiten, oder DSL alle paar Stunden eine neue public IP bekommen, unbrauchbar... Dann muß man sich wohl den Aufwand antun, hier den Server aufzubauen - für jemand der sowas nicht beruflich macht, ein unkalkulierbares Sicherheitsrisiko (irgendwo in der Config ein Default nicht umgedreht, und man ist offen wie ein Scheúnentor...)

Und wie diese Webhooks nun genau funktionieren sollen, wenn mehr als 1 Treffer pro Stunde kommen, ist auch unklar - bzw ob man dann überhaupt mehrmals pro Stunde eine Kauforder einstellen kann als Reaktion auf einen getriggerten Webhook...


Webhooks wenn man selbst auf dem Secondary verkauft: Schön und gut. Nur wenn ich da einmal pro Stunde einen reinstellen kann, und der triggert dann, sobald der 1. Treffer in dieser Stunde passiert - aber beim 2., der beim manuellen Verkaufen typischerweise einige 10 sec später kommt, bleibt man mit API aussen vor?

Code:
LoanPart/{id} and Secondmarket/{id} are the main functionalities affected by the 1 hour cooldown

We are adding LoanPart and Secondmarket bulk versions of these same endpoints – you define the ID-s you want detailed data on. Max limit 1000 items.



Prinzipiell eine vernünftige Erweiterung, endlich mal mehr als 1 loanpart pro Request abfragen zu können.

Nachdem ich knapp 24000 loans halte (im Hauptaccount, plus ein paar tausend rote im virtual account),

Meine tägliche Auswertung (Verkaufsplatzierung) läuft momentan rund 4 bis 6 h (abhängig davon, wie rasch Bondora Server ab 1 Uhr früh antworten) - wäre überrascht, wenn das damit rascher ginge - mein skript validiert da täglich in der Größenordnung von 4000 loans, ob da der Preis auf dem Sekundärmarkt angepasst werden muß.

Um ein klassisches Zitat zu bringen: Es war sehr schön, es hat mich sehr gefreut.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Realarms



Anmeldedatum: 22.03.2017
Beiträge: 223

BeitragVerfasst am: 02.05.2019, 22:04    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Es ist ja auch Cool, dass so eine massive Änderung mit weniger als 3 Wochen vorlaufzeit verlautbart wird, es de facto keinerlei Dokumentation dazu gibt, aber auch gleichzeitig keine public sandbox, die parallel mal im shadow modus mitläuft, das man existierende Scripte so gut als möglich auf das neue API anpassen kann...

Ziemlich unprofessionell - und ein klares Zeichen, das die etwas professionelleren Investoren mit API nutzung nicht mehr erwünscht sind.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Oktaeder



Anmeldedatum: 13.07.2010
Beiträge: 7041
Wohnort: Bei Karlsruhe

BeitragVerfasst am: 02.05.2019, 22:23    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Sehe ich genauso.
Entweder g&g-Dummies oder gleich institutionelle.
_________________
Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 18%/ Investiere per API.
Stand 1/2019

Weitere Anlagen bei Swaper, Estateguru, Ablrate, moneything, Flender, Crowdestate in absteigender Summe
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Zedandi



Anmeldedatum: 02.11.2016
Beiträge: 689

BeitragVerfasst am: 02.05.2019, 22:35    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Oktaeder hat Folgendes geschrieben:
Nichst gegen eine Drosselung aber einmal pro Stunde? Mit den webhooks kannst du keine Suchanfragen stellen wenn ich das richtig sehe.
Die parts brauche ich auch nicht. Aber zB Investments für Auswertungen etc. und da brauche ich leider immer mehrere Abfragen. Wenig durchdacht und auch schlecht beschrieben.


Da bin ich mir eben nicht ganz sicher, man könnte die E-Mail auch so verstehen, dass die alten Suchanfragen nur gedrosselt aber auch weiterhin verfügbar sein werden. Andernfalls weiß ich nicht wie sich ein neu aufgeschalteter Server einen Überblick über die schon bestehenden Angebote am Markt verschaffen können soll, dafür sehe ich jedenfalls keine elegante Lösung nur mit Webhooks (kenne mich mit dem Thema aber auch nicht wirklich aus).
Ich arbeite sehr viel mit den Loanparts und kann Bondoras Gedankengang daher gut nachvollziehen.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Oktaeder



Anmeldedatum: 13.07.2010
Beiträge: 7041
Wohnort: Bei Karlsruhe

BeitragVerfasst am: 02.05.2019, 22:37    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

NUR gedrosselt? 1x pro Stunde? Alles klar...
_________________
Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 18%/ Investiere per API.
Stand 1/2019

Weitere Anlagen bei Swaper, Estateguru, Ablrate, moneything, Flender, Crowdestate in absteigender Summe
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Zedandi



Anmeldedatum: 02.11.2016
Beiträge: 689

BeitragVerfasst am: 02.05.2019, 23:07    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Realarms hat Folgendes geschrieben:
Zum einen scheint es für WebHooks einen "echten" Webserver zu brauchen, der public reachability hat - also all diejenigen, die via NAT/PAT Homerouter arbeiten, oder DSL alle paar Stunden eine neue public IP bekommen, unbrauchbar... Dann muß man sich wohl den Aufwand antun, hier den Server aufzubauen - für jemand der sowas nicht beruflich macht, ein unkalkulierbares Sicherheitsrisiko (irgendwo in der Config ein Default nicht umgedreht, und man ist offen wie ein Scheúnentor...)


Sehe ich auch so. Mir macht mein Bot IT-sicherheitstechnisch auch so schon sehr große Bedenken, schließlich müsste auf Seiten von Bondora da nur irgendwo ein Bug sein und jemand kann die API-Token abfangen. Damit könnte dann in Minutenschnelle ganze Konten leeren (vermutlich ist Bondora da mit der Haftung fein raus): Kredite mit 99%-Abschlag auf ein anderes Konto übertragen, man kann ja gezielt an einen anderen Benutzer verkaufen und anschließend mit großem Abschlag auf dem Zweitmarkt verhökern. Grüne Kredite könnte man so sofort zu 100% losbekommen und sich noch am selben Tag das Geld auszahlen lassen, falls bei Bondora da keine Warnlichter angehen.

Zitat:
Webhooks wenn man selbst auf dem Secondary verkauft: Schön und gut. Nur wenn ich da einmal pro Stunde einen reinstellen kann, und der triggert dann, sobald der 1. Treffer in dieser Stunde passiert - aber beim 2., der beim manuellen Verkaufen typischerweise einige 10 sec später kommt, bleibt man mit API aussen vor?


Mit der geänderten API sollte man dann ja auch massenhaft (bis 1000) Loanparts gleichzeitig auf den Markt schmeißen können. Was in deinem Fall bei 24k Teilen immer noch sehr lange dauern würde...

Zitat:
Meine tägliche Auswertung (Verkaufsplatzierung) läuft momentan rund 4 bis 6 h (abhängig davon, wie rasch Bondora Server ab 1 Uhr früh antworten) - wäre überrascht, wenn das damit rascher ginge - mein skript validiert da täglich in der Größenordnung von 4000 loans, ob da der Preis auf dem Sekundärmarkt angepasst werden muß.


Ach du bist das also, hab mich schon gewundert warum mein Bot früh morgens öfter mal so viel Umsatz macht Very Happy

Und ja, so eine gravierende Änderung einfach mal nur drei Wochen vorher anzukündigen ist echt schlechter Stil aber hab von Bondora auch nichts anderes erwartet...
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Realarms



Anmeldedatum: 22.03.2017
Beiträge: 223

BeitragVerfasst am: 02.05.2019, 23:14    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Also, ich finde es ja auch erst einmal voll cool, das Bondora nicht vom api.bondora.com server aus seine webhooks macht, sondern von fwfnc02-root-pub.vtnx.net (anscheinend ist filoo deren aktueller hosting provider.

Und dort haben sie kein IPv6 ... Nun gut, der Hoster ist in Deutschland, da ist man immer etwas hinten nach.. Wink

Aber Spaß ohne - den webhook kann man nur via Browser auf api.bondora.com einstellen, und da läuft der anscheinend immer unauthentifiziert - noch nicht mal das OAuth token scheint da mitzukommen, mit dem man einen API Client bei Bondra authentifiziert. Juchee!!!

(Dies hat zwei Probleme: Wenn du deinen Server (zB DSL DHCP neue IP daheim, wer nicht zu Azure oder AWS gehen will um dort sein Geld zu lassen) umziehst, kann man die neue webhook return adresse *NICHT* via API neu einstellen! Und zweitens, wenn sie den Server, der die Webhooks postet übersiedeln, oder mittels Loadbalancer auf multiplen IP Hosts montiert haben, kannst du keine lokale Firewall regeln machen, die das dynamisch mitziehen. Bzw du mußt den bei dir irgendwo public reachable Server komplett aufmachen, dem Framework deines Servers komplett trauen, und dann noch das jeder POST auch tatsächlich von Bondora kam, weil sie sich ja weder Authentifizieren noch authorisieren... HTTPS hab ich jetzt auf die Schnelle mal nicht überprüft.

Und gleich der nächste Unfug:

Anstatt das nun in einem einzelnen POST eine Table mit allen Änderungen (auf die man seinen WebHook registriert hat) kommt, basteln die da multple posts - einen pro LoanPart, der in den Sekundärmarkt gestellt wird.

What can possibly go wrong?

(Hinweis: Genau das gleiche wie mit den singulären Detail-Abfragen pro Loanpart, nur diesmal halt in POST von deren Server... Rolling Eyes )

Mal gucken, ob wenigstens persistent sessions gemacht werden (würde mich nicht wundern, wenn da jeder einzelne POST mit einer eigenen HTTP(S) Session passiert...

So sieht das dann aus, wenn jemand offensichtlich manuell einzelne LoanParts mit 1% Aufschlag einstellt:
Code:

{u'EventId': u'78b67487-3494-4551-9ae5-aa42000125b5', u'EventType': u'secondmarket.published', u'Payload': {u'UserName': u'BO15929A6', u'LateAmountTotal': 0.0, u'AuctionBidNumber': 100624401, u'Xirr': 13.14, u'PrincipalRepaid': 0.0, u'NrOfScheduledPayments': 60, u'DateOfBirth': u'1986-03-20T00:00:00', u'Fee': 0.0, u'PrincipalRemaining': 5.0, u'PrincipalLateAmount': 0.0, u'Interest': 12.35, u'ListedOnDate': u'2019-05-03T00:04:10', u'NextPaymentDate': u'2019-05-06T00:00:00', u'LoanStatusActiveFrom': u'2019-03-29T14:25:27', u'PenaltyWriteOffAmount': 0.0, u'Price': 5.05, u'CreditScore': 1000.0, u'PrincipalWriteOffAmount': 0.0, u'SignedDate': u'2019-03-29T14:06:12', u'UseOfLoan': -1, u'InterestRepaid': 0.0, u'Gender': 0, u'LateAmountPaid': 0.0, u'IncomeVerificationStatus': 1, u'DebtServicingCostPenaltyAmount': 0.0, u'OutstandingPayments': 6.7368117972, u'TotalCost': 5.05, u'AuctionId': u'084b0be0-f20f-4f14-b63d-d06ad6a5870a', u'ReScheduledOn': None, u'AuctionNumber': 1044632, u'NextPaymentSum': 0.122408, u'Country': u'EE', u'DebtServicingCostInterestAmount': 0.0, u'DesiredDiscountRate': 1.0, u'Amount': 5.0, u'LoanStatusCode': 2, u'LoanPartId': u'a5231657-e7b7-4b3b-9a7d-aa1f00e87c06', u'InterestLateAmount': 0.0, u'NextPaymentNr': 1, u'Rating': u'A', u'InterestWriteOffAmount': 0.0, u'LastPaymentDate': None, u'LatestDebtManagementStageType': None, u'LatestDebtManagementDate': None, u'AuctionName': None, u'DebtServicingCostMainAmount': 0.0, u'DebtOccuredOn': None, u'DebtOccuredOnForSecondary': None, u'Id': u'c72ee6b8-d16a-4b74-b5f0-aa4200012581', u'PenaltyLateAmount': 0.0}}
5.28.40.126 - - [02/May/2019 23:04:10] "POST /webhook HTTP/1.1" 200 -
{u'EventId': u'ea3f7412-f770-4959-8d42-aa42000138c8', u'EventType': u'secondmarket.published', u'Payload': {u'UserName': u'BO15929A6', u'LateAmountTotal': 0.0, u'AuctionBidNumber': 100624400, u'Xirr': 13.14, u'PrincipalRepaid': 0.0, u'NrOfScheduledPayments': 60, u'DateOfBirth': u'1986-03-20T00:00:00', u'Fee': 0.0, u'PrincipalRemaining': 5.0, u'PrincipalLateAmount': 0.0, u'Interest': 12.35, u'ListedOnDate': u'2019-05-03T00:04:26', u'NextPaymentDate': u'2019-05-06T00:00:00', u'LoanStatusActiveFrom': u'2019-03-29T14:25:27', u'PenaltyWriteOffAmount': 0.0, u'Price': 5.05, u'CreditScore': 1000.0, u'PrincipalWriteOffAmount': 0.0, u'SignedDate': u'2019-03-29T14:06:12', u'UseOfLoan': -1, u'InterestRepaid': 0.0, u'Gender': 0, u'LateAmountPaid': 0.0, u'IncomeVerificationStatus': 1, u'DebtServicingCostPenaltyAmount': 0.0, u'OutstandingPayments': 6.7368117972, u'TotalCost': 5.05, u'AuctionId': u'084b0be0-f20f-4f14-b63d-d06ad6a5870a', u'ReScheduledOn': None, u'AuctionNumber': 1044632, u'NextPaymentSum': 0.122408, u'Country': u'EE', u'DebtServicingCostInterestAmount': 0.0, u'DesiredDiscountRate': 1.0, u'Amount': 5.0, u'LoanStatusCode': 2, u'LoanPartId': u'9849fe0d-6435-4996-9be4-aa1f00e87c06', u'InterestLateAmount': 0.0, u'NextPaymentNr': 1, u'Rating': u'A', u'InterestWriteOffAmount': 0.0, u'LastPaymentDate': None, u'LatestDebtManagementStageType': None, u'LatestDebtManagementDate': None, u'AuctionName': None, u'DebtServicingCostMainAmount': 0.0, u'DebtOccuredOn': None, u'DebtOccuredOnForSecondary': None, u'Id': u'9c6fda2e-5e30-4b21-9eae-aa4200013888', u'PenaltyLateAmount': 0.0}}
5.28.40.126 - - [02/May/2019 23:04:27] "POST /webhook HTTP/1.1" 200 -
{u'EventId': u'88d82a42-bbcb-4171-bc39-aa420001494d', u'EventType': u'secondmarket.published', u'Payload': {u'UserName': u'BO15929A6', u'LateAmountTotal': 0.0, u'AuctionBidNumber': 100624396, u'Xirr': 13.14, u'PrincipalRepaid': 0.0, u'NrOfScheduledPayments': 60, u'DateOfBirth': u'1986-03-20T00:00:00', u'Fee': 0.0, u'PrincipalRemaining': 5.0, u'PrincipalLateAmount': 0.0, u'Interest': 12.35, u'ListedOnDate': u'2019-05-03T00:04:40', u'NextPaymentDate': u'2019-05-06T00:00:00', u'LoanStatusActiveFrom': u'2019-03-29T14:25:28', u'PenaltyWriteOffAmount': 0.0, u'Price': 5.05, u'CreditScore': 1000.0, u'PrincipalWriteOffAmount': 0.0, u'SignedDate': u'2019-03-29T14:06:12', u'UseOfLoan': -1, u'InterestRepaid': 0.0, u'Gender': 0, u'LateAmountPaid': 0.0, u'IncomeVerificationStatus': 1, u'DebtServicingCostPenaltyAmount': 0.0, u'OutstandingPayments': 6.7368117972, u'TotalCost': 5.05, u'AuctionId': u'084b0be0-f20f-4f14-b63d-d06ad6a5870a', u'ReScheduledOn': None, u'AuctionNumber': 1044632, u'NextPaymentSum': 0.122408, u'Country': u'EE', u'DebtServicingCostInterestAmount': 0.0, u'DesiredDiscountRate': 1.0, u'Amount': 5.0, u'LoanStatusCode': 2, u'LoanPartId': u'a6280a4f-3e49-40e4-a018-aa1f00e87c0b', u'InterestLateAmount': 0.0, u'NextPaymentNr': 1, u'Rating': u'A', u'InterestWriteOffAmount': 0.0, u'LastPaymentDate': None, u'LatestDebtManagementStageType': None, u'LatestDebtManagementDate': None, u'AuctionName': None, u'DebtServicingCostMainAmount': 0.0, u'DebtOccuredOn': None, u'DebtOccuredOnForSecondary': None, u'Id': u'cf4e9bef-deb9-494c-91bd-aa4200014907', u'PenaltyLateAmount': 0.0}}
5.28.40.126 - - [02/May/2019 23:04:41] "POST /webhook HTTP/1.1" 200 -
{u'EventId': u'a898e572-6372-417f-9e72-aa4200015e0d', u'EventType': u'secondmarket.published', u'Payload': {u'UserName': u'BO15929A6', u'LateAmountTotal': 0.0, u'AuctionBidNumber': 100624394, u'Xirr': 13.14, u'PrincipalRepaid': 0.0, u'NrOfScheduledPayments': 60, u'DateOfBirth': u'1986-03-20T00:00:00', u'Fee': 0.0, u'PrincipalRemaining': 5.0, u'PrincipalLateAmount': 0.0, u'Interest': 12.35, u'ListedOnDate': u'2019-05-03T00:04:58', u'NextPaymentDate': u'2019-05-06T00:00:00', u'LoanStatusActiveFrom': u'2019-03-29T14:25:27', u'PenaltyWriteOffAmount': 0.0, u'Price': 5.05, u'CreditScore': 1000.0, u'PrincipalWriteOffAmount': 0.0, u'SignedDate': u'2019-03-29T14:06:11', u'UseOfLoan': -1, u'InterestRepaid': 0.0, u'Gender': 0, u'LateAmountPaid': 0.0, u'IncomeVerificationStatus': 1, u'DebtServicingCostPenaltyAmount': 0.0, u'OutstandingPayments': 6.7368117972, u'TotalCost': 5.05, u'AuctionId': u'084b0be0-f20f-4f14-b63d-d06ad6a5870a', u'ReScheduledOn': None, u'AuctionNumber': 1044632, u'NextPaymentSum': 0.122408, u'Country': u'EE', u'DebtServicingCostInterestAmount': 0.0, u'DesiredDiscountRate': 1.0, u'Amount': 5.0, u'LoanStatusCode': 2, u'LoanPartId': u'd55a92ba-9a56-404f-82ca-aa1f00e87c06', u'InterestLateAmount': 0.0, u'NextPaymentNr': 1, u'Rating': u'A', u'InterestWriteOffAmount': 0.0, u'LastPaymentDate': None, u'LatestDebtManagementStageType': None, u'LatestDebtManagementDate': None, u'AuctionName': None, u'DebtServicingCostMainAmount': 0.0, u'DebtOccuredOn': None, u'DebtOccuredOnForSecondary': None, u'Id': u'cc701b11-4fe1-4a4a-b1d1-aa4200015da1', u'PenaltyLateAmount': 0.0}}
5.28.40.126 - - [02/May/2019 23:04:58] "POST /webhook HTTP/1.1" 200 -


Und ja, lt. trace keine persistend http session, sondern jedes mal TCP 3WHS, TLS 3/5WHS, und dann der einzeleintrag... würde mich nicht wundern, wenn das immer so ist... seufz.

Von dem detailgrad, scheint das auch verbesserungswürdig, oder?

Keine "ScheduledPayments", "LoanTransfers", "DebtManagementEvents" (wobei das hier offensichtlich wiedereingestellte vom Primärmarkt mit 1% Aufschlag sind, vielleicht unterdrücken sie nur leere Tabellen. Wahrscheinlicher ist aber, das dies nur die generischen Daten sind, wie beim normalen Secundary Market Poll https://api.bondora.com/doc/Api/GET-api-v1-secondarymarket?v=1 und nicht die LoanPartDetails https://api.bondora.com/doc/Api/GET-api-v1-loanpart-id?v=1 die da nun mit 1x pro Stunde (???) erlaubt sein werden...

So ein Murks.[/url]
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Realarms



Anmeldedatum: 22.03.2017
Beiträge: 223

BeitragVerfasst am: 02.05.2019, 23:21    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Zedandi hat Folgendes geschrieben:


Ach du bist das also, hab mich schon gewundert warum mein Bot früh morgens öfter mal so viel Umsatz macht Very Happy


Lieber den Spatz in der Hand als die Taube auf dem Dach Smile

Ich stosse meine frisch auf dem Primärmarkt gekauften Anteile mit geringem Aufpreis rasch wieder ab (bis auf einen Anteil), um die Diversifikation möglichst hoch zu halten in meinem Portfolio. Leben, und leben lassen Smile

Zumindest die erste Rate ist aber immer im Aufschlag drinnen - ausser ich hab unerwartet viele Anteile zugeschlagen bekommen, dann auch schon mal mit 0% schnell verkauft Smile

Zitat:

Und ja, so eine gravierende Änderung einfach mal nur drei Wochen vorher anzukündigen ist echt schlechter Stil aber hab von Bondora auch nichts anderes erwartet...


Leider ja.

o) Kurzfristig
o) schlecht durchdacht
o) keinerlei Sandbox für public use
o) schlecht dokumentiert

Sad

Ich wette, dass sie Hosting-Übersiedlungen (wenn die Webhooks von unterschiedlichen Servern kommen) auch gar nicht kommuniziert werden, und Auth/Token für die WebHooks auch nicht kommen...
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Realarms



Anmeldedatum: 22.03.2017
Beiträge: 223

BeitragVerfasst am: 03.05.2019, 00:13    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Jetzt noch in den Trace reingeguckt. Irgendwer hat auf dem Linux Server dort schon mal ECN aktiviert (lustig), aber wie vermutet, jeder POST läuft zwar mit HTTP 1.1, aber die session wird sofort geschlossen, anstatt für den nächsten Post in der gleichen MilliSekunde (!) weiter zu verwenden...

(Minimale zeit zwischen zwei TCP Handshakes hier im kurztest 0,92 Millisekunden - also praktisch gleichzeitig, anstatt das beide Einträge in einem gemeinsamen POST versendet werden - sehr viel ineffizienter geht wohl nicht mehr... Typischerweise kommen diese Posts - wenn ein Burst von gemeinsamen Secondary Sales passiert, mit ca. 2 millisekunden versatz...


Frame 616: 66 bytes on wire (528 bits), 66 bytes captured (528 bits)
Encapsulation type: Ethernet (1)
Arrival Time: May 2, 2019 23:27:59.443847000 W. Europe Daylight Time
[Time delta from previous displayed frame: 0.000920000 seconds]
Internet Protocol Version 4, Src: 5.28.40.126, Dst: x.x.x.x
Transmission Control Protocol, Src Port: 61222, Dst Port: x, Seq: 0, Len: 0


Mein primitiv-Server bietet ganz brav HTTP 1.1 session an, und Bondoras Server behauptet auch, eine Keep-Alive (persistent) Session machen zu wollen:

POST /webhook HTTP/1.1
Content-Type: application/json
Host: x.x.x.x : x
Content-Length: 1577
Expect: 100-continue
Connection: Keep-Alive

HTTP/1.1 100 Continue

{"Payload":
{"Id":"45556f5b-b3fd-4344-a613-aa420007a7df", "LoanPartId":"a73746fe-70fb-4767-b8cf-aa3400c8b169", "Amount":1.0000000000, "AuctionId":"bbe90c03-ccb1-43cc-85bc-caaeff11897b", "AuctionName":null, "AuctionNumber":1061388, "AuctionBidNumber":103602738, "Country":"FI", "CreditScore":null, "Rating":"F", "Interest":59.73, "UseOfLoan":-1, "IncomeVerificationStatus":4, "LoanStatusCode":2, "LoanStatusActiveFrom":"2019-04-19T12:13:05", "LatestDebtManagementStageType":null, "LatestDebtManagementDate":null, "UserName":"BO529A297", "Gender":1, "DateOfBirth":"1964-07-15T00:00:00", "SignedDate":"2019-04-19T12:10:38", "ReScheduledOn":null, "DebtOccuredOn":null, "DebtOccuredOnForSecondary":null, "NextPaymentNr":1, "NextPaymentDate":"2019-06-06T00:00:00", "NextPaymentSum":0.0808410000, "NrOfScheduledPayments":60, "LastPaymentDate":null, "PrincipalRepaid":0.0000000000, "InterestRepaid":0.0000000000, "LateAmountPaid":0.0000000000, "PrincipalRemaining":1.0000000000, "PrincipalLateAmount":0.0000000000, "InterestLateAmount":0.0000000000, "PenaltyLateAmount":0.0000000000, "LateAmountTotal":0.0000000000, "PrincipalWriteOffAmount":0.0000000000, "InterestWriteOffAmount":0.0000000000, "PenaltyWriteOffAmount":0.0000000000, "DebtServicingCostMainAmount":0.0000000000, "DebtServicingCostInterestAmount":0.0000000000, "DebtServicingCostPenaltyAmount":0.0000000000, "Price":1.0300000000, "Fee":0.0, "TotalCost":1.0300000000, "OutstandingPayments":3.1859455447, "DesiredDiscountRate":3.0000, "Xirr":77.75, "ListedOnDate":"2019-05-03T00:27:59"}, "EventId":"db8a5db9-efad-411e-b075-aa420007afe7", "EventType":"secondmarket.published"}

HTTP/1.0 200 OK
Content-Type: text/html; charset=utf-8
Content-Length: 0
Server: Werkzeug/0.11.11 Python/2.7.8
Date: Thu, 02 May 2019 21:27:59 GMT

Aber dann, gleich vom Bondora Server:

Frame 646: 60 bytes on wire (480 bits), 60 bytes captured (480 bits)
Encapsulation type: Ethernet (1)
Arrival Time: May 2, 2019 23:27:59.501689000 W. Europe Daylight Time
[Time since reference or first frame: 0.057842000 seconds]
Frame Number: 646
Frame Length: 60 bytes (480 bits)
Capture Length: 60 bytes (480 bits)
Transmission Control Protocol, Src Port: 61222, Dst Port: x, Seq: 1731, Ack: 181, Len: 0
Sequence number: 1731 (relative sequence number)
Acknowledgment number: 181 (relative ack number)
0101 .... = Header Length: 20 bytes (5)
Flags: 0x011 (FIN, ACK)
Window size value: 1025


Mit anderen Worten, anstatt hier mittels persistent Sessions wirklich mit geringer Latenz und hohem Durchsatz - bei geringem CPU Last - zu arbeiten, wie in deren Marketing Email versprochen, wird hier extrem ineffizient gearbeitet: Alle 2 millisekunden eine neue Session, inder über ~60 ms jeweils nur ein einzeler Hinweis für einen LoanPart übertragen wird, mit einem Informationsgehalt, der ident mit dem jetzt im Polling übertragenen Infos ist.

Ein einzelner API User bindet so mal schnell 30 bis 40 HTTP Sessions für sich, wenn jemand eine größere Menge an Loans gleichzeitig einstellt (auf "Confirm" drückt beim manuellen verkaufen, oder mehrere Loans gleichzeitig per API auf den Markt wirft). Und das ganze multipliziert mit der Anzahl der API User, die sich den Aufwand mit WebHooks antun wollen - ich vermute mal, das ich da mit meinem test wohl immer noch einer von sehr wenigen Usern war...

So wie die das treiben, skaliert das einfach nicht.

Und wenn am 20.5. alles anderes ist, dann braucht man jetzt ja noch nix gegen diese schlechte Infrastruktur zu testen, oder...

Twisted Evil
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Zedandi



Anmeldedatum: 02.11.2016
Beiträge: 689

BeitragVerfasst am: 03.05.2019, 00:49    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Realarms hat Folgendes geschrieben:
Anstatt das nun in einem einzelnen POST eine Table mit allen Änderungen (auf die man seinen WebHook registriert hat) kommt, basteln die da multple posts - einen pro LoanPart, der in den Sekundärmarkt gestellt wird.


Diese Affen, da denkt man sie hätten das Problem erkannt aber dann kommt sowas... Naja, immer noch leicht besser als der Status Quo.


Zitat:
Von dem detailgrad, scheint das auch verbesserungswürdig, oder?

Keine "ScheduledPayments", "LoanTransfers", "DebtManagementEvents" (wobei das hier offensichtlich wiedereingestellte vom Primärmarkt mit 1% Aufschlag sind, vielleicht unterdrücken sie nur leere Tabellen. Wahrscheinlicher ist aber, das dies nur die generischen Daten sind, wie beim normalen Secundary Market Poll https://api.bondora.com/doc/Api/GET-api-v1-secondarymarket?v=1 und nicht die LoanPartDetails https://api.bondora.com/doc/Api/GET-api-v1-loanpart-id?v=1 die da nun mit 1x pro Stunde (???) erlaubt sein werden...


Vermute ich auch, wahrscheinlich wäre die alte API nie so aus dem Ruder gelaufen wenn sie einfach die DebtManagementEvents dazugepackt hätten....
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Zedandi



Anmeldedatum: 02.11.2016
Beiträge: 689

BeitragVerfasst am: 03.05.2019, 00:54    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Realarms hat Folgendes geschrieben:
Mit anderen Worten, anstatt hier mittels persistent Sessions wirklich mit geringer Latenz und hohem Durchsatz - bei geringem CPU Last - zu arbeiten, wie in deren Marketing Email versprochen, wird hier extrem ineffizient gearbeitet: Alle 2 millisekunden eine neue Session, inder über ~60 ms jeweils nur ein einzeler Hinweis für einen LoanPart übertragen wird, mit einem Informationsgehalt, der ident mit dem jetzt im Polling übertragenen Infos ist.

Ein einzelner API User bindet so mal schnell 30 bis 40 HTTP Sessions für sich, wenn jemand eine größere Menge an Loans gleichzeitig einstellt (auf "Confirm" drückt beim manuellen verkaufen, oder mehrere Loans gleichzeitig per API auf den Markt wirft). Und das ganze multipliziert mit der Anzahl der API User, die sich den Aufwand mit WebHooks antun wollen - ich vermute mal, das ich da mit meinem test wohl immer noch einer von sehr wenigen Usern war...


Das sieht schon richtig übel aus, hoffentlich ist das nur die Beta Rolling Eyes
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Realarms



Anmeldedatum: 22.03.2017
Beiträge: 223

BeitragVerfasst am: 03.05.2019, 11:32    Titel: Re: Bondora zieht den API-Stecker (Bondora) Antworten mit Zitat

Self-signed Certificates scheint Bondora auch nicht zu fressen, wenn man den webhook via https machen will...

Und meine IP hier hat leider keinen DNS Eintrag (den man mit letsencrypt nutzen könnte)...

Oh mann...
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Beiträge der letzten Zeit anzeigen:   
Neues Thema eröffnen   Neue Antwort erstellen    P2P-Kredite.com Foren-Übersicht -> Bondora / Isepankur Alle Zeiten sind GMT + 1 Stunde
Gehe zu Seite 1, 2, 3, 4, 5, 6, 7, 8  Weiter
Seite 1 von 8

 
Gehe zu:  
Du kannst keine Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum nicht antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.

phpBB SEO URLs V2

Mintos Erfahrungen
Powered by phpBB © 2001, 2005 phpBB Group
Deutsche Übersetzung von phpBB.de

Anti Bot Question MOD - phpBB MOD gegen Spambots
Vereitelte Spamregistrierungen: 43099


Impressum & Datenschutz