Fineract は、金融機関向けのオープンソースのコアバンキングソリューションとして知られています。近年、クラウドベースの実裝が主流となり、高トラフィック環境での安定性と拡張性が求められる中、Fineract はバッチ処理とイベントフレームワークを進化させています。この記事では、Fineract における高トラフィック環境での実裝戦略、バッチ処理とイベントフレームワークの設計、および Apache Foundation に関連する技術の統合について詳細に説明します。
Fineract は、大規模なデータセットを効率的に処理するために、partitionable batch jobs を採用しています。例えば、200萬件の口座データを100個のチャンクに分割し、Kubernetes 上の専用コンテナで並列処理を行います。これにより、処理速度が大幅に向上し、高トラフィック環境でも安定したパフォーマンスを実現します。
各チャンクの処理は、単一のトランザクション境界內で行われ、JPA（EclipseLink）を用いてバッチ操作を実行し、データベースIOを最小限に抑えます。また、Soft Locking と Hard Locking の2種類のロックメカニズムを導入し、結日処理中のデータ変更を制御します。Soft Locking では変更を許可し、Hard Locking では変更を拒否して一貫性を保ちます。
処理負荷に応じて、worker ノードの數を動的に調整します。例えば、月末の決算時には10ノードに増やすなど、リソースの最適化を実現します。
すべてのビジネスイベントは、トランザクション內で生成され、JPA トランザクションと同期してコミットまたはロールバックされます。これにより、二段階コミットの複雑さを迴避し、システムの結合性を低減します。イベントデータは、コアバンキングシステムと共有トランザクションで保存され、ACID特性を保証します。
Kafka や ActiveMQ などのメッセージキューを用いてイベントを非同期で伝送し、失敗時の再試行をサポートします。また、イベントのタイムスタンプを記録し、同一口座の操作順序を保証します。At Least Once の保証により、メッセージシステムの異常時でもイベントが最終的に屆くようにします。
UI や API を通じてイベントタイプをカスタマイズ可能で、現在は100種類以上のイベントをサポートしています。二進法形式（例：Apache Avro）を用いてデータ転送の負荷を軽減し、高頻度イベント（數百萬件の取引）にも対応します。
Kafka を主なメッセージキューとして統合し、ログ、支払いなどのシステムと連攜することで、拡張性を向上させます。また、メッセージのクリーンアップと再試行メカニズムを設計し、システム異常時のイベントの最終配信を確保します。
動的なバッチ処理リソース調整やイベントパーティション戦略により、高トラフィック環境でのシステムの安定性とパフォーマンスを向上させます。
すべての操作とイベントは同一のデータベーストランザクション內で行われ、"全有または全無"の処理結果を保証します。これにより、二段階コミットの複雑さと潛在的な失敗リスクを迴避します。
イベント生成後、獨立したトランザクションフローで処理され、データベースIOの負擔を軽減します。また、"少なくとも1回"の配信保証により、メッセージシステムの異常時でもイベントが最終的に屆くようにします。
二進法形式（例：Apache Avro）を用いてデータ転送の負荷を軽減し、大量のイベント処理に適応します。イベントにはID、ソース、タイプ、タイムスタンプ、テナントID、項目ユニークキーなどの標準屬性とビジネス固有データが含まれます。
複數のビジネス操作を単一イベントに統合し、データベースの書き込み回數を減らして処理効率を向上させます。イベント生成後、専用テーブルに保存され、非同期プロセッサによってメッセージシステムに送信されます。
イベントデータはテナントごとに分離され、データのセキュリティと獨立性を確保します。
カスタムイベントの追加をサポートし、インターフェースでイベント構造と対応するスキーマを定義します。シリアルライザをカスタマイズすることで、異なるビジネスニーズに適応します。
イベントストリームを用いて、ローン、貯蓄口座などのビジネス活動をリアルタイムで監視し、ブラックフライデーなどの高トラフィックシーンでの即時データ分析を支援します。人気のビジネスや異常取引を統計し、フロントエンドインターフェースの調整を促します。
イベントストリームをデータラックに導入し、長期保存と分析を可能にします。また、キャッシュレイヤーのデータソースとして利用され、データベースへの直接クエリ負荷を軽減します。
資金入金通知、カード取引監視などの場面で使用され、ユーザー體験を向上させます。金融詐欺検出では、イベントストリームを用いて異常取引パターンを分析し、警報を発信します。
バッチサイズとワークノード數を調整し、処理効率とリソース消費のバランスを取ります。バッチ內の操作は単一トランザクションの原子性要件を満たす必要があります。
Kafka と ActiveMQ をサポートし、今後は他のメッセージプラットフォームへの拡張を検討します。スキーマでメッセージフォーマットの一貫性を保ち、コンシューマーの解析複雑性を低減します。
PostgreSQL などのデータベースのパーティション機能を活用し、大量のイベントを処理します。イベントデータとビジネスデータを分離して保存し、コアトランザクションのパフォーマンスを維持します。
貯蓄口座やウォレット口座などの追加イベントタイプを導入し、スキーマ管理を改善して柔軟なデータ構造定義をサポートします。
イベントストリームと機械學習モデルの統合により、リスク分析能力を向上させます。イベント駆動アーキテクチャを活用し、マイクロサービス間の通信効率を最適化します。