引用：
系统设计入门
设计 Mint.com
什么是 Mint.com，一款免费的理财类软件，使用它你可以在一个软件内同时管理多个个人账户，通过这款软件可以追踪你的开支，创建预算，帮助你管理你的钱包。
第一步：通过讨论，明确限制及用例，确定Scope
支持的用例：
- 用户可以连接到金融账号
- 系统从账号中获取每一笔交易
- 每天更新
- 为每一笔交易分类，允许用户手动设置分类（例如，吃饭，交通，房租等等）
- 系统会推荐一个预算
- 允许用户手动设置预算
- 当交易累计接近或者超过预算时提醒用户
- 系统高可用 high availability
不支持的用例：
- 系统不进行额外的统计
Constraints and assumptions：
- 访问不均匀
- 添加及删除金融账号不会频繁发生
- 预算的通知不需要是实时的
- 10 million用户
- 每个用户大约10个分类，大约3个金融账号
- 每月5 billion次交易需要记录写入，每秒2000次
- 每月500 million次读取，每秒200次
- 写读比例 10 ：1
计算规模：
每一笔交易：
- user_id：8 bytes
- created_at：5 bytes
- seller：32 bytes
- amount：5 bytes
- 总共： ~50 bytes
每个月：50 bytes * 5 billion = 250G
三年：9TB
第二步：高层次设计
设计 Mint.com
第三步：设计核心组件
使用关系型数据库存储账号信息，创建表 accounts：
id int NOT NULL AUTO_INCREMENT
created_at datetime NOT NULL
last_update datetime NOT NULL
account_url varchar(255) NOT NULL
account_login varchar(32) NOT NULL
account_password_hash char(64) NOT NULL
user_id int NOT NULL
PRIMARY KEY(id)
FOREIGN KEY(user_id) REFERENCES users(id)
在 id，user_id，created_at三个字段上创建索引，加快查询的效率。
创建表 transactions 来存储交易信息：
id int NOT NULL AUTO_INCREMENT
created_at datetime NOT NULL
seller varchar(32) NOT NULL
amount decimal NOT NULL
user_id int NOT NULL
PRIMARY KEY(id)
FOREIGN KEY(user_id) REFERENCES users(id)
创建表 monthly_spending 来存储花费信息：
id int NOT NULL AUTO_INCREMENT
month_year date NOT NULL
category varchar(32)
amount decimal NOT NULL
user_id int NOT NULL
PRIMARY KEY(id)
FOREIGN KEY(user_id) REFERENCES users(id)
提供一个REST API，用户可以连接到金融账号：
- 往表
accounts中插入一条记录
Transaction Extraction Service的主要工作：
- 从任务队列中获取金融账号，并使用用户名及密码等从对应的账号获取交易记录，将结果存放在Object Store中。
- 使用 Category Service 来为每一笔交易分类。
- 使用 Budget Service 来统计每一个分类上的花费。
- 如果交易累计接近或者超过预算，使用 Notification Service 来通知用户
- 更新
transactions表及monthly_spending表 - 使用 Notification Service 来通知用户该账号已同步完毕。
Category Service的主要工作：
- 维护 seller 与 category 的一个对应关系，可以使用 Map。
系统会推荐一个预算：
- 使用 MapReduce 来处理所有的交易记录：
- 为每一笔交易分类
- 统计每一个分类上的花费
class SpendingByCategory(MRJob):
def __init__(self, categorizer):
self.categorizer = categorizer
self.current_year_month = calc_current_year_month()
...
def calc_current_year_month(self):
"""Return the current year and month."""
...
def extract_year_month(self, timestamp):
"""Return the year and month portions of the timestamp."""
...
def handle_budget_notifications(self, key, total):
"""Call notification API if nearing or exceeded budget."""
...
def mapper(self, _, line):
"""Parse each log line, extract and transform relevant lines.
Argument line will be of the form:
user_id timestamp seller amount
Using the categorizer to convert seller to category,
emit key value pairs of the form:
(user_id, 2016-01, shopping), 25
(user_id, 2016-01, shopping), 100
(user_id, 2016-01, gas), 50
"""
user_id, timestamp, seller, amount = line.split('\t')
category = self.categorizer.categorize(seller)
period = self.extract_year_month(timestamp)
if period == self.current_year_month:
yield (user_id, period, category), amount
def reducer(self, key, value):
"""Sum values for each key.
(user_id, 2016-01, shopping), 125
(user_id, 2016-01, gas), 50
"""
total = sum(values)
yield key, sum(values)
第四步：扩展设计
设计 Mint.com
- 为了服务不同区域的用户，加快访问的速度，使用CDN加速。
- 为了同时响应更多请求，对服务器水平扩展，并使用Load Balancer做负载均衡。
- 为了加快读取效率，使用Memory Cache，避免频繁访问数据库。
- 采用主从复制的数据库模式。主库同时负责读取和写入操作，并复制写入到一个或多个从库中，从库只负责读操作。
- Transaction Extraction Service 计算量和吞吐量比较大，可以创建多个实例，并行处理。
网友评论