我们专注于使用人工智能技术对文本、影像数据的处理与理解,为用户提升其生产力和决策能力。
一、背景描述 目前后端数据引擎系统中 使用了24个节点的 Elasticsearch 集群,存储每天采集1.7亿条上下的数据量,具体的网页原始数据存储在 Cassandra 集群中。一个月下来抓取的数据量超过2T,同时要保证每天450台爬虫 ......