思通数科-技术博客

我们目前开源的 舆情系统 分为3个部分，整个系统使用了多种开源技术组件和开源框架，涵盖涉及技术领域广泛，例如：分布式计算、大数据、人工智能、数据中台、数据挖掘、深度学习、java和python的大量实际开发场景案例。

所谓，取之于开源,用之于开源，我们把整套系统开源出去，回馈给技术社区。同时，我们也会逐步的讲解，在这个开源 舆情系统 中我们是如何使用这些技术的，以及在使用中遇到的各种问题和工程师们的解决方案。

数据采集
开发平台：Java EE & SpringBoot
爬虫框架：Spider-flow & WebMagic & HttpClient
APP爬虫：Xposed框架
URL仓库：Redis
网页渲染解析：Jvppeteer & Playwright（微软开源）
web应用服务器：Nginx & Tomcat
储存任务发送：Kafka & Zookeeper
抓取任务发送：RabbitMQ
配置管理：MySQL
前端展示：Bootstrap & VUE
数据处理
开发框架：SpringBoot
开发语言：Java JEE
数据暂存：MySQL
数据索引：Redis
深度学习：PaddlePaddle
自然语言处理：HaNLP & THUCTC
数据处理和储存任务发送：Kafka & Zookeeper
数据中台：自研 & DataEase 
数据初始化：集成FlyWay，自动初始化MySQL
数据总线：RockAPI （进行了二次开发）
数据分析
数据库：MySQL
数据检索：Elasticsearch
中文分词器：IK分词
相似度计算：Clickhouse
数据同步：DataX
文章储存：Mongodb
数据缓存：Redis
消息队列：kafak & rabbitMQ
开发框架：SpringBoot
开发语言：Java JEE
图表展示：Apache  Echarts & anyCharts
项目地址
   开源项目地址：https://gitee.com/stonedtx/yuqing

在线体验
   环境地址：http://open-yuqing.stonedt.com
   用户名：13900000000
   密码：stonedt

原文地址：StoneDT开源舆情系统大数据技术栈介绍