-
美团机器学习中的数据清洗与特征挖掘实践
所属栏目:[大数据] 日期:2021-05-29 热度:91
综述 如上图所示是一个经典的机器学习问题框架图。数据清洗和特征挖掘的工作是在灰色框中框出的部分,即“数据清洗=特征,标注数据生成=模型学习=模型应用”中的前两个步骤 灰色框中蓝色箭头对应的是离线处理部分。主要工作是: 从原始数据,如文本、图像或[详细]
-
String大数加减乘除(非负整数)
所属栏目:[大数据] 日期:2021-05-29 热度:130
leetcode上一题使用String完成大数乘法,鉴于之前华为机试也考到过大数减法,这里做一个大数运算的专题。 说到底,大数运算考察的还是对运算的理解,我们完全可以通过模拟手算来进行。 注意string与int间的转换,string[] - '0' 变成int,int + '0' 变成 str[详细]
-
【bzoj3110】[Zjoi2013]K大数查询 权值线段树套区间线段树
所属栏目:[大数据] 日期:2021-05-29 热度:152
权值线段树套区间线段树 外层线段树按照完全二叉树的建法全部建出 内层线段树动态开点 外层的每个节点上都建一棵区间线段树,维护权值在[l,r]中每个区间出现的个数 每次修改对应外层线段树上的O(log n)个节点,内层修改一个区间,对应内层线段树上的O(log n)[详细]
-
lightoj 1214 - Large Division 大数对小数取余
所属栏目:[大数据] 日期:2021-05-29 热度:104
给定一个200位的大数和一个int范围整数,问大数是否是小数的倍数。 同之前的某到简单数学题 #includebits/stdc++.husing namespace std;#define ll long long#define ull unsigned long long#define mod 1000007#define inf 0x3f3f3f3f#define N 100100using[详细]
-
模版--大数加减乘除
所属栏目:[大数据] 日期:2021-05-29 热度:74
/* 因为计算大数除法时需要用到乘法和减法, 但是不指定字符串长度的乘法和减法不容易用字符数组表示, 所以这里就没写用字符数组计算的大数除法。o(╯□╰)o */ /***********大数加减乘/仅限正整数***************/ //加法测试:HDU 1002 //减法测试:百练O[详细]
-
沈艳:关注大数据分析门槛 警惕大数据神话
所属栏目:[大数据] 日期:2021-05-29 热度:84
大数据是近几年最热门的 IT 概念之一,并已在许多领域实现落地。从淘宝利用平台数据解读中国消费趋势和地区差异到出行类 APP 在拥塞的城市中为用户提供快速的车辆调度,从数据分析团队在奥巴马连任竞选中发挥巨大作用到谷歌智能系统 AlphaGo 在人机围棋大战[详细]
-
大规模数据处理Bloom Filter C++代码实现
所属栏目:[大数据] 日期:2021-05-29 热度:119
大规模数据处理Bloom Filter C++代码实现 ? Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合,但是并不严格要求100%正确的场合。 一. 实例? 为了说明Bloom Filter存在的重要意义,举[详细]
-
上海交大-IBM“大数据分析”合作项目签约及软件捐赠仪式
所属栏目:[大数据] 日期:2021-05-29 热度:121
4月13日上午,上海交通大学-IBM“大数据分析”合作项目签约及软件捐赠仪式在上海交大闵行校区电院群楼3-208会议室举行。上海交大电子信息与电气工程学院计算机系校友、IBM大中华区副总裁、战略部总经理郭继军,IBM大中华区大数据与分析市场总监韩国华,大数[详细]
-
讲师大课堂-Vertica大数据实时分析平台
所属栏目:[大数据] 日期:2021-05-29 热度:97
? 点击上方“ HPE大数据 ”关注我们! 讲师介绍 刘定强 Hewlett Packard Enterprise资深大数据架构师 课程下载 想要下载完整课件PPT和讲解录音,请点击文章最后“ 阅读原文 ”或直接浏览器访问 http://pan.baidu.com/s/1skCwXpr 课堂录音支持在线收听 完整PP[详细]
-
大爆料:互联网大数据处理中的隐秘事件
所属栏目:[大数据] 日期:2021-05-29 热度:167
点击上方蓝色字体关注。 您还可以搜索公众号“ D1net ”选择关注D1net旗下的各领域(云计算,数据中心,大数据,CIO,企业协作,网络数通,信息安全,企业移动应用,系统集成,服务器,存储,呼叫中心,视频会议,视频监控等)的子公众号。 ======= 从来没有[详细]
-
技术向:如何设计企业级大数据分析平台?
所属栏目:[大数据] 日期:2021-05-29 热度:92
传统企业的OLAP几乎都是基于关系型数据库,在面临“大数据”分析瓶颈,甚至实时数据分析的挑战时,在架构上如何应对?本文试拟出几个大数据OLAP平台的设计要点,意在抛砖引玉。 突破设计原则 建设企业的大数据管理平台(Big Data Management Platform),第[详细]
-
N个数,求第K大数
所属栏目:[大数据] 日期:2021-05-28 热度:146
今天同学给我出了一道题是这样的: 有n个 不重复 的数,这n个数可以放入内存中,让你用最快的方法找到第k大的数。 解答: 一般情况我们可能考虑,先将n个数排序(快排序、堆排序),然后可以得到结果。但是当n很大时这样做的效率会很低。所以我们提出一种更[详细]
-
51Nod-1005-大数加法
所属栏目:[大数据] 日期:2021-05-28 热度:76
今天遇见一道细节问题特别多的题,写得我眼疼,题本身不难,难得是他的细节问题繁多,需要考虑的情况也甚多,稍有不慎就侧漏了,哈哈。题的思路也很清晰,就是将最后的结果的正负的符号分离出来,剩下的就是高精度的加减法了,利用字符串处理即可,效率可以[详细]
-
【983】大数据实操:社交数据在征信领域的分析应用
所属栏目:[大数据] 日期:2021-05-28 热度:165
本文主要内容由社交征信背景、社交网络数据分析、个体用户画像研究、社交圈子研究、模型建设及应用这五部分构成,下面文章将逐一介绍。 一、社交征信背景 征信不是一个简单的由征信进行评分的模型,而是由数据公司、征信公司、征信使用方三部分组成。数据公[详细]
-
如何存一个大数
所属栏目:[大数据] 日期:2021-05-28 热度:130
题目: ? ? 输入数字n,按顺序打印出1到最大的n位十进制数。比如输入3,则打印出1,2,3,一直到最大的3位数即999。 ? ?此题看起来简单,当我刚开始看到问题后,首先想到的就是先求出最大值,然后在一个一个打印出就ok啦。但是仔细理解题意,并没有告诉n的取值[详细]
-
基因数据处理18之基因序列生成工具wgsim安装和使用
所属栏目:[大数据] 日期:2021-05-28 热度:83
1.下载: https://github.com/lh3/wgsim 可以git或者zip 2.安装: gcc -g -O2 -Wall -o wgsim wgsim.c -lz -lm 3.数据下载:可以使用bwakit下载: https://github.com/lh3/bwa/tree/master/bwakit 下载: bwa.kit/run-gen-ref hs38DH 4.使用方法和默认配置:[详细]
-
BI 商业智能/数据仓库实施杂谈
所属栏目:[大数据] 日期:2021-05-28 热度:130
从最初接触BI商业智能到现在已经十多年的时间,一直以乙方角色工作。今天忽然想就BI在甲方公司的应用情况做些总结,以及提一些设想,也希望有兴趣的朋友一起交流。与具体工具无关,偏重于方法论的讨论。 早期的BI实施情形大概类似于这样,大家都没太经历过BI[详细]
-
基因数据处理19之BWA匹配算法串产生、匹配、评价等整体流程
所属栏目:[大数据] 日期:2021-05-28 热度:113
环境: ubunut BWA samtools wgsim bwa.kit工具 1 .数据下载:需要在bwa.kit下 bwa.kit/run-gen-ref hs38DH 2.串产生: hadoop@Mcnode1:~/cloud/adam/xubo/data/hs38DH$ wgsim -N 1000 -1 10 hs38DH.fa span style="font-family: Arial,Helvetica,sans-serif[详细]
-
bzoj1670【Usaco2006 Oct】Building the Moat 护城河的挖掘
所属栏目:[大数据] 日期:2021-05-28 热度:84
1670: [Usaco2006 Oct]Building the Moat护城河的挖掘 Time Limit:? 3 Sec?? Memory Limit:? 64 MB Submit:? 387?? Solved:? 288 [ Submit][ Status][ Discuss] Description 为了防止口渴的食蚁兽进入他的农场,Farmer John决定在他的农场周围挖一条护城河。[详细]
-
作为架构师,你应该如何挖掘真正的业务需求?
所属栏目:[大数据] 日期:2021-05-28 热度:116
在上一篇文章中,作为架构师的你,已经了解到业务人员需要什么以及如何在收集用户故事的过程中识别需求。在那篇文章里,我还描述了用户故事模板: 为了避免 需要解决的问题, 作为 角色 我想要 功能; 为了获得 预期的利益, 作为 角色 我想要 功能。 这两种[详细]
-
文本挖掘----基于OCR的文档关键字提取
所属栏目:[大数据] 日期:2021-05-28 热度:108
前言 紧急添加:有人反馈看不懂。那是因为没有看姐妹篇,《你有没有想到,这样的观点挖掘引擎?》。请先阅读本文,再继续看下去! 做了一段时间的OCR,把大量的图片、PDF处理成了文本。请注意:这些文本在互联网上属于稀有资源。这些文本以前都放在一个盒子[详细]
-
ejabberd源码分析《三》客户端数据处理
所属栏目:[大数据] 日期:2021-05-28 热度:102
参考 http://www.cnblogs.com/yjl49/archive/2011/09/02/2371964.html 1.客户端连接服务器后,发送消息给服务器的xml数据处理在ejabberd_c2s中。 ?? ejabberd_c2s 是一个gen_fsm 状态机,在socket连接建立之后创建。 ?? 初始状态为 wait_for_stream,接受形[详细]
-
CodeForces - 616E Sum of Remainders (数论)大数取余求和 好
所属栏目:[大数据] 日期:2021-05-28 热度:184
CodeForces - 616E Sum of Remainders Time Limit: ? 2000MS ? Memory Limit: ? 262144KB ? 64bit IO Format: ? %I64d %I64u Submit ? Status Description Calculate the value of the sum: ? n mod 1 ? + ? n mod 2 ? + ? n mod 3 ? + ... + ? n mod m . As[详细]
-
【light-oj】-大数整除(字符串)
所属栏目:[大数据] 日期:2021-05-27 热度:62
Description Given two integers,? a ?and? b ,you should check whether? a ?is divisible by? b ?or not. We know that an integer? a ?is divisible by an integer? b ?if and only if there exists an integer? c ?such that? a = b * c . Input Input s[详细]
-
【新闻】 帆软软件携手星环科技 着力打造金融大数据分析行业应用
所属栏目:[大数据] 日期:2021-05-27 热度:75
3月25日,帆软软件有限公司在浙江湖州喜来登酒店(月亮酒店)召开了2016年亚太银行IT价值高峰论坛,数百家银行高管、IT业同仁齐聚一堂,共同商讨如何利用大数据、云计算等新兴技术推进银行信息化建设。星环科技作为帆软战略联盟的核心单位,也应邀并协办了此[详细]