数据挖掘指的是在长期积累的数据中分析和挖掘有价值的信息以供决策。这个概念主要还是因为ERP（企业资源计划）和OA(办公自动化)软件系统的广泛使用和发展的基础上出现的一个概念 。因为企业在使用这些软件系统的过程中 ，虽然运营的状态和管理以及成本有很大的节约 ，大大提高了企业的运营效率，可是这些系统却只能对企业的状态和管理进行一个状态性的记录，对长期记录下来的这些数据的分析和在挖掘能力是非常有限的 ，虽然众多软件供应商想出各种办法来利用其这些数据 ，比如出各种报表甚至自定义的报表，可是仍然受制于ERP和OA本身设计的缺陷 ，因为它们原本就不是设计来做数据分析的 。
所以在我们的软件系统实施的过程中 ，常常看到一个庞大的系统在运行，可是对于领导却只有每月看一两张报表的价值。所以 ，有人提出了数据挖掘的概念 ，长期使用ERP系统所积攒的数据就好像一大筐苹果，金苹果、银苹果 、烂苹果都有 ，而数据挖掘工程师就是专门从中挑选出对企业有用的信息的工作。当然数据挖掘软件也是专门设计来做这个事情的 。
以上只是我这个小小程序员的浅薄认识 ，渴望大家的指正 。我的QQ:232268173，
MSN：suyun_911@hotmail.com 欢迎大家与我一起讨论任何信息技术相关的话题。
数据挖掘工程师需要懂哪些知识?
数据挖掘领域是一个独特的行业 ，通常的招聘面试方法可能不大适用于本行业的特点 。在招聘一个合格的数据挖掘工程师时 ，公司一般关注以下三个方面：
他聪明吗？聪明意味着能透过复杂的信息建构问题并以正确的方式加以解决 。聪明人还能从失败中获取经验。
他能否专注于项目？专注意味着在各种困难的环境内，仍能独立或合作完成项目 。
他是否能与团队一起工作 。团队合作需要很好的沟通能力，工作中涉及到的概念 、问题、模型、结论等都需要成员之间正确的沟通方能加以明确。
为了解候选人是否具有数据挖掘工程师的潜质 ，需要一小时的面试 ，主要通过以下五个环节：
1 、简介
如同交谈之初的寒暄一样，简介是使候选人放松下来 。可以先介绍一下公司本身的情况 ，再回答对方的一些疑问 。如果问题很复杂 ，可以将回答放到面试的最后阶段再处理。
2 、关于数据挖掘项目
这是最为重要且耗时的面试阶段，询问候选人最近接手的数据挖掘项目的情况和处理方式 。要提问的方面包括：
他一开始是如何描述这个项目的
项目持续了多长时间
这个项目的关键问题是什么
问题是如何得到解决的
在数据挖掘项目中最为困难的阶段是什么
最有趣的阶段又是什么
在他眼里 ，客户是怎么样的
团队的其他成员又是如何表现的
从中获得了什么样的经验
在这个面试阶段 ，不仅要提问关于“what ”的问题，还要很多关于“why ”的问题 。因为优秀的数据挖掘工程师要能面对客户 ，清晰的论证并支持其提出的观点。
3、关于数据挖掘的流程
考察候选人对于工作流程的认识是必要的 ，如果他谈到了跨行业数据挖掘流程规范（CRISP-DM）意味着好兆头。有很多时候，候选人对这些规范不以为然 。虽然说从不同的角度来看待问题是一种创新 ，但是创新也需要建立在坚实在流程标准之上 。因为它可以保证我们不会出现大的纰漏。
必要的时候 ，可以用白板让候选人画出流程图 。并让他评价这些工作中最为重要或需要反思的地方 。因为建模工作不可能一次完成，反复的提炼问题 、建立模型的情况是经常遇到的。
另外可以在某个挖掘流程进行深入考查，例如询问对方如何避免过度拟合 ，如何从大量的候选变量中进行筛选 ，如何评价或比较模型的效果 。
4 、解决问题
软件公司的面试一般会包括“编码测试”，考查数据挖掘工程师也应该如此 。一种可以参考的作法是提供一份存在缺陷的分析报告。让候选人对报告进行研究 ，表达报告中结论的意义 ，提出其中所存在的问题或不足，提出改进或补救的方法 。
5、收尾
在面试的最后阶段 ，需要回答候选人的其它提问 ，并使之相信本公司在本行业中的优势地位，以及在职业生涯中的作用 。在完成面试后 ，需要立即将面试记录进行整理存档。
1 、需要理解主流机器学习算法的原理和应用 。
2 、需要熟悉至少一门编程语言如(Python、C 、C++ 、Java、Delphi等) 。
3 、需要理解数据库原理 ，能够熟练操作至少一种数据库(Mysql 、SQL、DB2、Oracle等)，能够明白MapReduce的原理操作以及熟练使用Hadoop系列工具更好。
4 、经典图书推荐：《数据挖掘概念与技术》 、《机器学习实战》、《人工智能及其应用》 、《数据库系统概论》 、《算法导论》、《Web数据挖掘》 、《 Python标准库》 、《thinking in Java》、《Thinking in C++》 、《数据结构》等。
https://blog.shanxihuayang.com/yibi/7639.html https://blog.shanxihuayang.com/yibi/7634.html https://blog.shanxihuayang.com/yibi/7627.html https://blog.shanxihuayang.com/yibi/7625.html https://blog.shanxihuayang.com/yibi/7641.html https://blog.shanxihuayang.com/yibi/7624.html https://blog.shanxihuayang.com/yibi/7626.html https://blog.shanxihuayang.com/yibi/7657.html https://blog.shanxihuayang.com/yibi/7652.html https://blog.shanxihuayang.com/yibi/7628.html