文章详情页
java - hadoop数据查找
浏览：110日期：2024-02-06 11:45:32
问题描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的
问题解答
回答1：这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决
标签：
java
相关文章：
1. android - 安卓做前端，PHP做后台服务器 有什么需要注意的？2. mysql - SQL语句可以提供“查询表，并至第100条结果为止”吗？3. python - xpath提取网页路径没问题，但是缺失内容？4. javascript - 大家都在用vue来做单页项目，那vue是否可以在传统多页项目上？5. python - 子进程执行完成为僵尸进程，怎么解决6. java中返回一个对象，和输出对像的值，意义在哪儿7. javascript - 给某个类添加一个伪类，这个类有click事件，现在我点击伪类也触发了click事件8. docker不显示端口映射呢？9. node.js - JavaScript的一个不能理解的地方10. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？
排行榜
网公网安备