您的位置：首页技术文章
文章详情页

java - hadoop数据查找

浏览：267日期：2024-02-06 11:45:32

问题描述

使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的

# map.shawk -F '03' ’$3==xxx{print $0}’ -

结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的

问题解答

回答1：

这个写MR吧，如果你想省事就把数据导入到hive中，用sql 来解决

标签： java
上一条：为什么做Java游戏服务端不需要掌握ssm、ssh的下一条：java GC日志该怎么看？
相关文章：
1. 请教各位大佬，浏览器点 提交实例为什么没有反应2. PHP类中的$this3. html - 急求，能否用flex或者高端点的CSS来布局这个图呢？不想用浮动或定位了4. javascript - 百度坐标,返回目标附近有哪些坐标5. java - spring是不是相比其他框架要慢一些？6. javascript - 关于jsp中嵌入js代码的问题7. javascript - datepicker如何直接显示插件？8. javascript - F12进入开发者中心的时候网站根据适口变化跳转到他的移动端网页了？9. javascript - 初学angularJS+express，路由路径中/转换成%2F，导致路径失效，求原因？10. html5 - 只用CSS如何实现input框的宽度随框里输入的内容长短自动适应？
排行榜
PHP类中的$this
PHP类中的$this
1. 请教各位大佬，浏览器点 提交实例为什么没有反应
2. html5 - 只用CSS如何实现input框的宽度随框里输入的内容长短自动适应？
3. html - 急求，能否用flex或者高端点的CSS来布局这个图呢？不想用浮动或定位了
4. java - 当在子类中声明一个父类中存在的变量后，自动调用的父类构造函数不起作用。
5. javascript - 关于jsp中嵌入js代码的问题
6. javascript - 百度坐标,返回目标附近有哪些坐标
7. java - spring是不是相比其他框架要慢一些？
8. Java APNS证书错误，显示“ DerInputStream.getLength（）：lengthTag = 109，太大。”
9. javascript - 初学angularJS+express，路由路径中/转换成%2F，导致路径失效，求原因？
10. Java Runtime.getRuntime（）。exec（）调用数百次后失败
热门标签