След на паутине

Друга тема, яка мене зараз хвилює найбільше - це безпека штучного інтелекту

Sun, 26 Mar 2023 20:15:25 GMT

Перші розмови з людьми про це наштовхнулися на повне заперечення (в найкращому випадку) і чи відсутність навіть спроби подумати (у найгіршому).

Тема дуже складна, але дивно, як мало людей реально вражені можливостями ШІ сьогодні, коли LLM-ам, метафорично, ще тільки півроку, вони ще роблять бульбашки ротом і пісяють в памперс.

Вас не вражає, що:
* Тест Тюрінга, фактично, пройдено?
* випадок, коли ChatGPT найняв людину в реальному світі, щоб досягти поставленої йому цілі несподіваним способом?
* ШІ пройшов екзамен на адвоката в США з результатом 90%?
* Цифрові художники і копірайтери вже рахують дні до звільнення?
* додайте ваші власні приклади.

Максимально вражені шукають бізнес-можливості, і "гонка озброєнь" між гігантами бізнесу вже почалася. Але дуже мало хто дивиться на ризик існування всього людства (див. paperclip optimizer).

Я розумію застарілий песимізм від 60х, коли проблему ШІ хотіли вирішити за півроку, і кожного разу дедлайн переносили. Але є ж певна межа, коли кількість переходить в якість. Персептрон Розенблатта відрізняється від нашого мозку кількістю і програмуванням — тобто, знов кількістю навчання нейромережі. І коли ми до неї підійдемо, завдяки закону Мура (світла пам’ять!), це вже буде воно.

Коли я чую "Але він ще не може...", я завжди хочу намалювати щось на зразок цього:

Вот когда полетит их Falcon 1, тогда поговорим.
Вот когда будут клиенты, тогда поговорим.
...
Вот когда посадят на баржу, тогда поговорим.
Вот когда начнут сажать после вывода на ГПО, тогда поговорим.
Вот когда полетит б/у ракета, тогда поговорим.
Вот когда обгонят конкурентов по количеству запусков, тогда поговорим.
Вот когда запустят свой Falcon Heavy, тогда поговорим.
Вот когда сделают рабочий Raptor, тогда поговорим.
Вот когда сделают свой Dragon 2, тогда поговорим.
Вот когда начнут возить людей, тогда поговорим.
================== Вы находитесь здесь ===================
Вот когда Starship совершит успешный прыжок, тогда поговорим.
Вот когда построят свой космодром, тогда поговорим.
...

Так, є різні види інтелекту — IQ, EQ, соціальний, і що там ще; і в деяких ШІ нас не наздожене. Але це є аргумент НА КОРИСТЬ можливості існування (небезпечного) суперінтелекта, бо йому НЕ ТРЕБА обганяти нас по всіх показниках. Достатньо обігнати по 2-3 кардинально. Хтось заперечує, що як тільки ChatGPT навчиться вирішувати тести на IQ, його IQ буде вимірюватися чотиризначними цифрами?

Скажу більше, він ще у колисці нас ВЖЕ перегнав. У швидкості створення тексту, малюнків, ерудиції, і просто швидкості. Коли ШІ зможе виконати умову з вашого списку "Хай він спочатку...", буде просто запізно.

Ось список з ДЕСЯТКІВ peer-reviewed публікацій, які демонструють, що навчання нейромережі by design навчає її ОБХОДИТИ наші побажання: http://tinyurl.com/specification-gaming. Це т.з. проблема AI Alignment — як передати ШІ наші цінності.

Джерело — відосик Роберта Майлза, математика, дослідника проблеми AI Alignment: https://youtu.be/nKJlF-olKmg. Рекомендую всім все від нього.

comments

Власні схеми Лего програмно

Sun, 28 Apr 2019 18:22:21 GMT

Зацікавився, чи не можна створювати сабж.

До повної генерації ще далеко, але є класні програми, наприклад, LegoCAD (зацініть скріншоти!).

Чи ось LIC.

А ще у них є онлайн-БД частин, BrickLink, і у них є власна програма. Програми вміють до неї підключатися і завантажувати деталі.

Джерела: питання на bricks.stackexchange.com (sic!)

comments

Query CSV files in SQL or alike

Thu, 21 Jun 2018 21:15:56 GMT

I need a small utility (suitable for embedded Linux) to make complex queries to CSV files, sql-style. Don't bash me, don't gawk on me, shell utilities I used just don't cut it.

Here's my notes - what I found.

* q (I' using it now) Works great, not suitable for embedded b/c Python+libsqlite.
* txt-sushi/tssql: in Haskell, must be pretty OK. Haskell doesn't have to be Go whose binaries are hardly smaller than 10M.
* mlr (Miller) "awk, sed, cut, join, and sort for name-indexed data such as CSV, TSV, and tabular JSON". Quite good, though a binary is a bit big (~2M).

A bit different functions:
* asql only parses Apache logs, needs Perl.
* csvkit Only does a subset of relational algebra.
* comp: interesting tool, interesting language, not exactly clear what formats it parses (JSON only?). Written in Go, not for embedded, no documentation, not supported.
* jq - fantastic "sed for JSON". Written in C, great for embedded. A pity I don't need to parse JSON.

comments

Fri, 07 Apr 2017 02:45:57 GMT

Вот стоит задать сложный вопрос на SO - сразу находится куча народу, которые рассказывают, что ты делаешь не так, но не решают проблему.

http://bash.im/quote/6.

На Quora вычитал слово для такой "помощи" - smartassistance.

comments

Wow. Just wow.

Fri, 16 Dec 2016 23:33:18 GMT

Треба і собі так зробити. Якщо буде що писати, гиги.
https://github.com/jbranchaud/til

comments

ICFP contest 2016 anyone?

Mon, 01 Aug 2016 09:07:56 GMT

В эту пятницу начинается ICFPC-2016.
Может, и поздновато, но хочется размять кости.
Собирается неплохая команда, всего трое.
Может, ещё кто?

comments

Гладуэлл, "Outliers"

Fri, 29 Jul 2016 14:09:56 GMT

Я вот это прочитал, и схватился за голову.

Сколько же в старосоветском интеллигентском воспитании вот этого рабства, неприспособленности, абсолютной "практической тупости".

Интуитивно я этот вывод уже делал, но сейчас понял - категорически недостаточно! Слишком много во мне советского инженера.

С этого момента я меняю свой подход к воспитанию детей.

Далее большая скопирайченная цитата из Гладуэлла. Там ещё много полезного, так что книгу купите :)

...Вероятно, наиболее точное объяснение этому процессу дала социолог из Мэрилендского университета Аннетт Ларо. Несколько лег назад она провела занимательное исследование, объектом которого стала группа третьеклассников. Она отобрала чернокожих и белых детей как из богатых, так и из бедных семей. Всего двенадцать человек. Команда Ларо посещала каждую семью по меньшей мере двадцать раз, и каждый из визитов длился не один час. Исследователи попросили членов семьи воспринимать их как «домашних питомцев» и повсюду следовали за своими объектами — в церковь, на футбольные матчи, к врачам — с магнитофоном в одной руке и блокнотом в другой.
Можно было бы предположить, что такое длительное общение с двенадцатью семьями дало представление о двенадцати различных подходах к воспитанию детей. Одни родители строгие, другие позволяют детям садиться себе на шею; одни носятся с детьми, как курица с яйцом, другие более спокойны и т. д. и т. п. Однако исследование дало совершенно иные результаты. ( Read more... )

comments

Fri, 06 May 2016 08:47:08 GMT

Костя (data scientist):
- Дождя сегодня не будет. Он будет завтра.
Я:
- Тебе - верю.

comments

Уоттс, "Эхопраксия"

Wed, 06 Apr 2016 12:31:57 GMT

Когда список литературы интереснее самого романа.

Конечно, мой опыт и понимание ограничены. Может, у существ с 5-значным IQ всё не так.
Но я "не верю", когда уйма (минимум 4) сложных многоходовых плана сбываются, в то время как они могли полететь под откос из-за секундной разницы в тайминге, из-за механической случайности или случайной мысли прохожего.

"Эхопраксия", продолжение "Ложной слепоты".
На Флибусте отзыв MaoMao одобряю. same Merlin интересен упоминаниями фактов, и вообще умный, но укушенный за всю голову. Похож на Онотоле. Так что отфильтровываем проверяемые факты.

Случайно-избранные места:
как невероятно крута восьмилапая тезка Порции в реальном мире. Импровизационные охотничьи стратегии, решение проблем на уровне млекопитающих и острота зрения – все это содержится внутри таймшерного скопления нейронов размером с булавочную головку, и это чистая правда [59], [60], [61], [62].

...религия дает адаптивные преимущества...[...] Разумеется, отрицать функциональную полезность научного метода глупо, особенно если сравнивать ее с бусами и погремушками парней в забавных шляпах.

Левое полушарие всегда ищет смысл, даже когда его в помине нет. Ложные воспоминания, парейдолия – индуцированный стрессом поиск имеющих смысл образов в шуме [89] – все это дело рук левого. Когда нет ни данных, ни смысла, левое может все равно его найти.

Вселенная – это симуляция, которая функционирует на каком-то компьютере [116], [117], [118]; или же Вселенная – это и есть огромный компьютер, где материя – это «железо», физика – софт, а каждое движение электрона – вычисление.

Таким образом, при достаточно высокой полосе пропускания получится единое интегрированное сознание, распределенное по любому количеству платформ. [...] c задержкой при передаче сигнала максимум в пару сотен миллисекунд. Если сузить эту трубу, то можно даже сохранить индивидуальность, но при этом получить доступ к воспоминаниям и сенсорной информации с других узлов [108].

comments

Прочитал я случайно рассылку ЖЖ...

Mon, 29 Feb 2016 14:26:30 GMT

посмотрел на неё грустно, погуглил, и вот я уже не в ЖЖ, а в DW.

ЖЖ оставлю, для обратной совместимости.

comments